Fundacja Ethereum udostępniła swój kod agentom AI: oto, co faktycznie odkryli

Wiele błędnych diagnoz

Szczegóły eksperymentu zostały przedstawione w poście na blogu opublikowanym 9 lipca przez Nikosa Baxevanisa z zespołu ds. bezpieczeństwa protokołu fundacji, pod tytułem, który był jednocześnie tezą firmy, tj. „Selekcja to produkt”. Wyniki wzbudziły szerokie zainteresowanie, ponieważ okazało się, że większość zgłoszonych problemów stanowiły fałszywe alarmy (chociaż wśród nich znalazły się również prawdziwe błędy).

Najważniejsze odkrycie jest jednak prawdziwe, ponieważ agenci pomogli ujawnić zdalnie wyzwalany błąd typu „panic” w module gossipsub, będącym częścią warstwy sieci peer-to-peer libp2p, na której działają klienci konsensusu Ethereum. Luka została naprawiona i ujawniona jako CVE-2026-34219 (jest to rodzaj błędu, który – gdyby został wykryty jako pierwszy przez atakującego – mógłby zostać wykorzystany do zakłócenia działania węzłów w całej sieci).

Wykrywanie błędów było łatwą częścią

Zaskoczeniem, jak napisała fundacja, nie było to, że agenci AI potrafili znaleźć błędy, ale „jak niewiele pracy wymagało ich wykrycie, a jak wiele – odróżnienie prawdziwych błędów od tych, które tylko wyglądały na prawdziwe”.

Zespół skatalogował powtarzające się wzorce tych „oszustów”, takie jak awarie występujące wyłącznie w kompilacjach debugowych, a nigdy w środowisku produkcyjnym; przypadki, które można odtworzyć, opierające się na niedostępnych wartościach wewnętrznych, których żaden atakujący nie byłby w stanie faktycznie dostarczyć; oraz dowody weryfikacji formalnej, które są technicznie prawdziwe, ale tak nieograniczone, że nic nie wykazują.

Odpowiedzią fundacji był rygorystyczny standard dowodowy, który podsumowano jako „możliwe do odtworzenia albo to się nie wydarzyło”. Mówiąc dokładniej, każde potencjalne odkrycie musi odtąd być dostarczane wraz z samodzielnym artefaktem, który odtwarza błąd w oparciu o rzeczywisty kod, niezależnie od tego, jak pewny siebie twierdzi, że jest zgłaszający agent.

W tym kontekście podmioty zgłaszające można postrzegać jako generatory hipotez (narzędzia wyszukiwania, a nie decydentów) zorganizowane w etapy rozpoznania, poszukiwania, uzupełniania luk i walidacji, przy czym ostateczną decyzję podejmują ludzie.

Liczby stojące za szumem medialnym

W poście przedstawiono również rzadki punkt odniesienia pokazujący, jak dobrze radzi sobie obecna generacja narzędzi. Agent testujący oparty na właściwościach wygenerował około 1000 potencjalnych wyników, a po weryfikacji przez ekspertów około 86% jego najważniejszych rekomendacji przetrwało kontrolę (wynik imponujący jak na maszynę, ale wskaźnik ten nadal wymaga filtrowania przez człowieka, zanim cokolwiek trafi do kodu produkcyjnego).

Narzędzia te wyraźnie wykrywają rzeczywiste luki w krytycznej infrastrukturze, podważając tym samym pogląd, że raporty o błędach generowane przez sztuczną inteligencję to czysty szum. Jednak obciążenie pracą nie zniknęło, a jedynie przeniosło się na dalszy etap – selekcję, gdzie doświadczeni inżynierowie oddzielają sygnał od szumu. W przypadku sieci zabezpieczającej aktywa o wartości setek miliardów dolarów filtr ten ma kluczowe znaczenie.

Fundacja obecnie kontynuuje te prace, zamiast traktować je jako jednorazowe przedsięwzięcie. Na przykład w ramach programu wsparcia ekosystemu (Ecosystem Support Program) finansuje specjalną rundę grantową poświęconą bezpieczeństwu protokołów opartym na sztucznej inteligencji, obejmującą badania, audyty i wykrywanie luk w zabezpieczeniach.