Ethereum Foundation släppte lös AI-agenter på sin kod: Här är vad de faktiskt upptäckte

Många feldiagnoser

Experimentet beskrevs i detalj i ett blogginlägg som publicerades den 9 juli av Nikos Baxevanis från stiftelsens protokollsäkerhetsteam, under en rubrik som också fungerade som företagets tes, nämligen ”Triage är produkten”. Resultaten väckte stor uppmärksamhet eftersom de flest flaggade problemen visade sig vara falska positiva (även om det fanns riktiga buggar bland dem).

Den viktigaste upptäckten är helt verklig, eftersom agenterna bidrog till att avslöja en panik som kunde utlösas på distans i gossipsub, en del av libp2p-nätverkslagret för peer-to-peer-kommunikation som Ethereums konsensusklienter körs på. Sårbarheten åtgärdades och rapporterades som CVE-2026-34219 (den typ av bugg som, om den först hade upptäckts av en angripare, kunde ha använts för att störa noder över hela nätverket).

Att hitta buggar var den enkla delen

Överraskningen, skrev stiftelsen, var inte att AI-agenterna kunde hitta buggar utan ”hur lite arbete som krävdes för att hitta dem, och hur mycket som krävdes för att skilja de riktiga buggarna från de som bara såg verkliga ut”.

Teamet katalogiserade de återkommande mönstren hos dessa ”imitatörer”, till exempel krascher som endast inträffar i felsökningsversioner och aldrig i produktionsmiljön, reproducerbara fel som bygger på oåtkomliga interna värden som ingen angripare faktiskt skulle kunna tillhandahålla, samt formella verifieringsbevis som visserligen är tekniskt sanna men så obegränsade att de inte bevisar någonting.

Stiftelsens svar var en sträng beviskrav som den sammanfattade som ”reproducerbart eller så har det inte hänt”. För att förtydliga: varje potentiellt fynd måste hädanefter åtföljas av en fristående artefakt som reproducerar felet mot den faktiska koden, oavsett hur säker den rapporterande agenten påstår sig vara.

Agenter kan i detta sammanhang ses som hypotesgeneratorer (sökverktyg, inte beslutsfattare) organiserade i faser för rekognosering, jakt, luckfyllning och validering, där människor fattar det slutgiltiga beslutet.

Siffrorna bakom hypen

Inlägget erbjöd också en sällsynt jämförelse av hur väl den nuvarande generationen av verktyg presterar. En egenskapsbaserad testagent genererade ungefär 1 000 potentiella fynd, och efter granskning av experter klarade cirka 86 % av dess högst rankade rekommendationer granskningen (imponerande för en maskin, men en andel som fortfarande kräver ett mänskligt filter innan något når produktionskoden).

Verktygen upptäcker uppenbarligen verkliga sårbarheter i kritisk infrastruktur, vilket därmed motbevisar påståendet att AI-genererade felrapporter endast är brus. Arbetsbördan har dock inte försvunnit, utan helt enkelt flyttats nedströms till triageringen, där erfarna ingenjörer skiljer signal från brus. För ett nätverk som skyddar tillgångar värda hundratals miljarder dollar är det filtret viktigt.

Stiftelsen driver nu arbetet vidare istället för att behandla det som en engångsföreteelse. Dess ”Ecosystem Support Program” finansierar till exempel en särskild anslagsomgång för AI-driven protokollsäkerhet, som omfattar forskning, granskning och upptäckt av sårbarheter.