Ethereum Foundation Slapp Løs AI-agenter på Koden Sin: Her er Hva de Faktisk Fant

Mye feildiagnostisering

Eksperimentet ble beskrevet i et blogginnlegg publisert 9. juli av Nikos Baxevanis fra stiftelsens protokollsikkerhetsteam, under en tittel som også fungerte som selskapets tese, altså «Triage er produktet». Funnene fikk stor oppmerksomhet fordi de mest rapporterte problemene viste seg å være falske positiver (selv om det også fantes reelle feil i miksen).

Hovedoppdagelsen er reell nok, ettersom agentene bidro til å avdekke en eksternt triggbart panic i gossipsub, en del av libp2p-laget for peer-to-peer-nettverk som Ethereums konsensusklienter kjører på. Feilen ble rettet og offentliggjort som CVE-2026-34219 (en type feil som, hvis den først hadde blitt funnet av en angriper, kunne blitt brukt til å forstyrre noder på tvers av nettverket).

Å finne feil var den enkle delen

Overraskelsen, skrev stiftelsen, var ikke at KI-agenter kunne finne feil, men «hvor lite av arbeidet som gikk med til å finne dem, og hvor mye som gikk med til å skille de reelle feilene fra dem som bare så reelle ut».

Teamet katalogiserte de gjentakende mønstrene i disse bedragerne, som krasj som bare oppstår i debug-bygg og aldri i produksjon, reprodusere som er avhengige av uoppnåelige interne verdier som ingen angriper faktisk kan levere, og formalverifikasjonsbevis som teknisk sett er sanne, men så lite avgrenset at de ikke demonstrerer noe.

Stiftelsens svar var en streng bevisstandard den oppsummerte som «reproduserbart, ellers skjedde det ikke». For å utdype: Hvert kandidatfunn må heretter leveres med et selvstendig artefakt som reproduserer feilen mot den faktiske koden, uavhengig av hvor sikker den rapporterende agenten hevder å være.

Agenter, i denne sammenhengen, kan ses som hypotesegeneratorer (søkeverktøy, ikke beslutningstakere) organisert i rekognosering, jakt, hullfylling og valideringsfaser, med mennesker som tar den endelige avgjørelsen.

Tallene bak hypen

Innlegget ga også en sjelden målestokk for hvor godt dagens verktøygenerasjon presterer. En agent for egenskapsbasert testing genererte omtrent 1 000 kandidatfunn, og etter ekspertgjennomgang besto rundt 86 % av de mest høyprioriterte anbefalingene granskningen (sterkt for en maskin, men likevel en rate som fortsatt krever et menneskelig filter før noe i det hele tatt berører produksjonskode).

Verktøyene finner tydeligvis reelle sårbarheter i kritisk infrastruktur, og undergraver dermed avfeielsen om at KI-genererte feilrapporter bare er støy. Likevel har arbeidsmengden ikke forsvunnet, men bare flyttet seg nedstrøms til triage, der erfarne ingeniører skiller signal fra simulering. For et nettverk som sikrer verdier for hundrevis av milliarder dollar, er det filteret viktig.

Stiftelsen skyver nå arbeidet videre i stedet for å behandle det som et engangstiltak. Dets Ecosystem Support Program, for eksempel, finansierer en egen tilskuddsrunde for KI-drevet protokollsikkerhet, som dekker forskning, revisjon og sårbarhetsdeteksjon.