Ethereum Foundation lod AI-agenter gå løs på sin kode: Her er, hvad de rent faktisk fandt ud af

Mange fejldiagnoser

Eksperimentet blev beskrevet i et blogindlæg, der blev offentliggjort den 9. juli af Nikos Baxevanis fra fondens protokolsikkerhedsteam, under en titel, der også fungerede som virksomhedens tese, nemlig »Triage er produktet«. Resultaterne vakte stor opmærksomhed, da de mest markerede problemer viste sig at være falske positiver (selvom der også var reelle fejl iblandt).

Den vigtigste opdagelse er reel nok, da agenterne hjalp med at afsløre en panik, der kunne udløses eksternt i gossipsub, en del af libp2p-peer-to-peer-netværkslaget, som Ethereums konsensusklienter kører på. Fejlen blev rettet og offentliggjort som CVE-2026-34219 (den slags fejl, der, hvis den først var blevet fundet af en angriber, kunne være blevet brugt til at forstyrre noder på tværs af netværket).

At finde fejl var den nemme del

Overraskelsen, skrev fonden, var ikke, at AI-agenterne kunne finde fejl, men »hvor lidt arbejde der gik med at finde dem, og hvor meget der gik med at skelne de rigtige fejl fra dem, der bare så ægte ud.«

Teamet katalogiserede de tilbagevendende mønstre hos disse bedrageriske fejl, såsom nedbrud, der kun forekommer i debug-builds og aldrig i produktionsmiljøet, reproducerbare fejl, der er afhængige af utilgængelige interne værdier, som ingen angriber reelt kunne levere, samt formelle verifikationsbeviser, der teknisk set er sande, men så ubegrænsede, at de ikke beviser noget.

Fondens svar var en streng bevisstandard, som den sammenfattede som »reproducerbar, ellers er det ikke sket«. For at uddybe det skal hvert potentielt fund fremover ledsages af et selvstændigt artefakt, der reproducerer fejlen i den faktiske kode, uafhængigt af hvor sikker den rapporterende agent hævder at være.

Agenter kan i denne sammenhæng betragtes som hypotese-generatorer (søgeværktøjer, ikke beslutningstagere), der er organiseret i faser som rekognoscering, jagt, udfyldning af huller og validering, hvor mennesker træffer den endelige beslutning.

Tallene bag al den hype

Indlægget bød også på en sjælden benchmark for, hvor godt den nuværende generation af værktøjer klarer sig. En egenskabsbaseret testagent genererede omkring 1.000 mulige fund, og efter en ekspertgennemgang overlevede ca. 86 % af dens anbefalinger i topkategorien den nærmere granskning (et stærkt resultat for en maskine, men en andel, der stadig kræver et menneskeligt filter, før noget rører produktionskoden).

Værktøjerne finder tydeligvis reelle sårbarheder i kritisk infrastruktur og undergraver dermed påstanden om, at AI-genererede fejlrapporter udelukkende er støj. Arbejdsbyrden er dog ikke forsvundet, men er blot flyttet nedstrøms til triage, hvor erfarne ingeniører skelner mellem signal og støj. For et netværk, der sikrer værdier for hundreder af milliarder dollars, er dette filter vigtigt.

Fonden arbejder nu på at fremme dette arbejde i stedet for at betragte det som en engangsforeteelse. Dens »Ecosystem Support Program« finansierer for eksempel en dedikeret bevillingsrunde til AI-drevet protokolsikkerhed, der dækker forskning, revision og sårbarhedsdetektering.