De Ethereum Foundation heeft AI-agenten losgelaten op haar code: dit is wat ze daadwerkelijk hebben ontdekt

Veel verkeerde diagnoses

Het experiment werd gedetailleerd beschreven in een blogpost die op 9 juli werd gepubliceerd door Nikos Baxevanis van het protocolbeveiligingsteam van de stichting, onder een titel die tevens dienst deed als de stelling van de organisatie, namelijk: „De triage is het product.” De bevindingen trokken veel aandacht omdat de meest gemelde problemen valse positieven bleken te zijn (hoewel er ook echte bugs tussen zaten).

De belangrijkste ontdekking is echter wel degelijk reëel, aangezien de agents hielpen bij het aan het licht brengen van een op afstand te activeren paniek in gossipsub, een onderdeel van de libp2p peer-to-peer-netwerklaag waarop Ethereum-consensusclients draaien. Het beveiligingslek is verholpen en bekendgemaakt als CVE-2026-34219 (het soort bug dat, als het als eerste door een aanvaller was ontdekt, had kunnen worden gebruikt om knooppunten in het hele netwerk te verstoren).

Het vinden van bugs was het makkelijke deel

De verrassing, zo schreef de stichting, was niet dat AI-agenten bugs konden vinden, maar „hoe weinig werk er nodig was om ze te vinden, en hoeveel werk er nodig was om de echte bugs te onderscheiden van de bugs die er alleen maar echt uitzagen“.

Het team bracht de terugkerende patronen van die bedriegers in kaart, zoals crashes die alleen in debug-builds voorkomen en nooit in de productieomgeving, reproduceerbare fouten die afhankelijk zijn van onbereikbare interne waarden die geen enkele aanvaller daadwerkelijk zou kunnen aanleveren, en bewijzen uit formele verificatie die technisch gezien waar zijn maar zo onbeperkt dat ze niets aantonen.

Het antwoord van de stichting was een strenge bewijsnorm die zij samenvatte als „reproduceerbaar of het is niet gebeurd“. Om dit toe te lichten: elke kandidaat-vinding moet voortaan vergezeld gaan van een op zichzelf staand artefact dat de fout reproduceert aan de hand van de daadwerkelijke code, ongeacht hoe zeker de rapporterende agent beweert te zijn.

Agenten kunnen in deze context worden gezien als hypothese-generatoren (zoekinstrumenten, geen besluitvormers) die zijn georganiseerd in fasen van verkenning, opsporing, het opvullen van hiaten en validatie, waarbij mensen de uiteindelijke beslissing nemen.

De cijfers achter de hype

Het bericht bood ook een zeldzame benchmark voor hoe goed de huidige generatie tools presteert. Een op eigenschappen gebaseerde testagent genereerde ongeveer 1.000 kandidaat-bevindingen, en na beoordeling door experts doorstond ongeveer 86% van de aanbevelingen uit de hoogste categorie de toetsing (sterk voor een machine, maar een percentage dat nog steeds een menselijke filter vereist voordat er ook maar iets in de productiecode terechtkomt).

De tools vinden duidelijk echte kwetsbaarheden in kritieke infrastructuur, waardoor de bewering dat door AI gegenereerde bugrapporten louter ruis zijn, wordt ondermijnd. Toch is de werklast niet verdwenen, maar simpelweg verplaatst naar de triagefase, waar ervaren engineers het signaal van de ruis scheiden. Voor een netwerk dat honderden miljarden dollars aan waarde beveiligt, is die filter belangrijk.

De stichting zet het werk nu voort in plaats van het als een eenmalig project te beschouwen. Haar Ecosystem Support Program financiert bijvoorbeeld een speciale subsidieronde voor AI-aangedreven protocolbeveiliging, die onderzoek, auditing en het opsporen van kwetsbaarheden omvat.