Fundația Ethereum a lăsat agenții AI să analizeze codul său: iată ce au descoperit de fapt

Multe diagnostice eronate

Experimentul a fost detaliat într-o postare pe blog publicată pe 9 iulie de Nikos Baxevanis, membru al echipei de securitate a protocolului fundației, sub un titlu care a servit și ca teză a companiei, și anume „Triajul este produsul”. Rezultatele au atras o atenție largă, deoarece cele mai semnalate probleme s-au dovedit a fi fals pozitive (chiar dacă printre ele se aflau și bug-uri reale).

Descoperirea principală este destul de reală, întrucât agenții au contribuit la identificarea unei vulnerabilități declanșabile de la distanță în gossipsub, parte a stratului de rețea peer-to-peer libp2p pe care rulează clienții de consens Ethereum. Vulnerabilitatea a fost remediată și raportată ca CVE-2026-34219 (genul de eroare care, dacă ar fi fost descoperită prima dată de un atacator, ar fi putut fi folosită pentru a perturba nodurile din întreaga rețea).

Descoperirea erorilor a fost partea ușoară

Surpriza, a scris fundația, nu a fost faptul că agenții AI au putut găsi bug-uri, ci „cât de puțin efort a fost necesar pentru a le găsi și cât de mult a fost necesar pentru a distinge bug-urile reale de cele care doar păreau reale”.

Echipa a catalogat tiparele recurente ale acestor impostori, cum ar fi blocările care apar doar în versiunile de depanare și niciodată în producție, cazurile reproductibile care se bazează pe valori interne inaccesibile pe care niciun atacator nu le-ar putea furniza efectiv, precum și dovezile de verificare formală care sunt adevărate din punct de vedere tehnic, dar atât de neconstrânse încât nu demonstrează nimic.

Răspunsul fundației a fost un standard probatoriu strict, pe care l-a rezumat astfel: „reproductibil sau nu s-a întâmplat”. Mai pe larg, fiecare descoperire potențială trebuie de acum înainte să fie însoțită de un artefact autonom care reproduce eroarea pe codul real, indiferent de cât de sigur pretinde agentul raportor că este.

În acest context, agenții pot fi priviți ca generatori de ipoteze (instrumente de căutare, nu factori de decizie) organizați în etape de recunoaștere, vânătoare, completare a lacunelor și validare, decizia finală revenind oamenilor.

Cifrele din spatele entuziasmului

Postarea a oferit, de asemenea, un punct de referință rar privind performanța generației actuale de instrumente. Un agent de testare bazat pe proprietăți a generat aproximativ 1.000 de descoperiri potențiale, iar după revizuirea efectuată de experți, aproximativ 86% dintre recomandările sale de top au trecut de examinare (un rezultat bun pentru o mașină, dar o rată care necesită totuși un filtru uman înainte ca orice să ajungă la codul de producție).

Instrumentele identifică în mod clar vulnerabilități reale în infrastructura critică, contrazicând astfel afirmația conform căreia rapoartele de erori generate de IA sunt doar zgomot de fond. Cu toate acestea, volumul de muncă nu a dispărut, ci s-a mutat pur și simplu în aval, către etapa de triere, unde inginerii experimentați separă semnalul de simulare. Pentru o rețea care protejează o valoare de sute de miliarde de dolari, acest filtru este esențial.

Fundația promovează acum această activitate, în loc să o trateze ca pe o inițiativă punctuală. Programul său de sprijinire a ecosistemului, de exemplu, finanțează o rundă de granturi dedicată securității protocoalelor bazate pe IA, acoperind cercetarea, auditul și detectarea vulnerabilităților.