Ethereumi Sihtasutus lasi oma koodi kallal tegutseda tehisintellekti agentidel: siin on, mida nad tegelikult avastasid

Palju valediagnoose

Katset kirjeldati üksikasjalikult fondi protokolli turvalisuse meeskonna liikme Nikos Baxevanise 9. juulil avaldatud blogipostituses, mille pealkiri oli ühtlasi ka ettevõtte põhimõte: „Triage on toode.” Tulemused pälvisid laialdast tähelepanu, kuna enamik märgistatud probleeme osutusid valepositiivseteks (kuigi nende hulgas oli ka tõelisi vigu).

Peamine avastus on piisavalt reaalne, kuna agendid aitasid paljastada gossipsubis kaugjuhtimisega käivitatavat paanikat – gossipsub on osa libp2p peer-to-peer võrgukihtist, millel Ethereumi konsensusklendid töötavad. Viga parandati ja avaldati koodiga CVE-2026-34219 (selline viga, mida ründaja oleks võinud kasutada võrgu sõlmede töö häirimiseks, kui ta oleks selle esimesena avastanud).

Vigade leidmine oli lihtne osa

Üllatuseks oli fondi sõnul mitte see, et tehisintellekti agendid suutsid vigu leida, vaid „kui vähe tööd kulus nende leidmisele ja kui palju kulus tõeliste vigade eristamisele nendest, mis lihtsalt tõelistena paistsid“.

Meeskond kataloogis nende võltsvigu korduvad vormid, näiteks krahhid, mis esinevad ainult silumiskompilatsioonides ja mitte kunagi tootmiskeskkonnas; vigu, mille taasesitamine sõltub kättesaamatutest sisemistest väärtustest, mida ükski ründaja tegelikult pakkuda ei suudaks; ning formaalse verifitseerimise tõendeid, mis on tehniliselt tõesed, kuid nii piiranguteta, et need midagi ei tõesta.

Sihtasutuse vastuseks oli range tõendamisstandard, mida ta kokkuvõtlikult sõnastas järgmiselt: „korduv või seda ei juhtunud“. Täpsemalt öeldes peab iga potentsiaalne leid edaspidi olema varustatud iseseisva artefaktiga, mis kordab viga tegeliku koodi suhtes, sõltumata sellest, kui kindel on viga teatanud agent oma väites.

Agente võib selles kontekstis vaadelda kui hüpoteeside genereerijaid (otsinguvahendeid, mitte otsustajaid), kes on organiseeritud luure-, jahti-, lünkade täitmise ja valideerimise etappidesse, kusjuures lõpliku otsuse teevad inimesed.

Hüpe taga peituvad numbrid

Postitus pakkus ka haruldast võrdlusalust selle kohta, kui hästi praeguse põlvkonna tööriistad toimivad. Omaduspõhine testimisagent genereeris ligikaudu 1000 potentsiaalset leidu ning pärast ekspertide läbivaatamist pidasid umbes 86% selle esmatasandi soovitustest kontrollile vastu (mis on masina jaoks tugev tulemus, kuid see määr nõuab siiski inimese poolt teostatavat filtreerimist enne, kui miski puutub tootmiskoodiga kokku).

Tööriistad leiavad kriitilises infrastruktuuris selgelt reaalsed haavatavused, lükates seega ümber väite, et tehisintellekti poolt genereeritud veateated on pelgalt müra. Siiski ei ole töökoormus kadunud, vaid lihtsalt nihkunud allavoolu triaažini, kus kogenud insenerid eraldavad signaali simulatsioonist. Võrgustiku jaoks, mis kaitseb sadade miljardite dollarite väärtuses vara, on see filter oluline.

Sihtasutus viib seda tööd nüüd edasi, selle asemel et käsitleda seda ühekordse projektina. Näiteks rahastab sihtasutuse ökosüsteemi toetusprogramm spetsiaalset toetusvooru tehisintellekti abil toimiva protokolliturvalisuse jaoks, mis hõlmab uurimistööd, auditeerimist ja haavatavuste avastamist.