Nadace Ethereum nechala AI agenty prozkoumat svůj kód: Tady je, co vlastně zjistili

Mnoho chybných diagnóz

Experiment byl podrobně popsán v blogovém příspěvku, který 9. července zveřejnil Nikos Baxevanis z týmu pro bezpečnost protokolu nadace pod názvem, který zároveň sloužil jako teze společnosti, tj. „Třídění je produkt.“ Zjištění vzbudila širokou pozornost, protože se ukázalo, že nejvíce nahlášených problémů byly falešné poplachy (i když se mezi nimi vyskytly i skutečné chyby).

Hlavní objev je zcela reálný, protože agenti pomohli odhalit paniku spustitelnou na dálku v modulu gossipsub, který je součástí vrstvy peer-to-peer sítě libp2p, na níž běží konsensuální klienti Ethereum. Chyba byla opravena a zveřejněna jako CVE-2026-34219 (jedná se o typ chyby, která by v případě, že by ji jako první objevil útočník, mohla být zneužita k narušení uzlů v celé síti).

Hledání chyb bylo tou snadnou částí

Překvapením, jak nadace uvedla, nebylo to, že agenti AI dokázali chyby najít, ale „jak málo úsilí bylo vynaloženo na jejich hledání a kolik úsilí bylo vynaloženo na rozlišení skutečných chyb od těch, které jen vypadaly jako skutečné.“

Tým katalogizoval opakující se vzory těchto „podvodníků“, jako například pády, ke kterým dochází pouze v ladicích verzích a nikdy v produkčním prostředí, reprodukovatelné chyby, které se spoléhají na nedosažitelné interní hodnoty, které žádný útočník ve skutečnosti nemůže poskytnout, a důkazy formální verifikace, které jsou technicky pravdivé, ale natolik neomezené, že nic nedokazují.

Odpovědí nadace byl přísný standard pro dokazování, který shrnula do hesla „reprodukovatelné, nebo se to nestalo“. Konkrétně to znamená, že každý potenciální nález musí být od nynějška dodán spolu se samostatným artefaktem, který reprodukuje selhání na skutečném kódu, a to bez ohledu na to, jak velkou jistotu uvádí agent, který chybu nahlásil.

Agenty lze v tomto kontextu vnímat jako generátory hypotéz (vyhledávací nástroje, nikoli rozhodovací orgány) organizované do fází průzkumu, hledání, vyplňování mezer a ověřování, přičemž konečné rozhodnutí činí lidé.

Čísla za mediálním humbukem

Příspěvek také nabídl vzácný srovnávací test toho, jak dobře si vede současná generace nástrojů. Agent pro testování založené na vlastnostech vygeneroval přibližně 1 000 potenciálních nálezů a po odborném posouzení obstálo v prověrce asi 86 % jeho nejdůležitějších doporučení (což je na stroj solidní výsledek, ale stále jde o míru, která vyžaduje lidský filtr, než se cokoli dostane do produkčního kódu).

Tyto nástroje zjevně odhalují skutečné zranitelnosti v kritické infrastruktuře, čímž vyvrací tvrzení, že hlášení o chybách generovaná umělou inteligencí jsou pouhým šumem. Pracovní zátěž však nezmizela, pouze se přesunula do další fáze – do třídění, kde zkušení inženýři oddělují skutečné signály od simulací. Pro síť, která chrání aktiva v hodnotě stovek miliard dolarů, je tento filtr důležitý.

Nadace nyní tuto práci posouvá vpřed, místo aby ji považovala za jednorázovou záležitost. Její program podpory ekosystému (Ecosystem Support Program) například financuje speciální kolo grantů zaměřené na bezpečnost protokolů založenou na umělé inteligenci, které pokrývá výzkum, audity a detekci zranitelností.