Ethereum-säätiö päästi tekoälyagentit tutkimaan koodiaan: tässä on, mitä ne todellisuudessa löysivät

Paljon virheellisiä diagnooseja

Kokeilusta kerrottiin yksityiskohtaisesti säätiön protokollaturvallisuusryhmän Nikos Baxevanisin 9. heinäkuuta julkaisemassa blogikirjoituksessa, jonka otsikko toimi samalla yrityksen teesinä: ”Lajittelu on tuote.” Tulokset herättivät laajaa huomiota, sillä useimmat merkityt ongelmat osoittautuivat vääriä positiivisia (vaikka joukossa oli myös todellisia virheitä).

Tärkein löytö on todellinen, sillä agentit auttoivat paljastamaan etäkäynnistettävän paniikkitilan gossipsubissa, joka on osa libp2p-vertaisverkko-kerrosta, jolla Ethereumin konsensusasiakkaat toimivat. Aukko korjattiin ja julkistettiin tunnuksella CVE-2026-34219 (tällainen virhe, jota hyökkääjä olisi voinut käyttää verkoston solmujen häiritsemiseen, jos olisi löytänyt sen ensin).

Virheiden löytäminen oli helppoa

Yllätys, kuten säätiö kirjoitti, ei ollut se, että tekoälyagentit pystyivät löytämään virheitä, vaan se, ”kuinka vähän työtä niiden löytämiseen kului ja kuinka paljon sen sijaan kului todellisten virheiden erottamiseen niistä, jotka vain näyttivät todellisilta”.

Tiimi luokitteli näiden huijareiden toistuvat muodot, kuten kaatumiset, jotka tapahtuvat vain virheenkorjausversioissa eivätkä koskaan tuotantoympäristössä; toistettavat virheet, jotka perustuvat saavuttamattomiin sisäisiin arvoihin, joita kukaan hyökkääjä ei voisi todellisuudessa toimittaa; sekä muodollisen todentamisen todisteet, jotka ovat teknisesti totta mutta niin rajoittamattomia, etteivät ne osoita mitään.

Säätiön vastaus oli tiukka todistusvaatimus, jonka se tiivisti lauseeseen ”toistettavissa tai sitä ei tapahtunut”. Tarkemmin sanottuna jokaisen ehdokaslöydöksen on tästä lähtien sisällettävä itsenäinen artefakti, joka toistaa virheen todellisella koodilla, riippumatta siitä, kuinka varmaksi raportointiagentti väittää löydöksensä olevan.

Ilmoittajia voidaan tässä yhteydessä pitää hypoteesien tuottajina (hakutyökaluina, ei päätöksentekijöinä), jotka on jaoteltu tiedustelu-, etsintä-, aukkojen täyttö- ja validointivaiheisiin, ja ihmiset tekevät lopullisen päätöksen.

Hypeen kätketyt luvut

Julkaisu tarjosi myös harvinaisen vertailukohdan nykyisen sukupolven työkalujen suorituskyvylle. Ominaisuuspohjainen testausagentti tuotti noin 1 000 mahdollista löydöstä, ja asiantuntijoiden tarkastelun jälkeen noin 86 % sen tärkeimmistä suosituksista kesti tarkastelun (hyvä tulos koneelle, mutta osuus, joka silti vaatii ihmisen suodatusta ennen kuin mikään pääsee tuotantokoodiin).

Työkalut löytävät selvästi todellisia haavoittuvuuksia kriittisessä infrastruktuurissa, mikä kumottaa väitteen, että tekoälyn tuottamat vikailmoitukset olisivat pelkkää kohinaa. Työmäärä ei kuitenkaan ole kadonnut, vaan siirtynyt vain prosessin loppupäähän luokitteluun, jossa kokeneet insinöörit erottavat merkitykselliset havainnot simulaatiosta. Verkostolle, joka turvaa satojen miljardien dollarien arvosta omaisuutta, tämä suodatus on tärkeää.

Säätiö vie nyt työtä eteenpäin sen sijaan, että käsittelisi sitä kertaluonteisena hankkeena. Sen Ecosystem Support Program -ohjelma rahoittaa esimerkiksi erityistä apurahakierrosta tekoälypohjaiselle protokollaturvallisuudelle, joka kattaa tutkimuksen, auditoinnin ja haavoittuvuuksien havaitsemisen.