Itinakda ng Ethereum Foundation ang mga AI Agent sa kanilang code: Narito ang Talagang Natuklasan Nila

Maraming Maling Diagnosis

Ang eksperimento ay idinetalye sa isang blog post na inilathala noong Hulyo 9 ni Nikos Baxevanis ng protocol security team ng foundation, sa ilalim ng pamagat na nagsilbi ring tesis ng grupo, ibig sabihin, “The triage is the product.” Malawak ang naging atensyon sa mga natuklasan dahil ang mga pinakamaraming na-flag na isyu ay nauwi sa mga false positive (kahit may mga totoong bug na kasama sa halo).

Totoo naman ang pangunahing nadiskubre, dahil nakatulong ang mga agent na mailantad ang isang remotely-triggerable panic sa gossipsub, bahagi ng libp2p peer-to-peer networking layer na pinapatakbo ng mga Ethereum consensus client. Inayos ang depekto at isiniwalat bilang CVE-2026-34219 (uri ng bug na, kung unang nahanap ng isang attacker, maaaring nagamit upang gambalain ang mga node sa buong network).

Madali ang Paghahanap ng mga Bug

Ang ikinagulat, isinulat ng foundation, ay hindi na kaya ng mga AI agent na makahanap ng mga bug kundi “kung gaano kaliit ng trabaho ang napunta sa paghahanap sa kanila, at kung gaano kalaki ang napunta sa pagtukoy kung alin ang totoong bug kumpara sa mga mukhang totoo lang.”

Inilista ng team ang mga paulit-ulit na anyo ng mga impostor na ito, gaya ng mga crash na nangyayari lang sa debug builds at hindi kailanman sa production, mga reproducer na umaasa sa mga internal value na hindi naaabot na wala ring attacker na tunay na makakapagbigay, at mga formal-verification proof na teknikal na tama ngunit sobrang maluwag ang mga constraint kaya wala itong pinatutunayan.

Ang sagot ng foundation ay isang mahigpit na pamantayan sa ebidensya na ibinuod nito bilang “reproducible or it didn’t happen.” Sa mas malinaw na paliwanag, bawat kandidatong natuklasan ay kinakailangang may kasamang self-contained na artifact na muling nagpapakita ng failure laban sa aktwal na code, at hiwalay sa kung gaano man kataas ang kumpiyansang ipinapahayag ng nag-uulat na agent.

Ang mga agent, sa kontekstong ito, ay maaaring ituring na mga tagabuo ng hypothesis (mga search tool, hindi tagapagpasya) na nakaayos sa mga yugto ng recon, hunting, gap-filling, at validation, habang ang mga tao ang gumagawa ng pinal na pasya.

Ang Mga Numero sa Likod ng Hype

Nag-alok din ang post ng isang bihirang benchmark kung gaano kahusay ang performance ng kasalukuyang henerasyon ng mga tool. Ang isang property-based testing agent ay nakabuo ng humigit-kumulang 1,000 kandidatong natuklasan, at matapos ang ekspertong pagsusuri, mga 86% ng mga top-tier na rekomendasyon nito ang pumasa sa masusing pagbusisi (malakas para sa isang makina, ngunit rate na nangangailangan pa rin ng human filter bago may anumang umabot sa production code).

Malinaw na nakakahanap ang mga tool ng mga totoong vulnerability sa kritikal na imprastraktura, kaya pinahihina nito ang pag-dismiss na ang mga AI-generated na bug report ay purong ingay. Gayunman, hindi naman nawala ang trabaho kundi lumipat lamang ito pababa sa daloy patungo sa triage, kung saan inihihiwalay ng mga bihasang engineer ang signal mula sa simulation. Para sa isang network na nagse-secure ng daan-daang bilyong dolyar na halaga, mahalaga ang filter na iyon.

Itinutulak na ngayon ng foundation ang trabaho pasulong sa halip na ituring itong one-off. Ang Ecosystem Support Program nito, halimbawa, ay pinopondohan ang isang nakalaang grant round para sa AI-powered protocol security, na sumasaklaw sa research, auditing, at vulnerability detection.