Yayasan Ethereum Melepaskan Agen AI untuk Menganalisis Kode Mereka: Inilah yang Sebenarnya Mereka Temukan

Banyak Kesalahan Diagnosis

Eksperimen ini dijelaskan secara rinci dalam sebuah postingan blog yang diterbitkan pada 9 Juli oleh Nikos Baxevanis dari tim keamanan protokol yayasan tersebut, dengan judul yang juga berfungsi sebagai tesis perusahaan, yaitu "Triage adalah produknya." Temuan tersebut menarik perhatian luas karena masalah yang paling banyak dilaporkan ternyata merupakan false positive (meskipun ada bug nyata di antaranya).

Temuan utama ini cukup nyata, karena agen-agen tersebut membantu mengungkap adanya kondisi panik yang dapat dipicu dari jarak jauh di gossipsub, bagian dari lapisan jaringan peer-to-peer libp2p yang digunakan oleh klien konsensus Ethereum. Kelemahan tersebut telah diperbaiki dan diungkapkan sebagai CVE-2026-34219 (jenis bug yang, jika ditemukan lebih dulu oleh penyerang, dapat digunakan untuk mengganggu node di seluruh jaringan).

Menemukan Bug Adalah Bagian yang Mudah

Yang mengejutkan, tulis yayasan tersebut, bukanlah bahwa agen AI dapat menemukan bug, melainkan “betapa sedikitnya usaha yang diperlukan untuk menemukannya, dan betapa besarnya usaha yang diperlukan untuk membedakan bug yang sebenarnya dari yang sekadar tampak nyata.”

Tim tersebut mendokumentasikan pola berulang dari peniru-peniru tersebut, seperti crash yang hanya terjadi pada build debug dan tidak pernah di lingkungan produksi, reproduksi yang bergantung pada nilai internal yang tidak dapat dijangkau—yang tidak mungkin disediakan oleh penyerang mana pun—serta bukti verifikasi formal yang secara teknis benar namun begitu tidak terkendali sehingga tidak membuktikan apa pun.

Jawaban yayasan tersebut adalah standar pembuktian yang ketat, yang dirangkum sebagai “dapat direproduksi atau itu tidak pernah terjadi.” Untuk menjelaskannya lebih lanjut, setiap temuan yang diusulkan mulai saat ini diwajibkan untuk dilengkapi dengan artefak mandiri yang dapat mereproduksi kegagalan tersebut pada kode yang sebenarnya, terlepas dari seberapa yakin agen pelapor mengklaim temuan tersebut.

Dalam konteks ini, agen dapat dipandang sebagai penghasil hipotesis (alat pencarian, bukan pengambil keputusan) yang diorganisasikan ke dalam tahap pengintaian, perburuan, pengisian celah, dan validasi, dengan manusia yang mengambil keputusan akhir.

Angka-angka di Balik Hype

Postingan tersebut juga menawarkan tolok ukur langka mengenai seberapa baik kinerja alat generasi saat ini. Sebuah agen pengujian berbasis properti menghasilkan sekitar 1.000 temuan potensial, dan setelah ditinjau oleh para ahli, sekitar 86% dari rekomendasi tingkat teratasnya lolos dari pemeriksaan (angka yang kuat untuk sebuah mesin, namun tingkat ini tetap memerlukan penyaringan oleh manusia sebelum ada yang menyentuh kode produksi).

Alat-alat ini jelas menemukan kerentanan nyata dalam infrastruktur kritis, sehingga membantah anggapan bahwa laporan bug yang dihasilkan AI hanyalah kebisingan belaka. Namun, beban kerja tersebut tidak lenyap, melainkan hanya berpindah ke tahap triase, di mana insinyur berpengalaman memisahkan sinyal dari kebisingan. Bagi jaringan yang melindungi aset senilai ratusan miliar dolar, penyaringan tersebut sangat penting.

Yayasan tersebut kini terus mendorong pekerjaan ini ke depan, bukan menganggapnya sebagai proyek satu kali saja. Program Dukungan Ekosistemnya, misalnya, mendanai putaran hibah khusus untuk keamanan protokol yang didukung AI, yang mencakup penelitian, audit, dan deteksi kerentanan.