มูลนิธิอีเธอเรียมปล่อยเอเจนต์ AI ให้ลุยตรวจโค้ดของตัวเอง: แล้วพวกมันพบอะไรจริง ๆ กันแน่

การวินิจฉัยผิดจำนวนมาก

การทดลองนี้ถูกอธิบายไว้ใน บล็อกโพสต์ที่เผยแพร่ เมื่อวันที่ 9 กรกฎาคม โดย Nikos Baxevanis จากทีมความปลอดภัยของโปรโตคอลของมูลนิธิ ภายใต้ชื่อเรื่องที่ทำหน้าที่เป็นแก่นสารขององค์กรไปด้วย กล่าวคือ “The triage is the product.” ผลลัพธ์ได้รับความสนใจอย่างกว้างขวาง เพราะประเด็นที่ถูกตั้งธงมากที่สุดกลับกลายเป็นผลบวกเทียม (แม้ว่าจะมีบั๊กจริงปะปนอยู่ด้วย)

การค้นพบที่เป็นพาดหัวนั้นจริงพอสมควร เพราะเอเจนต์ช่วยเปิดเผยอาการ panic ที่สามารถถูกทริกเกอร์จากระยะไกลใน gossipsub ซึ่งเป็นส่วนหนึ่งของเลเยอร์เครือข่ายแบบเพียร์ทูเพียร์ libp2p ที่ไคลเอนต์ฉันทามติของ Ethereum ใช้งาน บั๊กดังกล่าวได้รับการแก้ไขและเปิดเผยเป็น CVE-2026-34219 (เป็นบั๊กประเภทที่ หากผู้โจมตีพบก่อน อาจถูกใช้เพื่อรบกวนโหนดต่าง ๆ ทั่วทั้งเครือข่ายได้)

การหาบั๊กเป็นส่วนที่ง่าย

ความประหลาดใจ ตามที่มูลนิธิเขียนไว้ ไม่ใช่ว่าเอเจนต์ AI สามารถหาบั๊กได้หรือไม่ แต่เป็น “งานที่ใช้ไปกับการหาบั๊กมีน้อยแค่ไหน และงานที่ใช้ไปกับการแยกบั๊กจริงออกจากสิ่งที่แค่ดูเหมือนจริงมีมากแค่ไหน”

ทีมได้จัดหมวดหมู่รูปแบบที่เกิดซ้ำของ “ตัวปลอม” เหล่านั้น เช่น แครชที่เกิดเฉพาะในบิลด์ดีบักและไม่เกิดในโปรดักชัน ตัวทำซ้ำ (reproducer) ที่พึ่งพาค่าภายในที่ไม่สามารถเข้าถึงได้ซึ่งไม่มีผู้โจมตีคนใดป้อนให้ได้จริง และหลักฐานการพิสูจน์ด้วยการตรวจสอบเชิงรูปแบบ (formal-verification) ที่แม้จะถูกต้องในเชิงเทคนิค แต่หลวมเกินไปจนไม่แสดงอะไรเลย

คำตอบของมูลนิธิคือมาตรฐานเชิงหลักฐานที่เข้มงวดซึ่งสรุปเป็นว่า “ทำซ้ำได้หรือไม่ก็ไม่เกิดขึ้น” กล่าวให้ชัดคือ ตั้งแต่นี้เป็นต้นไป ข้อค้นพบผู้สมัครทุกชิ้นต้องมาพร้อมอาร์ติแฟกต์แบบสแตนด์อโลนที่สามารถทำซ้ำความล้มเหลวกับโค้ดจริงได้ โดยไม่ขึ้นกับว่าเอเจนต์ที่รายงานจะอ้างความมั่นใจมากเพียงใด

เอเจนต์ในบริบทนี้สามารถมองเป็นเครื่องสร้างสมมติฐาน (เครื่องมือค้นหา ไม่ใช่ผู้ตัดสินใจ) ที่ถูกจัดเป็นขั้นตอน recon, hunting, gap-filling และ validation โดยมีมนุษย์เป็นผู้ตัดสินขั้นสุดท้าย

ตัวเลขเบื้องหลังความฮือฮา

โพสต์ดังกล่าวยังให้เกณฑ์วัดที่หาได้ยากว่าชุดเครื่องมือยุคปัจจุบันทำผลงานได้ดีเพียงใด เอเจนต์ทดสอบแบบอิงคุณสมบัติ (property-based testing) สร้างข้อค้นพบผู้สมัครประมาณ 1,000 รายการ และหลังการทบทวนโดยผู้เชี่ยวชาญ ราว 86% ของคำแนะนำระดับท็อปของมันผ่านการตรวจสอบ (แข็งแกร่งสำหรับเครื่องจักร แต่ก็ยังเป็นอัตราที่ต้องมีตัวกรองโดยมนุษย์ก่อนที่สิ่งใดจะไปแตะโค้ดโปรดักชัน)

เครื่องมือเหล่านี้ชัดเจนว่ากำลังพบช่องโหว่จริงในโครงสร้างพื้นฐานที่สำคัญ ซึ่งบั่นทอนข้อครหาว่ารายงานบั๊กที่สร้างโดย AI เป็นเพียงสัญญาณรบกวนล้วน ๆ อย่างไรก็ดี ภาระงานไม่ได้หายไป แต่เพียงถูกเลื่อนไปอยู่ปลายน้ำที่การคัดกรอง (triage) ซึ่งวิศวกรที่มีประสบการณ์ต้องแยกสัญญาณจริงออกจากสิ่งจำลอง สำหรับเครือข่ายที่ค้ำประกันมูลค่าหลายแสนล้านดอลลาร์ ตัวกรองนี้มีความสำคัญ

ขณะนี้มูลนิธิกำลังผลักดันงานต่อเนื่อง แทนที่จะมองเป็นการทำครั้งเดียวจบ ตัวอย่างเช่น โปรแกรม Ecosystem Support Program ของมูลนิธิกำลังให้ทุนสำหรับรอบทุนเฉพาะด้านความปลอดภัยโปรโตคอลที่ขับเคลื่อนด้วย AI ครอบคลุมงานวิจัย การตรวจสอบ (auditing) และการตรวจจับช่องโหว่