بنیاد اتریوم عوامل هوش مصنوعی را روی کد خود رها کرد: این‌ها چیزهایی هستند که واقعاً پیدا کردند

تشخیص‌های اشتباه فراوان

این آزمایش در یک پست وبلاگی که در ۹ ژوئیه توسط نیکوس باکسیوانیس از تیم امنیت پروتکل بنیاد منتشر شد، با عنوانی که هم‌زمان تز شرکت هم بود، یعنی «تریاژ محصول است»، تشریح شد. این یافته‌ها توجه گسترده‌ای را جلب کرد، زیرا پرپرچم‌ترین موارد در نهایت مثبت‌های کاذب از آب درآمدند (هرچند باگ‌های واقعی هم در میانشان بود).

کشفِ تیتر اول به اندازه کافی واقعی است، زیرا عامل‌ها به آشکار شدن یک panic قابل‌فعال‌سازی از راه دور در gossipsub کمک کردند؛ بخشی از لایهٔ شبکه‌سازی همتابه‌همتای libp2p که کلاینت‌های اجماع اتریوم بر آن اجرا می‌شوند. این نقص برطرف و با شناسهٔ CVE-2026-34219 افشا شد (از آن نوع باگ که اگر ابتدا توسط مهاجم پیدا می‌شد، می‌توانست برای مختل کردن نودها در سراسر شبکه به کار رود).

پیدا کردن باگ‌ها بخش آسان ماجرا بود

بنیاد نوشت شگفتی این نبود که عامل‌های هوش مصنوعی می‌توانند باگ پیدا کنند، بلکه این بود که «چه مقدار کمی از کار صرف پیدا کردن آن‌ها شد و چه مقدار زیاد صرف تشخیص باگ‌های واقعی از مواردی شد که فقط واقعی به نظر می‌رسیدند.»

تیم، الگوهای تکرارشوندهٔ این مدعیان دروغین را فهرست کرد؛ از جمله کرش‌هایی که فقط در بیلدهای دیباگ رخ می‌دهند و هرگز در پروداکشن اتفاق نمی‌افتند، بازتولیدکننده‌هایی که به مقادیر داخلیِ دست‌نیافتنی تکیه دارند که هیچ مهاجمی واقعاً نمی‌تواند آن‌ها را فراهم کند، و برهان‌های راستی‌آزماییِ صوری که از نظر فنی درست‌اند اما آن‌قدر بی‌قیدوبند هستند که هیچ چیزی را نشان نمی‌دهند.

پاسخ بنیاد، یک معیار سخت‌گیرانهٔ شواهدی بود که آن را این‌گونه خلاصه کرد: «قابل‌بازتولید باشد وگرنه اتفاق نیفتاده است.» برای توضیح بیشتر، از این پس هر یافتهٔ نامزد باید همراه با یک آرتیفکتِ خودبسنده ارائه شود که شکست را علیه کد واقعی بازتولید کند، مستقل از این‌که عامل گزارش‌دهنده مدعی چه میزان اطمینان است.

عامل‌ها در این زمینه را می‌توان تولیدکنندهٔ فرضیه دید (ابزارهای جست‌وجو، نه تصمیم‌گیرنده‌ها) که در مراحل شناسایی، شکار، پر کردن شکاف‌ها و اعتبارسنجی سازمان‌دهی شده‌اند و انسان‌ها تصمیم نهایی را می‌گیرند.

اعداد پشت هیاهو

این پست همچنین یک معیار کمیاب ارائه کرد از این‌که نسل کنونی ابزارها چقدر خوب عمل می‌کند. یک عاملِ تست مبتنی بر ویژگی حدود ۱٬۰۰۰ یافتهٔ نامزد تولید کرد و پس از بازبینی کارشناسان، حدود ۸۶٪ از توصیه‌های رده‌بالای آن از زیر ذره‌بین جان سالم به در برد (برای یک ماشین قوی است، اما نرخی که همچنان پیش از آن‌که چیزی به کد پروداکشن برسد، به یک فیلتر انسانی نیاز دارد).

این ابزارها آشکارا در حال یافتن آسیب‌پذیری‌های واقعی در زیرساخت‌های حیاتی هستند و در نتیجه این ردیه را تضعیف می‌کنند که گزارش‌های باگِ تولیدشده توسط هوش مصنوعی سراسر نویزند. با این حال، حجم کار از بین نرفته و صرفاً به پایین‌دست منتقل شده است: به تریاژ، جایی که مهندسان باتجربه سیگنال را از شبیه‌سازی جدا می‌کنند. برای شبکه‌ای که صدها میلیارد دلار ارزش را ایمن می‌کند، آن فیلتر مهم است.

بنیاد اکنون این کار را به جلو می‌برد و آن را یک اقدام مقطعی تلقی نمی‌کند. برای نمونه، برنامهٔ پشتیبانی اکوسیستم آن در حال تأمین مالی یک دورِ گرنت اختصاصی برای امنیت پروتکلِ مبتنی بر هوش مصنوعی است که پژوهش، ممیزی و کشف آسیب‌پذیری را پوشش می‌دهد.