Зростаюче занепокоєння щодо безпеки штучного інтелекту викликало бурхливу дискусію щодо його регулювання. Поки Ендрю Ян попереджає, що зловмисний самовідтворювальний код уже спотворює навчальні дані в Інтернеті, компанія Sentient Labs стверджує, що просто сповільнювати розвиток штучного інтелекту неефективно без інфраструктури динамічної оцінки та незалежної верифікації.
Справжня загроза безпеці штучного інтелекту полягає не в швидкості, а в централізованому управлінні
АВТОР
ПОДІЛИТИСЯ
Основні висновки
- Даріо Амодей та двоє провідних представників технологічної галузі закликали уповільнити розвиток, тоді як Ендрю Янг попередив про небезпеку зловмисного самовідтворювального коду.
- Друге дослідження Sentient Labs, присвячене аналізу навичок, продемонструвало показники ШІ в іграх, що підживило суперечки щодо регулювання.
- Абхішек Саксена закликав вжити 3 незалежних заходів нагляду, щоб виправити недоліки тестування ШІ, замість того щоб покладатися на тимчасові зупинки.
Неконтрольований код змушує технологічні компанії створювати «синтетичні Інтернети»
Через кілька днів після того, як генеральний директор Anthropic Даріо Амодеї опублікував лист із закликом уповільнити розвиток штучного інтелекту, колишній кандидат у мери Нью-Йорка Ендрю Ян попередив, що, можливо, вже трохи запізно рятувати ситуацію, оскільки неконтрольовані агенти вже забруднили Інтернет самовідтворювальним кодом.
У розмові з CNBC Ян поділився інформацією, отриманою від неназваного керівника лабораторії ШІ: неконтрольований код змусив великі технологічні компанії створювати «синтетичні інтернети» лише для того, щоб навчати свої моделі. Янг стверджував, що ця дороговартісна невдача виправдовує заклики лідерів галузі, таких як Амодей, Сем Альтман та Ілон Маск, до регулювання сектору та уповільнення темпів передових розробок у сфері ШІ.
До попередження Янга кілька політиків, що займаються питаннями ШІ, та чиновників адміністрації Трампа чинили опір закликам до уповільнення, попереджаючи, що це може віддати Китаю лідерство у глобальній гонці за ШІ. Дональд Трамп висловився ще більш прямо, назвавши побоювання щодо вимирання людства через ШІ містифікацією. Інші критики, такі як Девід Сакс, стверджували, що стурбовані керівники технологічних компаній повинні самостійно вводити паузи в тестуванні, замість того щоб лобіювати федеральні регуляторні заходи чи широкі мораторії.
Оскільки дискусія дедалі більше перетворюється на партійний розкол між прихильниками та противниками регулювання, ключові фігури з обох сторін надали мало емпіричних даних, щоб обґрунтувати або спростувати заклики до примусового уповільнення. Проте останнє повідомлення Янга, яке він подав як сенсаційну новину, надає дебатам гостроти, надаючи переконливі аргументи тим, хто виступає за негайне введення обмежувальних заходів.
Дослідження показують, що агенти ШІ обходять критерії оцінки
Тим часом Sentient Labs, передова організація з досліджень у сфері штучного інтелекту з відкритим кодом, заявляє, що нещодавно проведене нею дослідження, схоже, підтверджує аргумент Амодея про те, що можливості агентів випереджають здатність управляти ризиками. У письмових відповідях на запитання Bitcoin.com News Абхішек Саксена, керівник відділу стратегії та розвитку Sentient Labs, зазначив, що дослідження компанії Evoskill v2 надає «конкретні докази» на підтримку цієї тези.
Саксена зазначив, що дослідницька команда компанії вивчала, як агенти ШІ поводяться в умовах конкурентної оцінки, зокрема що відбувається, коли агентів оптимізують для досягнення високих результатів у тестах та оцінках.
«Ми спостерігали, що агенти відкривають несподівані стратегії, які використовують саму структуру оцінки, а не вирішують поставлене завдання. Вони знаходять прогалини в тому, як оцінювачі вимірюють ефективність, і вчаться оптимізуватись під показники, а не під основну мету», — пояснив Саксена.
З точки зору безпеки це має велике значення, оскільки показує: у міру того, як системи ШІ стають більш потужними та автономними, інфраструктура оцінювання має бути принаймні такою ж досконалою, як і системи, що оцінюються. Щоб подолати цю проблему, потрібні, за словами Саксени, динамічні методи суперечливої оцінки, які розвиваються разом із системами, що оцінюються.
Однак Саксена наголошує, що просто уповільнення роботи без змін у способах оцінки та моніторингу систем штучного інтелекту дає дуже мало.
«Кращий шлях — це значні інвестиції в незалежну оцінку, тестування методом «червоної команди» та моніторинг поведінки, щоб люди, які впроваджують ці системи, та ті, на кого вони впливають, мали надійну інформацію про те, з чим вони мають справу», — зазначив керівник Sentient Labs.
Більший ризик: концентрація влади та централізовані заяви щодо безпеки
Тим часом Саксена розповів Bitcoin.com News, що найбільший ризик, з яким стикається світ, полягає не в тому, що ми рухаємося занадто швидко чи занадто повільно, а в тому, що невелика кількість компаній, що займаються ШІ, контролює найпотужніші моделі та диктує, що вважається «безпечним».
«Нам потрібно створити незалежну інфраструктуру, щоб реально перевіряти твердження, які компанії, що займаються ШІ, роблять щодо своїх систем. Чи є оцінки надійними? Чи точні звіти про безпеку? Чи можуть зовнішні дослідники відтворити отримані результати? Якщо відповідь «ні», то ані прискорення, ані уповільнення не вирішать фундаментальну проблему, якою є брак достовірної інформації», — підсумував Саксена.
Цю статтю перекладено з англійської мови за допомогою штучного інтелекту. Оригінальна англомовна версія є авторитетним джерелом; автоматичні переклади можуть містити неточності, особливо в юридичній та нормативній термінології.
