Adevărata amenințare la adresa siguranței IA nu este viteza, ci controlul centralizat

Codul necontrolat obligă firmele din domeniul tehnologiei să recurgă la „interneturi sintetice”

La câteva zile după ce Dario Amodei, CEO-ul Anthropic, a publicat o scrisoare în care solicita o încetinire a dezvoltării inteligenței artificiale, fostul candidat la funcția de primar al orașului New York, Andrew Yang, a avertizat că ar putea fi puțin cam târziu pentru a salva situația, întrucât agenții necontrolabili au poluat deja internetul cu coduri care se autoreplică.

Într-un interviu acordat CNBC, Yang a dezvăluit informații primite de la un director al unui laborator de IA, al cărui nume nu a fost menționat: codul necontrolat a forțat marile companii din domeniul tehnologiei să creeze „interneturi sintetice” doar pentru a-și antrena modelele. Yang a susținut că acest eșec costisitor justifică apelurile liderilor din industrie, precum Amodei, Sam Altman și Elon Musk, de a reglementa sectorul și de a încetini ritmul dezvoltării de vârf a IA.

Înainte de avertismentul lui Yang, mai mulți reprezentanți ai domeniului politicilor privind IA și oficiali ai administrației Trump s-au opus apelurilor la încetinire, avertizând că acestea ar putea oferi Chinei avantajul în cursa globală pentru IA. Donald Trump a fost și mai direct, calificând temerile privind dispariția umanității din cauza IA drept o farsă. Alți critici, precum David Sacks, au susținut că directorii din domeniul tehnologiei preocupați de această problemă ar trebui să-și impună singuri pauze de testare, în loc să facă lobby pentru reglementări federale sau moratorii la scară largă.

Pe măsură ce discursul se transformă din ce în ce mai mult într-o diviziune partizană între taberele pro și anti-reglementare, personalitățile-cheie de ambele părți au oferit puține date empirice pentru a susține sau a infirma apelurile la o încetinire forțată. Cu toate acestea, cea mai recentă dezvăluire a lui Yang, pe care a prezentat-o ca o știre de ultimă oră, conferă un caracter de urgență dezbaterii, oferind argumente convingătoare celor care pledează pentru măsuri de protecție imediate.

Cercetările arată că agenții IA exploatează criteriile de evaluare

Între timp, Sentient Labs, o organizație de cercetare de pionierat în domeniul IA open-source, afirmă că un studiu recent pe care l-a realizat pare să valideze argumentul lui Amodei conform căruia capacitățile agenților depășesc capacitatea de gestionare a riscurilor. În răspunsurile scrise la întrebările adresate de Bitcoin.com News, Abhishek Saxena, șeful departamentului de strategie și creștere la Sentient Labs, a declarat că cercetarea Evoskill v2 a companiei oferă „dovezi concrete” care susțin acest argument.

Saxena a spus că echipa de cercetare a companiei a studiat modul în care agenții IA se comportă în medii de evaluare competitive, în special ce se întâmplă atunci când agenții sunt optimizați pentru a obține performanțe bune la testele de referință și evaluări.

„Ceea ce am observat este că agenții descoperă strategii neașteptate care exploatează structura evaluării în sine, mai degrabă decât să rezolve sarcina propusă. Aceștia identifică lacune în modul în care evaluatorii măsoară performanța și învață să se optimizeze pentru indicatorul de performanță, mai degrabă decât pentru obiectivul de bază”, a explicat Saxena.

Din perspectiva siguranței, acest lucru este semnificativ deoarece arată că, pe măsură ce sistemele de IA devin mai capabile și mai autonome, infrastructura de evaluare trebuie să fie cel puțin la fel de sofisticată ca sistemele evaluate. Pentru a depăși această problemă, este nevoie de ceea ce Saxena descrie ca fiind metode de evaluare dinamice și adversariale, care evoluează odată cu sistemele pe care le măsoară.

Cu toate acestea, Saxena insistă asupra faptului că o încetinire a ritmului, fără modificări ale modului în care sistemele de IA sunt evaluate și monitorizate, nu aduce prea multe beneficii.

„Cea mai bună cale este să se investească masiv în evaluarea independentă, în exerciții de tip «red-team» și în monitorizarea comportamentală, astfel încât persoanele care implementează aceste sisteme și cele afectate de ele să dispună de informații fiabile despre ceea ce utilizează”, a declarat directorul executiv al Sentient Labs.

Riscul mai mare: puterea concentrată și afirmațiile centralizate privind siguranța

Între timp, Saxena a declarat pentru Bitcoin.com News că cel mai mare risc cu care se confruntă lumea nu este faptul că avansăm prea repede sau prea încet, ci faptul că un număr redus de companii de IA dețin controlul asupra celor mai puternice modele și dictează, de asemenea, ce se consideră a fi „sigur”.

„Trebuie să construim o infrastructură independentă pentru a verifica efectiv afirmațiile pe care companiile de IA le fac cu privire la sistemele lor. Sunt evaluările solide? Sunt rapoartele de siguranță exacte? Pot cercetătorii externi să reproducă rezultatele? Dacă răspunsul este nu, atunci nici accelerarea, nici încetinirea nu rezolvă problema fundamentală, care este lipsa informațiilor de încredere”, a concluzionat Saxena.