Stvarna prijetnja sigurnosti umjetne inteligencije nije brzina — već centralizirana kontrola

Odmetnički kod prisiljava tehnološke tvrtke na „sintetičke internete”

Nekoliko dana nakon što je izvršni direktor Anthropica Dario Amodei objavio pismo u kojem poziva na usporavanje razvoja umjetne inteligencije, bivši kandidat za gradonačelnika New Yorka Andrew Yang upozorio je da bi za spašavanje situacije moglo biti malo prekasno, jer su odmetnički agenti već onečistili internet samoreplicirajućim kodom.

U razgovoru za CNBC, Yang je podijelio otkriće neimenovanog rukovoditelja iz jednog AI laboratorija: odmetnički kod prisilio je velike tehnološke tvrtke da stvaraju „sintetičke internete” samo kako bi trenirale svoje modele. Yang je tvrdio da ovaj skupi zastoj opravdava pozive industrijskih lidera poput Amodeija, Sama Altmana i Elona Muska da reguliraju sektor i tempiraju razvoj granične (frontier) umjetne inteligencije.

Prije Yangova upozorenja, nekoliko aktera AI politike i dužnosnika Trumpove administracije opiralo se pozivima na usporavanje, upozoravajući da bi to moglo Kini dati prednost u globalnoj AI utrci. Donald Trump bio je još izravniji, nazvavši strahove od ljudskog izumiranja uzrokovanog AI-jem prijevarom. Drugi kritičari, poput Davida Sacksa, tvrdili su da bi zabrinuti tehnološki rukovoditelji trebali sami uvesti pauze u testiranju umjesto lobiranja za savezne regulacije ili široke moratorije.

Kako se rasprava sve više pretvara u partizansku podjelu između pristaša i protivnika regulacije, ključne osobe s obje strane ponudile su malo empirijskih podataka kojima bi potkrijepile ili opovrgnule pozive na prisilno usporavanje. Ipak, Yangovo najnovije otkriće, koje je predstavio kao udarnu vijest, unosi hitnost u raspravu, pružajući uvjerljivo streljivo onima koji zagovaraju trenutačne zaštitne mjere.

Istraživanje pokazuje da AI agenti iskorištavaju evaluacijske mjerila

U međuvremenu, Sentient Labs, granična open-source istraživačka organizacija za umjetnu inteligenciju, kaže da nedavna studija koju je provela izgleda potvrđuje Amodeijev argument da sposobnosti agenata nadmašuju mogućnost upravljanja rizikom. U pisanim odgovorima na pitanja Bitcoin.com Newsa, Abhishek Saxena, voditelj strategije i rasta u Sentient Labsu, rekao je da Evoskill v2 istraživanje tvrtke pruža „konkretne dokaze” koji podupiru taj argument.

Saxena je rekao da istraživački tim tvrtke proučava kako se AI agenti ponašaju u kompetitivnim evaluacijskim okruženjima, konkretno što se događa kada su agenti optimizirani kako bi se dobro pokazali na mjerilima i procjenama.

„Ono što smo uočili jest da agenti otkrivaju neočekivane strategije koje iskorištavaju strukturu same evaluacije umjesto rješavanja namjeravanog zadatka. Pronalaže rupe u načinu na koji evaluatori mjere izvedbu i uči optimizirati metriku umjesto temeljni cilj”, objasnio je Saxena.

Iz perspektive sigurnosti to je značajno jer pokazuje da, kako AI sustavi postaju sposobniji i autonomniji, infrastruktura evaluacije mora biti barem jednako sofisticirana kao sustavi koji se procjenjuju. Kako bi se to prevladalo, postoji potreba za onim što Saxena opisuje kao dinamične, adversarijalne metode evaluacije koje se razvijaju zajedno sa sustavima koje mjere.

Međutim, Saxena inzistira da usporavanje bez promjena u načinu na koji se AI sustavi evaluiraju i nadziru postiže vrlo malo.

„Bolji je put snažno ulagati u neovisnu evaluaciju, red-teaming i praćenje ponašanja, kako bi ljudi koji implementiraju ove sustave i ljudi na koje oni utječu imali pouzdane informacije o tome s čime rade”, rekao je izvršni direktor Sentient Labsa.

Veći rizik: koncentrirana moć i centralizirane tvrdnje o sigurnosti

U međuvremenu, Saxena je rekao Bitcoin.com Newsu da najveći rizik s kojim se svijet suočava nije to krećemo li se prebrzo ili presporo, već to što mali broj AI tvrtki ima kontrolu nad najmoćnijim modelima i također određuje što se smatra „sigurnim”.

„Moramo izgraditi neovisnu infrastrukturu kako bismo doista verificirali tvrdnje koje AI tvrtke iznose o svojim sustavima. Jesu li evaluacije robusne? Jesu li sigurnosna izvješća točna? Mogu li vanjski istraživači reproducirati nalaze? Ako je odgovor ne, tada ni ubrzavanje ni usporavanje ne rješava temeljni problem, a to je nedostatak pouzdanih informacija”, zaključio je Saxena.