Det verkliga hotet mot säkerheten inom AI är inte hastigheten – det är den centraliserade kontrollen

Oönskad kod tvingar teknikföretag till ”syntetiska internet”

Några dagar efter att Anthropics vd Dario Amodei publicerade ett brev där han uppmanade till en avmattning inom artificiell intelligens har den tidigare borgmästarkandidaten i New York, Andrew Yang, varnat för att det kan vara lite för sent att rädda situationen, eftersom okontrollerade agenter redan har förorenat internet med självreplikerande kod.

I en intervju med CNBC delade Yang med sig av en upplysning från en namnlös chef på ett AI-laboratorium: skadlig kod har tvingat stora teknikföretag att skapa ”syntetiska internet” enbart för att träna sina modeller. Yang hävdade att detta kostsamma bakslag rättfärdigar uppmaningar från branschledare som Amodei, Sam Altman och Elon Musk att reglera sektorn och dämpa takten i den banbrytande AI-utvecklingen.

Innan Yangs varning motsatte sig flera AI-politiker och tjänstemän inom Trump-administrationen uppmaningarna om en avmattning och varnade för att de skulle kunna ge Kina ledningen i den globala AI-kapplöpningen. Donald Trump var ännu mer direkt och betecknade farhågorna om att AI skulle leda till mänsklig utrotning som en bluff. Andra kritiker, såsom David Sacks, hävdade att berörda teknikchefer själva borde införa testpauser istället för att lobba för federala regleringar eller omfattande moratorier.

I takt med att debatten alltmer urartar till en partipolitisk splittring mellan läger som är för respektive emot reglering har nyckelpersoner på båda sidor presenterat få empiriska data för att underbygga eller motbevisa kraven på en påtvingad avmattning. Ändå ger Yangs senaste avslöjande, som han framställde som en nyhetsbomb, debatten en känsla av brådska och ger övertygande ammunition åt dem som förespråkar omedelbara skyddsåtgärder.

Forskning visar att AI-agenter utnyttjar utvärderingskriterier

Samtidigt säger Sentient Labs, en banbrytande forskningsorganisation inom öppen källkod för AI, att en nyligen genomförd studie verkar bekräfta Amodeis argument att agenternas kapacitet överträffar förmågan att hantera risker. I skriftliga svar på frågor från Bitcoin.com News sa Abhishek Saxena, chef för strategi och tillväxt på Sentient Labs, att företagets Evoskill v2-forskning ger ”konkreta bevis” som stöder argumentet.

Saxena sa att företagets forskningsteam har studerat hur AI-agenter beter sig i konkurrensutsatta utvärderingsmiljöer, särskilt vad som händer när agenterna optimeras för att prestera bra på benchmarktest och bedömningar.

”Vad vi observerade är att agenterna upptäcker oväntade strategier som utnyttjar själva utvärderingens struktur snarare än att lösa den avsedda uppgiften. De hittar luckor i hur utvärderarna mäter prestanda och lär sig att optimera för mätvärdet snarare än det underliggande målet”, förklarade Saxena.

Ur ett säkerhetsperspektiv är detta betydelsefullt eftersom det visar att i takt med att AI-system blir mer kapabla och autonoma måste utvärderingsinfrastrukturen vara minst lika sofistikerad som de system som utvärderas. För att lösa detta behövs det vad Saxena beskriver som dynamiska, adversariella utvärderingsmetoder som utvecklas parallellt med de system de mäter.

Saxena insisterar dock på att en avmattning utan förändringar i hur AI-system utvärderas och övervakas ger mycket lite resultat.

”Den bättre vägen är att satsa kraftigt på oberoende utvärdering, red-teaming och beteendeövervakning så att de som implementerar dessa system och de som påverkas av dem har tillförlitlig information om vad de arbetar med”, sade chefen för Sentient Labs.

Den större risken: koncentrerad makt och centraliserade säkerhetspåståenden

Samtidigt berättade Saxena för Bitcoin.com News att den största risken som världen står inför inte är att vi går för fort eller för långsamt fram, utan att ett litet antal AI-företag har kontroll över de mest kraftfulla modellerna och dessutom dikterar vad som anses vara ”säkert”.

”Vi måste bygga upp en oberoende infrastruktur för att faktiskt kunna verifiera de påståenden som AI-företagen gör om sina system. Är utvärderingarna robusta? Är säkerhetsrapporterna korrekta? Kan externa forskare reproducera resultaten? Om svaret är nej, så löser varken att öka takten eller att sakta ner det grundläggande problemet, nämligen bristen på tillförlitlig information”, avslutade Saxena.