Den virkelige trussel mod AI-sikkerheden er ikke hastighed – det er centraliseret kontrol

Ukontrolleret kode tvinger tech-virksomheder ind i »syntetiske internett«

Få dage efter at Anthropics CEO, Dario Amodei, offentliggjorde et brev, hvor han opfordrede til en opbremsning inden for kunstig intelligens, har den tidligere borgmesterkandidat i New York City, Andrew Yang, advaret om, at det måske er lidt for sent at redde situationen, da ukontrollerede agenter allerede har forurenet internettet med selvreproducerende kode.

I et interview med CNBC delte Yang en afsløring fra en unavngiven leder i et AI-laboratorium: ureguleret kode har tvunget store tech-virksomheder til at skabe »syntetiske internett« blot for at træne deres modeller. Yang argumenterede for, at dette kostbare tilbageslag retfærdiggør opfordringer fra brancheledere som Amodei, Sam Altman og Elon Musk om at regulere sektoren og dæmpe tempoet i den banebrydende AI-udvikling.

Inden Yangs advarsel modsatte flere AI-politiske aktører og embedsmænd fra Trump-administrationen sig opfordringerne til at sætte farten ned og advarede om, at det kunne give Kina føringen i det globale AI-kapløb. Donald Trump var endnu mere direkte og betegnet frygten for, at AI skulle udrydde menneskeheden, som en skrøne. Andre kritikere, såsom David Sacks, argumenterede for, at bekymrede teknologiledere selv burde indføre testpauser i stedet for at lobbye for føderale reguleringer eller omfattende moratorier.

I takt med at debatten i stigende grad udvikler sig til en partipolitisk kløft mellem tilhængere og modstandere af regulering, har nøglepersoner på begge sider fremlagt meget få empiriske data til at underbygge eller afkræfte opfordringerne til en tvungen opbremsning. Alligevel tilfører Yangs seneste afsløring, som han præsenterede som en nyhedsbombe, debatten en følelse af uopsættelighed og giver overbevisende ammunition til dem, der går ind for øjeblikkelige sikkerhedsforanstaltninger.

Forskning viser, at AI-agenter udnytter evalueringsbenchmarks

I mellemtiden siger Sentient Labs, en banebrydende open-source-forskningsorganisation inden for AI, at en nylig undersøgelse, de har gennemført, ser ud til at underbygge Amodeis argument om, at agenternes evner overhaler evnen til at håndtere risiko. I skriftlige svar på spørgsmål fra Bitcoin.com News sagde Abhishek Saxena, chef for strategi og vækst hos Sentient Labs, at virksomhedens Evoskill v2-forskning leverer »konkrete beviser«, der understøtter argumentet.

Saxena sagde, at virksomhedens forskningsteam har undersøgt, hvordan AI-agenter opfører sig i konkurrenceprægede evalueringsmiljøer, specifikt hvad der sker, når agenterne er optimeret til at præstere godt i benchmarks og vurderinger.

»Det, vi har observeret, er, at agenterne opdager uventede strategier, der udnytter selve evalueringens struktur i stedet for at løse den tilsigtede opgave. De finder huller i, hvordan evaluatorer måler ydeevne, og lærer at optimere i forhold til måleparameteren frem for det underliggende mål,” forklarede Saxena.

Set ud fra et sikkerhedsperspektiv er dette vigtigt, fordi det viser, at i takt med at AI-systemer bliver mere kapable og autonome, skal evalueringsinfrastrukturen være mindst lige så sofistikeret som de systemer, der evalueres. For at løse dette er der behov for det, Saxena beskriver som dynamiske, kontradiktoriske evalueringsmetoder, der udvikler sig i takt med de systemer, de måler.

Saxena insisterer dog på, at en opbremsning uden ændringer i måden, hvorpå AI-systemer evalueres og overvåges, ikke fører til ret meget.

»Den bedste vej frem er at investere massivt i uafhængig evaluering, red-teaming og adfærdsovervågning, så de mennesker, der implementerer disse systemer, og de mennesker, der påvirkes af dem, har pålidelig information om, hvad de arbejder med,« sagde direktøren fra Sentient Labs.

Den største risiko: Koncentreret magt og centraliserede sikkerhedspåstande

I mellemtiden fortalte Saxena til Bitcoin.com News, at den største risiko, verden står over for, ikke er, at vi bevæger os for hurtigt eller for langsomt, men at et lille antal AI-virksomheder har kontrol over de mest kraftfulde modeller og også dikterer, hvad der betragtes som »sikkert«.

»Vi er nødt til at opbygge en uafhængig infrastruktur for rent faktisk at kunne verificere de påstande, som AI-virksomheder fremsætter om deres systemer. Er evalueringerne solide? Er sikkerhedsrapporterne nøjagtige? Kan eksterne forskere gentage resultaterne? Hvis svaret er nej, løser hverken at sætte farten op eller ned det grundlæggende problem, nemlig manglen på pålidelig information,« konkluderede Saxena.