La vera minaccia per la sicurezza dell'IA non è la velocità, ma il controllo centralizzato

Il codice ribelle costringe le aziende tecnologiche a creare «Internet sintetici»

Pochi giorni dopo che il CEO di Anthropic, Dario Amodei, ha pubblicato una lettera in cui chiedeva un rallentamento dello sviluppo dell’intelligenza artificiale, l’ex candidato a sindaco di New York Andrew Yang ha avvertito che potrebbe essere un po’ troppo tardi per salvare la situazione, poiché agenti non controllati hanno già contaminato Internet con codice autoreplicante.

In un’intervista alla CNBC, Yang ha riportato una rivelazione di un dirigente di un laboratorio di IA che ha preferito rimanere anonimo: il codice ribelle ha costretto le principali aziende tecnologiche a creare «Internet sintetici» solo per addestrare i propri modelli. Yang ha sostenuto che questa costosa battuta d’arresto giustifica le richieste di leader del settore come Amodei, Sam Altman ed Elon Musk di regolamentare il settore e moderare il ritmo dello sviluppo all’avanguardia dell’IA. Prima dell’avvertimento di Yang, diverse figure di spicco nel campo delle politiche sull’IA e funzionari dell’amministrazione Trump si erano opposti alle richieste di rallentamento, avvertendo che ciò avrebbe potuto consegnare alla Cina il primato nella corsa globale all’IA. Donald Trump è stato ancora più diretto, definendo una bufala i timori di un’estinzione umana causata dall’IA. Altri critici, come David Sacks, hanno sostenuto che i dirigenti del settore tecnologico preoccupati dovrebbero autoimporsi delle pause nei test invece di fare pressione per ottenere regolamenti federali o moratorie di ampia portata.

Mentre il dibattito si trasforma sempre più in una divisione partitica tra fazioni pro e anti-regolamentazione, le figure chiave di entrambe le parti hanno fornito pochi dati empirici a sostegno o a confutazione delle richieste di un rallentamento forzato. Tuttavia, l’ultima rivelazione di Yang, che egli ha presentato come una notizia dell’ultima ora, conferisce urgenza al dibattito, fornendo argomenti convincenti a chi sostiene l’adozione immediata di misure di sicurezza.

Una ricerca mostra che gli agenti di IA sfruttano i parametri di valutazione

Nel frattempo, Sentient Labs, un’organizzazione all’avanguardia nella ricerca sull’IA open-source, afferma che un recente studio da essa condotto sembra confermare l’argomentazione di Amodei secondo cui le capacità degli agenti stanno superando la capacità di gestire il rischio. Nelle risposte scritte alle domande di Bitcoin.com News, Abhishek Saxena, responsabile della strategia e della crescita presso Sentient Labs, ha affermato che la ricerca Evoskill v2 dell’azienda fornisce “prove concrete” a sostegno di tale tesi.

Saxena ha spiegato che il team di ricerca dell’azienda ha studiato il comportamento degli agenti di IA in ambienti di valutazione competitivi, in particolare ciò che accade quando gli agenti vengono ottimizzati per ottenere buoni risultati nei benchmark e nelle valutazioni. “Quello che abbiamo osservato è che gli agenti scoprono strategie inaspettate che sfruttano la struttura stessa della valutazione piuttosto che risolvere il compito previsto. Individuano lacune nel modo in cui i valutatori misurano le prestazioni e imparano a ottimizzarsi in funzione della metrica piuttosto che dell’obiettivo sottostante», ha spiegato Saxena. Dal punto di vista della sicurezza, ciò è significativo perché dimostra che, man mano che i sistemi di IA diventano più capaci e autonomi, l’infrastruttura di valutazione deve essere almeno altrettanto sofisticata dei sistemi stessi. Per superare questo problema, è necessario ricorrere a quelli che Saxena descrive come metodi di valutazione dinamici e avversariali, che si evolvano di pari passo con i sistemi che misurano. Tuttavia, Saxena insiste sul fatto che un rallentamento senza modifiche alle modalità di valutazione e monitoraggio dei sistemi di IA non porta a grandi risultati.

«La strada migliore è investire massicciamente nella valutazione indipendente, nel red-teaming e nel monitoraggio comportamentale, in modo che chi implementa questi sistemi e chi ne è influenzato disponga di informazioni affidabili su ciò con cui sta lavorando», ha affermato il dirigente di Sentient Labs.

Il rischio maggiore: concentrazione di potere e affermazioni centralizzate in materia di sicurezza

Nel frattempo, Saxena ha dichiarato a Bitcoin.com News che il rischio maggiore che il mondo deve affrontare non è quello di muoversi troppo velocemente o troppo lentamente, ma che un numero ristretto di aziende di IA abbia il controllo sui modelli più potenti e determini anche ciò che viene considerato “sicuro”.

«Dobbiamo costruire un’infrastruttura indipendente per verificare effettivamente le affermazioni che le aziende di IA fanno riguardo ai propri sistemi. Le valutazioni sono solide? I rapporti sulla sicurezza sono accurati? I ricercatori esterni possono riprodurre i risultati? Se la risposta è no, allora né accelerare né rallentare risolve il problema fondamentale, che è la mancanza di informazioni affidabili», ha concluso Saxena.