Skutečnou hrozbou pro bezpečnost umělé inteligence není rychlost, ale centralizovaná kontrola

Nekontrolovatelný kód nutí technologické firmy k vytváření „syntetických internetů“

Několik dní poté, co generální ředitel společnosti Anthropic Dario Amodei zveřejnil dopis vyzývající ke zpomalení vývoje umělé inteligence, varoval bývalý kandidát na starostu New Yorku Andrew Yang, že na záchranu situace může být již trochu pozdě, protože neovladatelné agenty již znečistily internet samoreplikujícím se kódem.

V rozhovoru pro CNBC Yang sdílel informaci od nejmenovaného vedoucího pracovníka laboratoře zabývající se umělou inteligencí: neovladatelný kód donutil velké technologické firmy vytvořit „syntetické internetové sítě“ pouze za účelem trénování svých modelů. Yang argumentoval, že tato nákladná překážka ospravedlňuje výzvy lídrů odvětví, jako jsou Amodei, Sam Altman a Elon Musk, k regulaci sektoru a zpomalení vývoje špičkové umělé inteligence.

Před Yangovým varováním se několik osobností zabývajících se politikou v oblasti umělé inteligence a úředníků Trumpovy administrativy bránilo výzvám ke zpomalení a varovalo, že by tím mohly předat Číně vedoucí pozici v globálním závodě o umělou inteligenci. Donald Trump byl ještě přímější a označil obavy z vyhynutí lidstva způsobeného umělou inteligencí za podvod. Jiní kritici, jako například David Sacks, argumentovali, že znepokojení vedoucí pracovníci technologických firem by si měli sami nařídit testovací pauzy, místo aby lobovali za federální regulace nebo rozsáhlá moratoria.

Vzhledem k tomu, že se diskuse stále více mění v stranické rozdělení na tábory zastánců a odpůrců regulace, klíčové osobnosti na obou stranách předložily jen málo empirických údajů, které by podpořily nebo vyvrátily výzvy k vynucenému zpomalení. Nejnovější odhalení Yanga, které prezentoval jako senzační zprávu, však vnáší do debaty naléhavost a poskytuje pádné argumenty těm, kteří prosazují okamžitá ochranná opatření.

Výzkum ukazuje, že agenti AI zneužívají hodnotící benchmarky

Mezitím společnost Sentient Labs, průkopnická organizace zabývající se výzkumem umělé inteligence s otevřeným zdrojovým kódem, uvádí, že její nedávná studie zřejmě potvrzuje Amodeiho argument, že schopnosti agentů předstihují schopnost řídit rizika. V písemných odpovědích na otázky serveru Bitcoin.com News Abhishek Saxena, vedoucí strategie a růstu ve společnosti Sentient Labs, uvedl, že výzkum Evoskill v2 této společnosti poskytuje „konkrétní důkazy“ podporující tento argument.

Saxena uvedl, že výzkumný tým společnosti studoval, jak se agenti umělé inteligence chovají v konkurenčních hodnotících prostředích, konkrétně co se děje, když jsou agenti optimalizováni tak, aby dosahovali dobrých výsledků v benchmarkových testech a hodnoceních.

„Zjistili jsme, že agenti objevují neočekávané strategie, které zneužívají samotnou strukturu hodnocení, místo aby řešili zamýšlený úkol. Nacházejí mezery v tom, jak hodnotitelé měří výkon, a učí se optimalizovat pro danou metriku, nikoli pro základní cíl,“ vysvětlil Saxena.

Z hlediska bezpečnosti je to významné, protože to ukazuje, že s tím, jak se systémy umělé inteligence stávají výkonnějšími a autonomnějšími, musí být hodnotící infrastruktura přinejmenším stejně sofistikovaná jako systémy, které jsou hodnoceny. K překonání tohoto problému je zapotřebí to, co Saxena popisuje jako dynamické, adversariální metody hodnocení, které se vyvíjejí společně se systémy, které měří.

Saxena však trvá na tom, že pouhé zpomalení bez změn v tom, jak jsou systémy AI hodnoceny a monitorovány, přináší jen velmi málo.

„Lepší cestou je masivní investice do nezávislého hodnocení, testování z pohledu protivníka (red-teaming) a monitorování chování, aby lidé, kteří tyto systémy nasazují, i ti, na které mají dopad, měli spolehlivé informace o tom, s čím pracují,“ uvedl vedoucí pracovník společnosti Sentient Labs.

Větší riziko: soustředěná moc a centralizované bezpečnostní prohlášení

Saxena mezitím pro Bitcoin.com News uvedl, že největším rizikem, kterému svět čelí, není to, že postupujeme příliš rychle nebo příliš pomalu, ale to, že malý počet společností zabývajících se umělou inteligencí má kontrolu nad nejvýkonnějšími modely a zároveň diktuje, co se považuje za „bezpečné“.

„Musíme vybudovat nezávislou infrastrukturu, abychom mohli skutečně ověřit tvrzení, která společnosti zabývající se umělou inteligencí o svých systémech uvádějí. Jsou hodnocení spolehlivá? Jsou bezpečnostní zprávy přesné? Mohou externí výzkumníci tyto závěry reprodukovat? Pokud je odpověď ne, pak ani zrychlení, ani zpomalení nevyřeší základní problém, kterým je nedostatek důvěryhodných informací,“ uzavřel Saxena.