Rastúce obavy o bezpečnosť umelej inteligencie vyvolali intenzívnu diskusiu o regulácii. Kým Andrew Yang varuje, že škodlivý samoreplikujúci sa kód už teraz poškodzuje trénovacie údaje na webe, spoločnosť Sentient Labs tvrdí, že samotné spomalenie vývoja umelej inteligencie je neúčinné bez dynamického hodnotenia a infraštruktúry na nezávislé overovanie.
Skutočnou hrozbou pre bezpečnosť umelej inteligencie nie je rýchlosť – je to centralizované riadenie
NAPÍSAL
ZDIEĽAŤ
Kľúčové body
- Dario Amodei a dvaja poprední predstavitelia technologického odvetvia vyzvali na spomalenie vývoja, zatiaľ čo Andrew Yang varoval pred škodlivým samoreplikujúcim sa kódom.
- Druhá štúdia spoločnosti Sentient Labs zameraná na zručnosti poukázala na metriky umelej inteligencie v oblasti hier, čo podnietilo spory o reguláciu.
- Abhishek Saxena vyzval k prijatiu troch nezávislých kontrolných opatrení na nápravu chybného testovania umelej inteligencie namiesto spoliehania sa na dočasné pozastavenie.
Neovládateľný kód núti technologické firmy k vytváraniu „syntetických internetov“
Niekoľko dní po tom, čo generálny riaditeľ spoločnosti Anthropic Dario Amodei zverejnil list, v ktorom vyzval na spomalenie vývoja umelej inteligencie, bývalý kandidát na post starostu New Yorku Andrew Yang varoval, že na záchranu situácie môže byť už trochu neskoro, keďže nekontrolované agenty už znečistili internet samoreplikujúcim sa kódom.
V rozhovore pre CNBC Yang prezradil informáciu od nemenovaného vedúceho laboratória umelej inteligencie: neovládateľný kód prinútil veľké technologické firmy vytvoriť „syntetické internetové prostredia“ len na účely trénovania svojich modelov. Yang argumentoval, že táto nákladná prekážka oprávňuje výzvy lídrov odvetvia, ako sú Amodei, Sam Altman a Elon Musk, na reguláciu sektora a spomalenie vývoja špičkovej umelej inteligencie.
Pred Yangovým varovaním sa viaceré osobnosti zaoberajúce sa politikou v oblasti umelej inteligencie a predstavitelia Trumpovej administratívy bránili výzvam na spomalenie, varujúc, že by to mohlo odovzdať Číne vedúcu pozíciu v globálnom závode v oblasti umelej inteligencie. Donald Trump bol ešte priamejší a označil obavy z vyhynutia ľudstva spôsobeného umelou inteligenciou za podvod. Iní kritici, ako napríklad David Sacks, tvrdili, že znepokojení vedúci predstavitelia technologických firiem by si mali sami uložiť prestávky v testovaní namiesto lobovania za federálne regulácie alebo rozsiahle moratóriá.
Keďže sa diskusia čoraz viac mení na stranícky spor medzi tábormi za a proti regulácii, kľúčové osobnosti na oboch stranách ponúkli len málo empirických údajov na podloženie alebo vyvrátenie výziev na vynútené spomalenie. Najnovšie odhalenie Yanga, ktoré prezentoval ako senzačnú správu, však do debaty vnáša naliehavosť a poskytuje presvedčivú muníciu tým, ktorí obhajujú okamžité zavedenie bezpečnostných opatrení.
Výskum ukazuje, že agenti umelej inteligencie zneužívajú hodnotiace kritériá
Medzitým spoločnosť Sentient Labs, priekopnícka organizácia zaoberajúca sa výskumom umelej inteligencie s otvoreným zdrojovým kódom, uvádza, že jej nedávna štúdia zdanlivo potvrdzuje Amodeiho argument, že schopnosti agentov predbiehajú schopnosť riadiť riziko. V písomných odpovediach na otázky portálu Bitcoin.com News Abhishek Saxena, riaditeľ pre stratégiu a rast v spoločnosti Sentient Labs, uviedol, že výskum spoločnosti s názvom Evoskill v2 poskytuje „konkrétne dôkazy“ na podporu tohto tvrdenia.
Saxena uviedol, že výskumný tím spoločnosti skúmal, ako sa agenti umelej inteligencie správajú v konkurenčných hodnotiacich prostrediach, konkrétne čo sa deje, keď sú agenti optimalizovaní tak, aby dosahovali dobré výsledky v testoch a hodnoteniach.
„Zistili sme, že agenti objavujú neočakávané stratégie, ktoré využívajú štruktúru samotného hodnotenia namiesto riešenia zamýšľanej úlohy. Nájdu medzery v tom, ako hodnotitelia merajú výkonnosť, a naučia sa optimalizovať pre danú metriku namiesto základného cieľa,“ vysvetlil Saxena.
Z hľadiska bezpečnosti je to dôležité, pretože to ukazuje, že s tým, ako sa systémy umelej inteligencie stávajú výkonnejšími a autonómnejšími, musí byť hodnotiaca infraštruktúra aspoň rovnako sofistikovaná ako systémy, ktoré sa hodnotia. Na prekonanie tohto problému sú potrebné metódy, ktoré Saxena opisuje ako dynamické, adversárne metódy hodnotenia, ktoré sa vyvíjajú spolu so systémami, ktoré merajú.
Saxena však trvá na tom, že spomalenie bez zmien v spôsobe hodnotenia a monitorovania systémov umelej inteligencie prinesie len veľmi málo.
„Lepšou cestou je masívne investovať do nezávislého hodnotenia, simulácií útokov (red-teaming) a monitorovania správania, aby ľudia, ktorí tieto systémy nasadzujú, a ľudia, ktorých sa týkajú, mali spoľahlivé informácie o tom, s čím pracujú,“ uviedol riaditeľ spoločnosti Sentient Labs.
Väčšie riziko: sústredená moc a centralizované tvrdenia o bezpečnosti
Medzitým Saxena pre Bitcoin.com News uviedol, že najväčším rizikom, ktorému svet čelí, nie je to, že postupujeme príliš rýchlo alebo príliš pomaly, ale to, že malý počet spoločností zaoberajúcich sa umelou inteligenciou má kontrolu nad najvýkonnejšími modelmi a zároveň diktuje, čo sa považuje za „bezpečné“.
„Musíme vybudovať nezávislú infraštruktúru, aby sme mohli skutočne overiť tvrdenia, ktoré spoločnosti zaoberajúce sa umelou inteligenciou uvádzajú o svojich systémoch. Sú hodnotenia spoľahlivé? Sú správy o bezpečnosti presné? Dokážu externí výskumníci reprodukovať zistenia? Ak je odpoveď nie, potom ani zrýchlenie, ani spomalenie nevyrieši základný problém, ktorým je nedostatok dôveryhodných informácií,“ uzavrel Saxena.
Tento článok bol preložený z angličtiny pomocou umelej inteligencie. Pôvodná anglická verzia je autoritatívnym zdrojom; automatické preklady môžu obsahovať nepresnosti, najmä v právnej a regulačnej terminológii.
