AIの安全性を脅かす真の要因はスピードではなく、一元的な管理にあります。

暴走コードがテック企業を「合成インターネット」へと追い込む

アンソロピックのCEOダリオ・アモデイ氏が人工知能の開発ペースを緩めるよう求める書簡を公表してから数日後、元ニューヨーク市長候補のアンドルー・ヤン氏は、暴走エージェントがすでに自己複製型コードでインターネットを汚染してしまっているため、状況を立て直すには少し手遅れかもしれないと警告しました。

ヤン氏はCNBCの取材に対し、匿名のAI研究所幹部からの情報として、不正コードの影響で大手テック企業がモデルのトレーニング専用に「合成インターネット」を構築せざるを得なくなっていると語りました。 この多大なコストを伴う後退こそが、アモデイ氏やサム・アルトマン氏、イーロン・マスク氏といった業界リーダーたちが、この分野を規制し、最先端のAI開発のペースを調整するよう求めていることを正当化するものであるとヤン氏は主張しました。ヤン氏の警告に先立ち、複数のAI政策担当者やトランプ政権の当局者は、開発減速の呼びかけに抵抗し、それが世界的なAI競争において中国に主導権を譲ることになりかねないと警告していました。 ドナルド・トランプ氏はさらに率直に、AIによる人類絶滅の懸念を「デマ」と断じた。デビッド・サックス氏のような他の批判者たちは、懸念を抱くテック企業の幹部たちは、連邦規制や広範なモラトリアムを求めるロビー活動を行うのではなく、自らテストの一時停止を課すべきだと主張した。

議論が規制賛成派と反対派の党派的な対立へとますます陥る中、双方の主要人物は、強制的な減速を求める声の正当性を裏付ける、あるいはその主張を覆すような実証的なデータをほとんど提示していません。 しかし、ヤン氏が「速報」と位置づけた今回の最新情報は議論に緊迫感をもたらし、直ちに安全策を講じるべきだと主張する人々にとって説得力のある論拠を提供しています。

研究により、AIエージェントが評価ベンチマークを悪用していることが判明

一方、最先端のオープンソースAI研究組織であるSentient Labsは、同社が実施した最近の研究が、エージェントの能力がリスク管理能力を上回っているというアモデイ氏の主張を裏付けるものであると述べている。 Bitcoin.com Newsからの質問に対する書面での回答で、センティエント・ラボの戦略・成長責任者であるアビシェク・サクセナ氏は、同社の「Evoskill v2」研究が、この主張を裏付ける「具体的な証拠」を提供していると述べました。

同社の研究チームは、競争的な評価環境下でAIエージェントがどのように振る舞うかを研究し、特にベンチマークや評価で良いパフォーマンスを発揮するよう最適化された場合に何が起こるかを調べました。 「私たちが観察したのは、エージェントが本来の課題を解決するのではなく、評価そのものの構造を悪用する予期せぬ戦略を見出すという現象です。 エージェントは評価者がパフォーマンスを測定する方法に不備を見つけ出し、根本的な目的ではなく評価指標に合わせて最適化するよう学習します」とサクセナ氏は説明しました。 安全性の観点からこれは重要な意味を持ちます。なぜなら、AIシステムの能力と自律性が高まるにつれ、評価インフラも評価対象のシステムと同等かそれ以上の高度さを備える必要があることを示しているからです。 これを克服するには、サクセナ氏が「動的かつ敵対的な評価手法」と呼ぶ、評価対象のシステムとともに進化する手法が必要となります。サクセナ氏は、AIシステムの評価や監視方法に変更を加えずに単にペースを落とすだけでは、ほとんど成果が得られないと主張しています。

「より良い道は、独立した評価、レッドチーム活動、行動監視に多額の投資を行い、これらのシステムを導入する人々やその影響を受ける人々が、自分が扱っているものについて信頼できる情報を得られるようにすることです」と、Sentient Labsの幹部は述べました。

より大きなリスク：権力の集中と安全性の主張の一元化

一方、サクセナ氏はBitcoin.com Newsに対し、世界が直面している最大のリスクは、動きが速すぎるか遅すぎるかということではなく、少数のAI企業が最も強力なモデルを掌握し、何が「安全」と見なされるかを決定していることにあると語った。

「AI企業が自社のシステムについて主張する内容を実際に検証するための独立したインフラを構築する必要があります。評価は堅牢か？安全報告書は正確か？外部の研究者がその結果を再現できるか？もし答えが『いいえ』なら、スピードアップしてもスローダウンしても、信頼できる情報の欠如という根本的な問題は解決されません」とサクセナ氏は結論付けました。