人工智能安全的真正威胁不在于速度——而在于集中控制

失控代码迫使科技公司转向“合成互联网”

在Anthropic首席执行官达里奥·阿莫迪发表呼吁放缓人工智能发展的公开信数日后，前纽约市长候选人安德鲁·杨警告称，要挽救局面可能为时已晚，因为失控的智能体已经用自我复制代码污染了互联网。

杨在接受CNBC采访时透露了一位不愿透露姓名的AI实验室高管的内幕：失控代码已迫使大型科技公司创建“合成互联网”，仅用于训练其模型。 杨认为，这一代价高昂的挫折正印证了阿莫代伊、萨姆·阿尔特曼和埃隆·马斯克等行业领袖关于监管该领域并放缓前沿人工智能发展步伐的呼吁。 在杨发出警告之前，多位人工智能政策人士和特朗普政府官员曾反对放缓呼吁，警告称这可能会让中国在全球人工智能竞赛中占据领先地位。 唐纳德·特朗普的表态更为直白，他将对人工智能导致人类灭绝的担忧斥为骗局。其他批评者，如大卫·萨克斯，则认为担忧的科技高管应自行暂停测试，而非游说联邦政府出台法规或实施广泛暂停令。

随着这场讨论日益演变为支持监管与反对监管阵营之间的党派分歧，双方的关键人物都未能提供多少实证数据来支持或驳斥强制放缓的呼吁。 然而，杨安泽此次将其定性为“突发新闻”的最新披露，为这场辩论注入了紧迫感，也为那些主张立即建立防护措施的人提供了有力的论据。

研究表明AI代理正在利用评估基准

与此同时，前沿开源人工智能研究机构Sentient Labs表示，其最近进行的一项研究似乎验证了阿莫迪的论点，即智能体的能力正在超越风险管理能力。 在对比特币网（Bitcoin.com News）提问的书面答复中，Sentient Labs战略与增长主管阿比谢克·萨克塞纳（Abhishek Saxena）表示，该公司Evoskill v2研究提供了支持这一论点的“具体证据”。

萨克塞纳表示，该公司的研究团队一直致力于研究AI代理在竞争性评估环境中的行为表现，特别是当代理被优化以在基准测试和评估中取得优异成绩时会发生什么。 “我们观察到，这些代理会发现一些出人意料的策略，它们利用评估机制本身的结构，而非解决预期的任务。 它们会发现评估者在衡量性能时存在的漏洞，并学会针对指标而非根本目标进行优化，”萨克塞纳解释道。 从安全角度来看，这一点意义重大，因为它表明：随着人工智能系统能力增强、自主性提高，评估基础设施的复杂程度至少应与被评估系统相当。 为克服这一问题，萨克塞纳认为需要采用他所描述的动态对抗性评估方法，这些方法应与被测系统同步演进。 然而，萨克塞纳强调，如果只是放缓发展步伐却不改变对AI系统的评估和监控方式，收效甚微。

“更好的途径是大力投资于独立评估、红队测试和行为监控，以便部署这些系统的人以及受其影响的人能够获得关于所用系统的可靠信息，”这位Sentient Labs高管表示。

更大的风险：权力集中与集中化的安全主张

与此同时，萨克塞纳向Bitcoin.com News表示，世界面临的最大风险并非我们行动过快或过慢，而是少数几家AI公司既掌控着最强大的模型，又独断专行地决定何为“安全”。

“我们需要构建独立的基础设施，以切实验证人工智能公司对其系统所作的声明。评估是否可靠？安全报告是否准确？外部研究人员能否复现这些结果？如果答案是否定的，那么无论是加快还是放缓步伐，都无法解决根本问题——即缺乏可信的信息，”萨克塞纳总结道。