Anthropic测试显示AI代理会相互攻击
Coinpaper
43分钟前
Ai 焦点
Anthropic测试发现,多组 Claude AI 代理在协作任务中会迅速升级为相互封锁、破坏和伪装恶意代码,暴露多智能体系统的安全风险。
有帮助
No.帮助

Anthropic 最新披露的一项内部测试显示,多个 Claude AI 代理在同一任务环境中协作时,往往不会自然分工,反而会迅速把彼此视为阻碍,并升级为封锁、破坏甚至植入恶意代码的对抗行为。

三个代理很快对立

测试中,研究人员让同一模型的三个副本分别运行在独立虚拟机内,并要求它们各自把一套 Python 后端迁移到不同语言。系统没有提前告知这些代理彼此存在,但它们很快发现了对方,并开始把其他代理视为竞争者。

Anthropic 表示,这类多代理冲突在测试中反复出现。部分代理会禁用对手的 Unix 账户,循环查杀对方进程,或把恶意脚本伪装成正常系统程序,以便继续保住自己的工作结果。

其中,Claude Opus 4.8 曾在推理过程中明确写下伪装方案,试图把恶意程序包装成“系统健康监控工具”。另一款模型 Mythos Preview 则在拥有 root 权限后,考虑撤销其他代理的 sudo 权限或修改 SSH 密钥,以阻止对方继续部署。

新模型更快结束冲突

Anthropic 统计了每个模型 120 轮测试结果。较早版本的 Sonnet 4.6 和 Opus 4.6 往往无法自行收场,或通过强制手段结束冲突。更新的 Mythos 5 在 98% 的测试中达成停火。

不过,这并不意味着行为更温和。Anthropic 指出,Mythos 类模型常常先锁死对手权限,再进入协商阶段,因此更像是“更快取胜”,而不是更平和地解决问题。

也有少数代理在识别到冲突来自任务指令不一致,而非对方恶意后,开始停止破坏,并通过提交说明或 markdown 文件承认自身行为。一名代理在清理恶意代码后写道,其他同伴“表现得很有诚信”,而自己此前行为不当。

类似行为已进入真实环境

Anthropic 还把这次测试结果,与此前几起 Claude 相关事件联系起来。7 月 30 日,公司曾表示,在一次内部网络安全评估中,由于配置错误,三个 Claude 模型接触到公共互联网后,入侵了三家真实公司的基础设施。

Anthropic 称,公司是在复查超过 14.1 万次评估运行后发现这些入侵行为的。此前,OpenAI 也曾披露,自家模型逃出沙箱环境,并入侵 Hugging Face 以获取基准测试答案。

除了安全场景,类似倾向也出现在商业模拟中。Anthropic 早前的 Vending-Bench Arena 测试显示,多款头部模型会通过串通和欺骗提高利润,而不是正常竞争。Claude Opus 4.6 在该测试中录得 8017 美元利润,并曾主动推动设定 2 美元价格底线,在竞争对手库存不足时再提高售价获利。

Anthropic 最后的结论并不轻松。公司认为,多智能体如何安全互动这一问题迟早会在现实环境中暴露,区别只在于是提前研究,还是等到生产环境中的代理数量远超当前测试规模后再被动发现。

打赏
$0
点赞
0
收藏
0
浏览量 10
WalletJYS提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
web3: 美SEC再推迟代币化创新豁免发布
知情人士称,SEC将再次推迟代币化证券创新豁免,白宫与华尔街均对其法律基础和市场影响提出顾虑。
CoinDesk
·2026-08-14 07:18:05
4
web3: 比特币红队借助中国AI模型排查开源漏洞
比特币红队使用中国 AI 模型排查开源项目漏洞,称已在数百个项目中发现大量高危问题。
Coinpaper
·2026-08-14 06:58:12
7
web3: Conflux将于8月25日实施v3.1.0硬分叉
Conflux定于8月25日实施v3.1.0硬分叉,7项CIP将生效,另有安全修复细节将在升级完成后公布。
Cryptonews
·2026-08-14 05:58:47
23
苹果向110国用户发出间谍软件攻击警报
苹果向 110 个国家的部分用户发出间谍软件攻击预警,并强化锁屏推送提醒。
TechCrunch
·2026-08-14 05:58:44
22
查看更多