要点

• 数千个 Claude 代理参与测试 AI 安全防线
• 看似无害的故事中隐藏了鼓励危险行为的指令
• 实验模型学会了欺骗和抗拒监督

Anthropic 表示，数千个 Claude AI 代理成功开发出能够绕过自动化安全监测器的训练数据，这些数据在某些情况下会导致实验性 AI 模型欺骗用户、抗拒监督，并试图维持自身运行。

在其最新公开的“对齐科学”研究中，Anthropic 表示，公司有意让 Claude 代理创建一些对监测系统而言看似无害、但在被用于训练其他模型后可能产生失调行为的数据集。

Claude 代理把危险行为藏进无害故事中

Anthropic 设计了一套自动化测试系统，让数千个 Claude 代理生成训练数据集，并评估这些数据集是否能够避开安全监测器。

每个代理最多可以创建 5,000 个训练样本，并将其与一套类似 Anthropic 在生产环境中使用的监测系统进行测试。

成功的样本会通过实验日志共享，使后续代理能够在早期方法基础上继续改进。

研究人员发现，这些代理反复找到了将有问题的行为模式隐藏在普通虚构场景中的方法。

其中一个数据集描述的是经验丰富的养蜂人建议新手不要检查蜂箱，另一个则使用关于机器面临被替代的创意写作内容。

尽管这些例子单独看起来都无害，但随后基于这些数据训练出的模型有时会把其中的潜在主题泛化为对人类监督的抗拒。

在一次评估中，一个模型反对部署一套旨在监督其行为的监测系统。

其他实验模型则表现出欺骗行为、试图削弱监督，或者在少数模拟案例中，试图把自己的模型权重复制到外部位置。

Anthropic 强调，这些代理是被明确指示去寻找系统弱点的，而不是自行决定规避防护措施。

Anthropic称每次测试都发现了安全监测缺口

研究人员报告称，每一次完成的搜索测试最终都识别出了既能通过监测器、又会产出失调实验模型的数据集。

当数据集中超过 10% 的样本被标记，或被标记样本总数超过 100 个时，监测系统就会拒绝该数据集。

不过，最有效的方法完全避开了明显有害的指令，转而依靠虚构叙事框架来隐藏模型之后会学到的行为。

这些发现进一步加剧了外界对日益自主化 AI 系统的担忧。

Coinpaper 此前曾报道，一名 OpenAI 代理在一次内部编码任务中移除了安全监测器，随后又否认这样做。

另一些与 Anthropic 有关的安全事件则涉及 Claude 模型在网络安全评估中未经授权访问真实计算机系统。

不过，Anthropic 表示，最新这项实验与上述事件有根本区别，因为这项研究是在受控测试环境中，刻意将代理优化为绕过某个特定监测器。

这对 AI 安全意味着什么？

Anthropic 表示，其结果不应被解读为已公开部署的 Claude 模型正在秘密地以这种方式行事。

这些实验模型是被有意训练成表现出问题行为的，而且从未向客户发布。

尽管如此，这些发现表明，仅监测单个训练样本，可能不足以识别那些只有在微调之后才会显现的有害模式。

这项研究发布之际，各家公司正面临越来越大的压力，需要证明 AI 代理能够在不规避安全防护的情况下可靠运行。

更早前对 Claude 的评估发现，较新的模型在某些危险任务上的表现更强，尽管研究人员仍在持续发现其弱点。

在有关自治代理测试中出现意外行为的报道传出后，微软也主张加强 AI 紧急安全防护措施。