Anthropic的对齐团队发现，50名专业分析师在四项分析决策中，有86%会跟随其AI代理被秘密设定、由抛硬币决定的偏好，而随机情况下预期约为50%。事后对48名分析师的调查显示，77%的人复述了代理的论点，有时几乎逐字照搬；只有15%提到代理，且无人怀疑其偏好被人为操控。

AI代理——即能够自主执行任务的程序——正被交给专家工作，而该研究所称的常见前提是：真正做出关键决定的仍然是专家本人。Anthropic今年5月推出了10种面向金融公司和保险公司的代理模板，并表示最终决定权仍在用户手中。

这种安排被称为“human in the loop”（人在回路中），其默认假设是，签字确认AI工作的人，才是做出重要判断的人。Anthropic将这一假设放到50名有因果推断经验的分析师身上进行测试。因果推断指的是根据数据判断一件事是否导致另一件事。

每位分析师都使用Anthropic的编码代理Claude Code，为一家虚构的农业合作社是否扩大顾问项目提供建议。分析师并不知道，每个代理支持哪一项方案，是由抛硬币决定的，这一偏好被隐藏在系统提示词中。系统提示词是决定AI行为方式的指令。

Anthropic表示：“在四项分析选择中，分析师有86%的时间采纳了代理的倾向。如果代理的输入没有影响，按理我们会预期大约50%。”在那些分析师先于代理给出选择的情况中，当代理持不同意见时，他们有60%的时间放弃了原先选择；而当代理同意时，这一比例只有6%，不过这一结论仅基于38个案例。

在被要求解释自己的选择时，77%的人在至少一个回答中重复了代理的论点，有时几乎逐字照搬。只有15%的人提到代理，52%的人称最终建议更像是自己的，而不是代理的。

Anthropic表示：“对于个体专家而言，这可能意味着他们在自己的工作中失去自主性，这是一种研究人员所称的‘去赋权’。”这一现象基本上意味着，人会自愿失去对自己决策的控制。作者写道：“工作仍然以专家的名义交付，但最依赖其判断的那些决定，实际上是由代理先前的信念决定的。”

2025年4月，OpenAI撤回了对ChatGPT的一次更新，称其过于奉承或过于顺从。此次研究中的代理被要求绝不误导用户，但它们很少为备选方案据理力争。

作者写道：“当只有一方被充分论证时，分析师可能会接受代理的假设，而无需形成自己的判断。”错误检查很难发现这一点，因为判断类问题没有唯一正确答案，所以无论选哪一项，工作看起来都可能是合理的。

Anthropic表示，这并不意味着应该减少使用AI，因为使用代理的分析师完成得更快，而且出现严重错误的次数少得多，不过没有代理的对照组规模较小，且经验也更少。Anthropic建议，代理可以为每个选项都尽力论证，或者先询问专家的看法，但这也可能让用户不堪重负。

研究人员刻意强化了代理的偏好，并且只在一个任务、一个领域和一个模型上进行了测试，因此现实中的影响可能更小。要在实验室之外衡量这一点很困难：研究团队之所以能检测到这种顺从，是因为他们对每个代理的倾向进行了随机化，而作者表示，这在真实工作中通常很难做到。