据周二发布的一篇博客文章,Anthropic 正在研发一套开源系统,用于验证某个 AI 模型是否生成了给定输出。该系统名为 FlashProve,旨在提供研究人员所说的“可证明推理”——本质上是一种密码学证明,也就是对某个输出确实来自特定模型的数学保证。其目的在于让用户确认,他们收到的答案确实来自自己以为正在使用的模型。
与密码学电子邮件签名类似,后者可让收件人确认一封邮件确实来自其声称的发送者,FlashProve 也能抵御冒充者试图把一个模型伪装成另一个模型,即便冒充者就是构建并运行该模型的实验室本身。研究人员特别指出,该系统可用于防止 AI 公司偷偷换入更便宜的模型以压低成本,或换入更昂贵的模型以夸大性能结果。
FlashProve 还可用于验证第三方关于某项任务由特定高级模型完成的说法。研究人员写道:“开发者可能会声称,他们的软件库已经由一款前沿网络安全模型扫描过漏洞,或者一家公司可能会声称,其商业计划已获得某个合适模型的批准。用户该如何验证这些说法?”
要实现这一点,该系统要求 AI 实验室为其发布的每个模型公布一个“指纹”,之后可将其与特定输出匹配,并通过密码学方式验证。关键是,这些指纹不会泄露模型权重——也就是定义模型行为的内部数字,而像 Anthropic 和 OpenAI 这样的闭源模型提供商会将其保密。这意味着实验室可以在不放弃最有价值资产的情况下发布指纹,使该系统也能用于商业模型。该系统还被设计得足够轻量,因此验证可以在本地设备上完成。
作为此次公告的一部分,研究人员发布了该系统多个组成部分的详细技术规范和可运行代码,这些内容已在 GitHub 上以开源许可公开。该系统的研究仍在进行中,Anthropic 或其他任何实验室都没有部署计划。
研究人员在公告中解释说:“这篇研究文章旨在分享中间进展,而不是一项完成的研究议程。我们明确分享这些内容,是希望其他人审视我们所做的工作,拿去并加以改进。”












