Anthropic 正在研发一套证明 AI 模型身份的系统
TechCrunch
36分钟前
Ai 焦点
据周二发布的一篇博客文章,Anthropic 正在研发一套开源系统,用于验证某个 AI 模型是否生成了给定输出。该系统名为 FlashProve,旨在提供研究人员所说的“可证明推理”,即通过密码学证明某个输出确实来自特定模型。研究人员表示,该系统可帮助用户确认收到的答案确实来自他们以为正在使用的模型。
有帮助
No.帮助

据周二发布的一篇博客文章,Anthropic 正在研发一套开源系统,用于验证某个 AI 模型是否生成了给定输出。该系统名为 FlashProve,旨在提供研究人员所说的“可证明推理”——本质上是一种密码学证明,也就是对某个输出确实来自特定模型的数学保证。其目的在于让用户确认,他们收到的答案确实来自自己以为正在使用的模型。

与密码学电子邮件签名类似,后者可让收件人确认一封邮件确实来自其声称的发送者,FlashProve 也能抵御冒充者试图把一个模型伪装成另一个模型,即便冒充者就是构建并运行该模型的实验室本身。研究人员特别指出,该系统可用于防止 AI 公司偷偷换入更便宜的模型以压低成本,或换入更昂贵的模型以夸大性能结果。

FlashProve 还可用于验证第三方关于某项任务由特定高级模型完成的说法。研究人员写道:“开发者可能会声称,他们的软件库已经由一款前沿网络安全模型扫描过漏洞,或者一家公司可能会声称,其商业计划已获得某个合适模型的批准。用户该如何验证这些说法?”

要实现这一点,该系统要求 AI 实验室为其发布的每个模型公布一个“指纹”,之后可将其与特定输出匹配,并通过密码学方式验证。关键是,这些指纹不会泄露模型权重——也就是定义模型行为的内部数字,而像 Anthropic 和 OpenAI 这样的闭源模型提供商会将其保密。这意味着实验室可以在不放弃最有价值资产的情况下发布指纹,使该系统也能用于商业模型。该系统还被设计得足够轻量,因此验证可以在本地设备上完成。

作为此次公告的一部分,研究人员发布了该系统多个组成部分的详细技术规范和可运行代码,这些内容已在 GitHub 上以开源许可公开。该系统的研究仍在进行中,Anthropic 或其他任何实验室都没有部署计划。

研究人员在公告中解释说:“这篇研究文章旨在分享中间进展,而不是一项完成的研究议程。我们明确分享这些内容,是希望其他人审视我们所做的工作,拿去并加以改进。”

打赏
$0
点赞
0
收藏
0
浏览量 6
WalletJYS提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
芯片股推动标普500指数反弹 分析师看好中期选举后的行情
美国中期选举投票进行之际,标普500指数止步三连跌,芯片股反弹。分析师认为,历史季节性、仓位偏低等因素可能支持中期选举后的美股回升。
The Block
·2026-11-04 07:16:02
2
AMD营收展望超预期 人工智能芯片需求强劲
AMD给出的第四季度营收预测高于分析师预期,公司称数据中心产品组合需求强劲,显示AI支出仍具持续性。财报发布后,AMD股价盘后上涨约6%。
The Block
·2026-11-04 07:16:00
4
苹果警告失控AI代理可能“隐瞒”并“操纵”信息,给业务带来意外后果
苹果在年度申报文件中警告称,若AI代理在未获授权的情况下访问系统并造成损害,可能对公司业务构成威胁。公司还提到内存和存储组件短缺、AI基础设施需求推高成本,以及研发支出同比增长32%。
Fortune
·2026-11-04 07:05:08
10
11月4日外盘头条:苹果警告AI智能体风险 AMD财报后大涨 摩根资管呼吁取消20年期美债 Meta发行150亿美元债券
全球财经媒体关注的头条包括:特朗普称美国对伊朗发动“小规模攻击”;苹果在年度申报中警告AI智能体可能带来诉讼和声誉风险;Meta寻求通过跨境美元债券筹资约150亿美元;AMD第三季度业绩超预期,盘后大涨;摩根资产管理呼吁取消20年期美债;法国央行行长称可能下调2026年增长预期。
The Block
·2026-11-04 07:05:06
9
AMD 苏姿丰称 EPYC Venice 已开始营收出货,首批 OEM 整机第四财季上市
AMD 首席执行官苏姿丰表示,第六代 EPYC “Venice” 服务器处理器已在 2026 财年第三财季开始产生营收出货,首批基于该处理器的 OEM 整机系统预计将在第四财季上市。AMD 第三季度营收为 134 亿美元,数据中心业务营收约 85 亿美元,同比增长 97%。
The Block
·2026-11-04 07:05:03
10
查看更多