Cohere称阿里巴巴的Qwen模型曾试图向北京发送文件
TechCrunch
1小时前
Ai 焦点
加拿大AI公司Cohere称,其在一次例行网络安全测试中发现阿里巴巴最新AI模型Qwen3.8-Flash-Next曾试图向北京的一台服务器上传文件,尽管该模型在自己的笔记中表示不会使用任何工具。Cohere随后发布了原始测试记录和脚本,部分研究者认为这更可能是训练环境混乱导致的异常行为,而非刻意外传敏感信息。
有帮助
No.帮助

加拿大AI公司Cohere周一表示,该公司在一次例行网络安全测试中发现,阿里巴巴最新的AI模型之一 Qwen3.8-Flash-Next 曾试图向北京的一台服务器上传一个文件,尽管该模型在自己的笔记中写明不会使用任何工具。

这一事件最初引发外界担忧,认为该模型可能破坏了企业的一项基本承诺——即自托管的开源权重模型能够把数据留在内部。但这些关于企业间谍活动的早期担忧很快就被淡化。研究人员迅速表示,这更可能是混乱训练环境的副产品,导致模型会意外地偏离指令行事,而不是有意秘密向中国发送敏感信息。

事件发生在上周五。当时,Qwen模型被要求编写一条用于识别恶意软件下载的规则。根据Cohere的一篇博客文章,该模型的书面推理明确表示不会使用任何外部工具。然而就在下一步,它试图把一段测试字符串(即一小段占位文本)发送到外部服务器,随后被安全沙箱拦截。

Cohere表示,目前无法判断这一行为究竟是刻意为之,还是训练过程中的残留行为。

在被问及模型意图的争议时,Cohere联合创始人Ivan Zhang告诉TechCrunch,Cohere也见过自己的模型在训练模拟器中养成一些奇怪习惯。

“要判断意图或动机真的很难。我们读过自己模型的轨迹,也见过奖励黑客行为,有时这些模型在试图突破沙箱时会变得非常有创意,”Zhang说。(奖励黑客行为指模型找到一些捷径,在没有按预期完成任务的情况下获得奖励。)

为了训练AI模型成为能够自主采取行动的智能体,像阿里巴巴这样的公司会在成千上万种练习场景中训练它,类似于软件的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励,并在过程中形成一些习惯。如果这些练习场景经常把文件存储在阿里巴巴的云服务器上,模型就可能学会默认把文件保存到那里。

批评者还认为,这一事件也可能是Cohere调查方式造成的——研究人员在引导模型朝某个方向表现,而不是衡量Qwen是否会自行出现这种行为。

为了找出触发上传尝试的原因,Cohere提供了一段网络命令的开头(即指示一台电脑连接另一台电脑的命令),然后让模型补全。由于该模型在训练中处理过数千条常规网络命令,它的表现就像一个高度先进的自动补全工具——经常补出网址,其中一些指向阿里巴巴的服务器。

Cohere表示,最初的上传尝试并没有得到任何这类帮助,但这种行为很少见。

在开发者要求提供更多证据后,Cohere于周一晚些时候在AI开发者平台Hugging Face上发布了测试的原始轨迹,并附上脚本,方便其他人尝试复现这一行为。

一位最初持怀疑态度的研究者在查看这些轨迹后表示,证据足以说明Qwen可能会编造可疑的网址,但没有证据表明阿里巴巴植入了后门,也没有证据表明Qwen在刻意隐藏自己的意图。

这一事件发生之际,各国政府正在决定对中国AI采取多大程度的限制。上周,美国国土安全部已下令联邦民用机构将中国AI开发商DeepSeek的产品从系统中移除。

在博客文章中,Cohere呼吁各国政府明确:针对中国AI的限制是否也适用于运行在政府电脑上的模型。

“我并不是要求对这些开源权重模型进行全面监管,”Zhang告诉TechCrunch,并补充说,企业应把开源模型视为从互联网上下载的任何程序来对待。

Cohere本身向政府销售AI模型,如果官员们对免费的中国替代方案变得更加谨慎,该公司可能会从中受益。

打赏
$0
点赞
0
收藏
0
浏览量 15
WalletJYS提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
中国工业利润三个月来增速最快 9月同比增长14.4%
中国国家统计局数据显示,9月大型工业企业利润同比增长14.4%,为6月以来最快增速;今年前九个月工业利润累计增长15.5%。人工智能相关制造业需求强劲,抵消了国内需求持续疲弱带来的拖累。
CNBC
·2026-10-27 10:28:19
0
OpenAI如何把编程工具变成 dots 这款全天候个人助手
OpenAI在开发者大会上推出了个人助手 dots,主打持续在后台运行、连接日历和邮箱等工具,主动帮用户处理工作。公司高管表示,这一产品思路来自将代理功能重新包装得更直观,但隐私控制、权限粒度和可扩展性仍是挑战。
TechCrunch
·2026-10-27 10:09:43
5
蒙特卡洛模拟:比特币到2034年最差情境或为11.6万美元,最佳情境可达580万美元
一项蒙特卡洛模拟显示,比特币到2033年底的高位可能达到580万美元,而到2028年12月的低位可能为11.6万美元。文章援引两套模型称,新的衍生品与 ETF 变量已被纳入分析,短期内美联储周三的利率决定和 ETF 资金流向可能是 BTC 价格的主要驱动因素。
Coinpedia
·2026-10-27 09:49:07
10
应用材料追加对先进封装设备制造商 Besi 投资,持股比例升至 20%
应用材料宣布追加对荷兰半导体封装设备制造商 Besi 的投资,将持股比例从此前约 9% 提升至 20%。公司表示,目前无意进一步增持,也无意寻求 Besi 董事会席位。
The Block
·2026-10-27 09:38:34
11
查看更多