Visa测22款AI购物助手:54%的失败测试仍然下了单
CoinMeta
11-10 12:58
Ai 焦点
如果一个AI没有理解你的需求,却仍然完成了购买,这究竟算成功还是失败?Visa 11月5日发布的Agentic Commerce Benchmark把答案拉回了交易现场。测试覆盖12家实验室的22个模型,让它们完成15类购物挑战。整体通过率只有57.2%,最好模型达到82.2%,最差只有28.9%。
有帮助
No.帮助

如果一个AI没有理解你的需求,却仍然完成了购买,这究竟算成功还是失败?Visa 11月5日发布的Agentic Commerce Benchmark把答案拉回了交易现场。测试覆盖12家实验室的22个模型,让它们完成15类购物挑战。整体通过率只有57.2%,最好模型达到82.2%,最差只有28.9%。

更令人不安的数字是,54%的失败运行仍然做出了购买。这意味着模型可能没看清预算、兼容性或者隐藏需求,却已经跨过了最难撤回的那一步。对聊天机器人来说,答错了可以重问;对拿着支付权限的购物代理来说,错误会变成包裹、退货和真实的资金流。

会搜索,不代表会完成委托

购物任务很少只是“找到一台电脑”。用户可能同时要求价格上限、配送时间、与旧设备兼容,还有一句没有直说的需求,比如旅行时要轻。Visa的测试发现,最擅长挖出隐含需求的5个模型平均得分70.2%,最弱的5个只有44.4%。差距不只来自商品知识,还来自它们是否会追问、是否知道什么时候应该停下。

稳定性又是另一道坎。同一个任务连做三次,三次都通过的比例只有34.2%。对普通问答,偶尔波动也许可以接受;对订单系统,同样的预算和规则却得到不同购物结果,会让审计和客服都陷入困难。企业需要的不是一次惊艳演示,而是每次都能说清“为什么买这个”。

支付之前应该有一道明确的门

Visa Trust Index里,72%的受访者用过AI助手,但只有23%愿意相信AI处理支付。这个差距很合理:人们愿意把比较商品交给模型,却还不愿意把最后的财务决定也一并交出。购物代理若想越过这条线,需要把最后确认做成一个可理解的瞬间:商品、总价、配送、退货条件和模型的不确定性,都要在付款前被看到。

Visa表示这项基准将继续扩展到结账、支付和订单管理。这一步很关键,因为真正的商业代理不只提建议,还会调用接口、产生凭证、处理失败。安全的代理不能仅依靠“更聪明的模型”,还要靠限额、可撤回操作、人工确认和完整日志。

这份报告把购物代理的问题说得很具体:不是它能不能找到商品,而是它在理解不完整时,会不会仍然花掉你的钱。真正值得信任的系统,应当把“停下来说不确定”当成一项能力,而不是一次任务失败。

好交易要把错误留在付款之前

购物代理可以被拆成理解需求、搜索比较和执行购买三段。前两段可以允许模型更自主,最后一段则要用更严格的阈值。低价、可退货的日用品可设小额自动购买;高价商品、订阅或不可退订单应强制人工复核。

代理还应展示自己没有满足的条件,而不是只给出一个看起来最合适的候选。商品、总价、运费、配送日期、退货条款与兼容性应在最后确认页集中出现。流程多了一步,却能把大量退货、客诉和错误支付留在交易之前。

平台也需要给代理更好的机器可读信息。退货期、型号兼容和库存状态若只藏在图片或模糊文案里,再强的模型也会增加误判。可靠性一半来自模型,另一半来自商家是否给出清晰、可验证的交易条件。当这些基础数据不完整时,最安全的动作仍是询问,而不是下单。

评测也不应只统计“是否买到”。一个代理可能选到合适商品,却用了不必要的昂贵配送;也可能遵守预算,却忽略退货限制。所以系统需要同时记录约束满足率、总价、撤销成本和用户介入次数。只有这些指标一起改善,才能说明AI不仅会花钱,也真正理解了委托。

打赏
$0
点赞
0
收藏
0
浏览量 101
WalletJYS提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
Security Journey将培训项目管理接入Claude和ChatGPT
Security Journey推出基于MCP的Claude和ChatGPT集成,项目负责人可在AI助手内直接分配培训、跟踪进度并生成报告。公司称该功能由其智能层Aspen驱动,且面向现有客户免费提供。
PR Newswire
·2026-11-12 21:09:58
0
Bit Digital 以太坊持仓升至4.394亿美元,三季度利润反弹
Bit Digital公布三季度净利润2850万美元,扭转二季度1.072亿美元净亏损;截至9月底,公司持有约16.37万枚ETH及等值资产,价值4.394亿美元。公司称继续向以太坊和AI基础设施转型,并在考虑股票回购,但需先获股东批准。
crypto.news
·2026-11-12 20:59:02
13
出轨丑闻爆发前黄仁勋曾谈及接班安排:希望下一任 CEO 来自英伟达内部
黄仁勋在婚外情风波爆发前数周接受彭博社采访时谈到接班问题,称希望下一任英伟达 CEO 来自公司内部,并表示自己没有近期离职打算。
The Block
·2026-11-12 20:58:59
5
Criteo宣布被纳入MSCI全球可投资市场指数
Criteo宣布,公司已被纳入MSCI全球可投资市场指数,相关调整将于2026年11月30日收盘后生效。公司表示,这是其完成迁册至卢森堡后的重要资本市场里程碑,并预计将提升其在机构投资者中的可见度。
PR Newswire
·2026-11-12 20:58:57
16
Coinbase高管称欧盟收紧DeFi监管或把用户推向保护更少的平台
Coinbase欧洲政策负责人Roeland Van der Stappen表示,欧盟加强对去中心化金融(DeFi)的监管可能会把加密用户推向投资者保护更少的平台。他称,受监管的加密平台可能会通过限制或取消DeFi服务来应对。欧洲证券和市场管理局以及欧洲银行管理局此前都就MiCA框架下的相关规则提出过建议。
Cointelegraph
·2026-11-12 20:58:55
13
查看更多