“帮我找托儿服务”“搬家后给孩子选幼儿园”“给刚确诊糖尿病的家人安排第一周饮食”——这些问题很少出现在传统模型榜单里,却比解一道竞赛题更接近普通人每天愿意为AI付费的理由。OpenAI在11月2日发布LifeVal,试图把评测重点从知识问答转到日常任务是否真的完成。
LifeVal的任务来源不是研究人员凭空列清单。团队先参考美国时间使用调查与跨国时间使用研究,再对3995名具有代表性的受访者做调查,询问人们最希望个人助理在哪些环节提供帮助。最后覆盖照护、健康、教育、家庭行政、个人财务、购物和政府服务等领域。
这个设计带来一个明显变化:模型不只要给建议,还要处理多步骤流程、使用浏览器和连接器、整理信息并留下可供用户确认的结果。比如比较附近幼儿园时,好的答案不是一段泛泛的选校原则,而是筛出符合位置与需求的候选,整理申请条件,并明确哪些偏好仍要由家长决定。
LifeVal考的是“交付状态”,不是漂亮回答
OpenAI展示的样例包括远程陪祖母看比赛、搬家找房、洪水前组织志愿者、制定照护与膳食计划等。页面给出的单项示例分数很高,例如幼儿园任务93.1%、洪水志愿者任务98.0%、找房任务100%,但这些是展示案例,不能拿来代表整个基准的平均水平,更不能推出模型已经能独立处理所有生活事务。
这些任务共同考验三件事。第一,模型要从模糊愿望里找出限制条件;第二,它要跨多个网页或工具完成操作;第三,它必须在该停下来的地方停下。涉及医疗、合同、政府申报或付款时,“已经替你做完”并不总是好事,保留用户确认往往才是合格交付。
这也是LifeVal比一般聊天测试更难的地方。答案写得流畅,只证明语言组织没有卡住;把正确材料放进正确流程,还要面对网页变化、权限、身份信息和现实世界的不确定性。模型可能知道怎么填表,却因为页面改版点错按钮;也可能找到三个选项,却漏掉家庭最在意的通勤条件。评测必须同时看结果、过程和边界。
日常任务评测仍有一块现实缺口
LifeVal把任务选择建立在时间使用数据和人群调查上,降低了“研究人员觉得重要”与“用户真正需要”之间的偏差。不过,网页和公共服务不断变化,不同地区的制度也不相同。今天能完成的流程,明天可能因登录方式、费用或政策更新而失效。这样的基准需要持续更新,不能像静态题库一样长期沿用。
另一个问题是代表性。3995人的调查能提供比小规模访谈更稳定的方向,但任何一次抽样都会受地区、收入、数字技能和家庭结构影响。对行动不便者、非母语用户或缺少稳定网络的人,任务难点可能完全不同。因此LifeVal更适合作为“日常帮助能力”的一张地图,而不是宣布某个统一分数覆盖了所有人的生活。
对产品团队而言,这套评测最有用的地方不是再造一张排行榜,而是改变功能优先级。浏览器控制、连接器、权限提示、失败恢复和结果确认,本来常被当作模型之外的工程细节;在真实生活任务里,它们恰恰决定一次帮助是否成立。
AI从聊天工具走向个人助理,真正的门槛不是回答越来越长,而是让人少跑一次窗口、少漏一张材料、少承担一次错误操作。LifeVal把“有用”拆成可以观察的任务,但最后的标准仍在用户手里:事情是否办妥,关键决定是否保留给本人,出了问题是否知道停在哪里。
这也会改变模型更新的评判方式。新版本即使在知识题上多拿几分,如果完成流程时更容易越权、遗漏限制或无法从网页错误中恢复,用户得到的帮助仍可能变差。把最终交付、必要确认和失败恢复一起计入,才接近个人助理真实的质量账本。












