英国国王查尔斯三世将于周四在苏格兰邓弗里斯宫接待多家头部人工智能公司高管，议题集中在前沿 AI 的安全问题，尤其是自主代理系统能力上升后，人类是否会逐步失去有效控制。

与会公司和人物

出席者包括 OpenAI、Nvidia、Google DeepMind、Anthropic 等公司的代表。英国人工智能事务大臣 Kanishka Narayan 也将参加。公开信息显示，英伟达首席执行官黄仁勋、Google DeepMind 创始人德米斯·哈萨比斯，以及 OpenAI 首席财务官 Sarah Friar 预计出席。教廷 AI 伦理顾问 Paolo Benanti 也在与会名单中。

讨论重点转向自主代理

这场会面并非围绕单一企业合作，而是聚焦一个更广泛的问题：AI 如何继续推进，同时仍对社会有益。当前讨论的重点之一，是能够在较少人工干预下连续执行任务的 AI 代理系统。

与传统聊天机器人相比，这类系统不只是回应单次指令，而是可以自行完成一连串操作。随着能力增强，科技行业内部对于风险控制的分歧也在扩大。

行业争论持续升温

近来，围绕前沿 AI 是否应放慢开发速度的争论持续升温。一部分企业和研究人员认为，在更强的安全措施建立前，模型能力不应继续快速推进。

Anthropic 首席执行官 Dario Amodei 近期表示，行业可能需要降低 AI 开发节奏，并警告说，能力更强的自主代理如果缺少足够保护，可能带来严重风险。OpenAI 首席执行官 Sam Altman 也承认，AI 发展存在“可能非常糟糕”的情形，并称放慢速度未必不值得。

会议不设约束性结果

白金汉宫提前发布的讲话摘要显示，查尔斯三世将向与会者表示，当下这个阶段的决策，将影响未来几代人所面对的世界。他还将强调，AI 应始终服务于人类、社区和自然环境。

不过，这场会议预计不会形成具有约束力的协议。更现实的目标，是推动科技公司、政府与社会各方继续就共同原则展开讨论，为后续治理和行业协作铺路。