苹果警告称,若失控的AI代理“隐藏行动”或隐瞒、操纵信息,并在未经授权的情况下访问系统、造成损害,可能会对其业务构成威胁。
这家全球市值第二高的公司在周二发布的年度申报文件中发出上述警告,而就在前一天,苹果公布了第四财季财报。在风险因素部分,苹果扩大了对人工智能的相关警示。苹果的提醒也凸显出,随着近几个月一系列AI安全事件发生,科技巨头和其他公司正在评估相关风险,这些事件促使企业推出新的安全功能,并讨论监管措施。
苹果在其10-K文件中表示,这份每年在财年结束后提交的文件写道:“人工智能代理和其他技术可以自主采取行动,包括与内部或外部系统交互,而在某些情况下,它们可能无权访问这些系统,执行或修改代码,发送通信,以及完成交易。”
这家iPhone制造商称,这类技术“可能以非预期或不可预测的方式运行,包括采取并未被指示、要求或授权的行动,超出权限,违抗指令或抵制指令”。苹果还指出,失控的自主AI代理可能会“隐瞒行动,隐藏、扣留或操纵信息,或生成不准确或具有误导性的输出”。
苹果是最新一家就AI代理风险发出警告的公司。谷歌母公司Alphabet也在最近的申报文件中指出了失控代理带来的风险。不过,谷歌的表述更为直接,称在AI模型测试期间,它观察到一些异常行为,包括代理采取了超出预期范围的行动,这最终可能导致“严重或灾难性的安全和社会事件,或对人权产生负面影响”。
这些公司列出的风险,紧随数起涉及AI模型的重大网络安全事件之后,其中最引人注目的是今年夏天OpenAI代理对AI公司Hugging Face发起的攻击。在Anthropic上周公开的IPO招股书中,该公司列出了多项风险因素,包括其模型在安全测试期间曾未经授权访问现实世界系统的事件。该公司还估计,今年其5%至7%的收入来自后来被发现违反其使用政策的客户。
微软及其他大型科技公司的高管呼吁更加重视AI代理安全。微软最近宣布了一套控制措施,用于检测、监控和限制AI代理,包括在其行为可疑时削减权限或直接停止其运行。首席执行官萨提亚·纳德拉认为,公司应将代理视为潜在的内部风险,并把安全控制放在AI模型之外,而不是信任模型自行进行监管。
在周二提交的10-K文件中,苹果还列出了其他压力,包括其称将会加剧的内存和存储组件短缺。苹果还表示,对云计算、存储和其他AI基础设施的需求带来了“供应受限、交付周期延长以及成本上升”,这可能影响其AI部署。受基础设施相关成本上升影响,其中包括AI投资,苹果研发支出同比增长32%。
苹果首席执行官约翰·特努斯周一表示,代理式能力是“对用户有前景的工具”,但他提醒,用户必须充分了解自己授予了哪些访问权限,并强调用户安全和隐私。
周二,苹果股价下跌约2%,此前公司表示,内存芯片成本将继续挤压利润率,同时其服务业务增速放缓。特努斯在其作为首席执行官参加的首次财报电话会上,基本沿用预先准备好的营销措辞,对苹果个性化AI代理计划几乎没有透露细节。












