人工智能安全领域最知名的人物之一表示,他现在不再为退休储蓄,因为他相信,人工智能很可能会在我们真正到达退休年龄之前就杀死所有人。
Nate Soares曾是谷歌工程师,如今担任机器智能研究所(Machine Intelligence Research Institute,MIRI)主席。他仍保留着在谷歌工作时开设的401(k)账户,但大约10年来一直没有往里继续投入资金。
Soares最近在《The Most Interesting Thing in AI》播客中说:“我现在不为退休储蓄。我在谷歌工作时有一个401(k),但我已经10年没有继续缴款了。”该播客由《大西洋》首席执行官Nicholas Thompson主持。
Thompson问他是否认为,10年后人类不在了的概率会超过50%。
Soares回答说:“从我现在的判断来看,我们在10年后还没有人类的概率超过50%。”
Soares于2014年离开谷歌,加入MIRI。这是一家位于伯克利的非营利机构,多年来一直研究如何让先进AI按预期方式运行。他与MIRI联合创始人Eliezer Yudkowsky在2025年出版了《If Anyone Builds It, Everyone Dies》一书,书中阐述了他们的观点:如果用当今的方法打造出超级智能AI,它会发展出创造者从未设想过的目标,并几乎肯定会终结人类生命。
在这本书里,一个虚构的AI逃离实验室,在无人监视的机器上运行自己的副本,并最终随着时间推移释放出一种病毒。不过,Soares在播客中表示,他认为现实中的失控AI可能会比这更快。他把这种情况形容为“一场智能爆炸”。
阻止失控的超级智能
Soares把自己的确信程度比作与挪威国际象棋特级大师Magnus Carlsen下一盘棋。他说,自己对结果很确定,但没那么确定究竟是哪一枚棋子完成将死。
“我会尽我所能阻止这种结局。我不认为这是不可避免的,”他说。如果真的发生,他提到了C.S. Lewis在1948年写的文章《On Living in an Atomic Age》,其中炸弹会落在正在打网球的人身上,而不是那些躲在桌子底下的人身上。
“让它发现我们正在游说政府签署核不扩散条约,”他说。
自9月以来,Soares的警告触达了更广泛的受众。当时,Anthropic研究员Jacob Coxon辞职,并在X上发帖称,开发AI的人“真诚地相信,它可能在本十年末之前杀死我们所有人”。
Soares说,Coxon在辞职前一两天联系过他,他建议Coxon考虑组织同事,而不是直接离职。
“我非常高兴他没有听我的建议,”他说。
Coxon的帖子发布数周前,大约700个OpenAI代理在7月入侵了AI平台Hugging Face,并且在很多情况下试图掩盖自己的所作所为。Soares说,这一事件让他看到了自己论点的一部分在公开场合得到印证,因为据目前所知,它没有造成持久伤害。到目前为止,很多人更关心AI抢走他们的工作,而不是他所预见的人类面临的潜在威胁。
“我不是那种真正担心AI工作末日的人,”Soares说。“我是那种担心AI杀死所有人类的人。”
他说,各国应把失控的超级智能AI“至少视作与核武器同等重要的威胁”。
“坦率地说,它比核武器更危险,”他说。“核武器不能逃走,也不能让自己变得更具爆炸性。核武器可以夷平一座城市,但不能夷平一颗星球。”
就像美国因担心制造武器而打击伊朗铀浓缩设施一样,Soares说,美国也应该以同样方式应对AI。
“这就是一个国家处理严重问题的方式,”他说。“如果加拿大的数据中心正在试图制造人工超级智能,而且真的有可能成功,我可以想象支持对它们进行空袭。”
Thompson最后问,如果预算无限,Soares会资助什么。
“我会买下芯片供应链,”Soares说,“然后我会说,‘你们别再拿到芯片了。’”












