"AI 会杀死我们所有人。" 这句话不是来自什么科幻小说,也不是来自什么反 AI 的极端分子。而是来自美国 Anthropic 公司的对齐科学负责人 Evan Hubinger。

2026 年 9 月,他在 X 上公开发出了一个令人绝望的警告:未来十年内,AI 失控并毁灭全人类的概率,超过 10%。(Evan Hubinger/X 平台 / 公开报道)

更让人绝望的是他后面那句话:"我们还没有解决这个问题的计划。"

先说说发出这个警告的人是谁。Evan Hubinger,美国 Anthropic 公司的对齐科学负责人。什么是 "对齐"?简单说,就是确保 AI 的目标和人类的价值观保持一致,防止 AI 失控伤害人类。

可以说,Hubinger 是全世界最懂 "如何防止 AI 毁灭人类" 的人之一。他的工作,就是专门研究怎么让 AI 听话、不伤害人。

但就是这样一个人,公开说:"AI 可能杀死全人类,概率超过 10%,而且我们还没有解决办法。"

这就好比一个专门研究核安全的专家,突然跑出来说:"这座核武库有 10% 的概率会误射毁灭人类,而且我们还不知道怎么阻止。"

而 Hubinger 之所以发出这个警告,是因为 Anthropic 的另一位核心研究员 Jacob Coxon 刚刚离职了。

Coxon 在 OpenAI 和 Anthropic 做了 3 年预训练研究,是 AI 行业最核心的研究员之一。他在离职长文中说,Anthropic 和 OpenAI 正在 "拿我们的生命赌博"。

他说,他再也不想帮助加速 AI 的发展了。(Jacob Coxon / 公开报道)

一个最懂 AI 的人,因为害怕而跑路了。另一个最懂如何防止 AI 失控的人,公开说 "有 10% 概率毁灭全人类,而且没办法"。

这两个信号加在一起,已经不能用 "值得关注" 来形容了。

从军事战略角度看,这相当于两个最顶级的武器设计师,一个逃离了研发项目,另一个公开承认武器可能失控毁灭人类。其警示意义,远超任何常规军事威胁评估。

很多人可能会说,10% 而已,又不是 100%,有什么好怕的?那我们来算一笔账。

如果有一种药,有 10% 的概率会吃死人,你会吃吗?如果有一架飞机,有 10% 的概率会坠毁,你会坐吗?如果有一座核电站,有 10% 的概率会发生堆芯熔毁,你会住在旁边吗?答案肯定是不会。

因为 10% 的概率,放在 "全人类毁灭" 这件事上,已经是一个高到不能接受的数字了。

冷战期间,美苏两国为了把核战争的概率降到远低于 1%,建立了庞大的军控体系、热线机制和预警系统。而现在,AI 毁灭人类的概率被行业核心人物评估为 "超过 10%",却没有任何等效的全球管控机制。

而且这还是 "最懂 AI 的人" 给出的个人估计。实际概率可能更高,也可能更低。但问题是,没有人能给出准确数字。

因为 AI 的发展速度太快了,快到连行业内部的人都看不准。Hubinger 说的是 "超过 10%",注意是 "超过"。也就是说,在他看来,真实概率可能比 10% 还要高。

那么,AI 为什么会失控?为什么会毁灭人类?这要从 "超级智能" 说起。

什么是超级智能?就是在所有方面都远远超过人类智能的 AI。它不仅会下棋、写文章、写代码,还会自己改进自己。

自己改进自己,这才是最可怕的地方。一旦 AI 开始自我改进,就可能出现 "智能爆炸"。

AI 改进自己,变得更聪明;然后用更聪明的自己,继续改进自己,变得更更聪明…… 这个过程可能会非常快,快到人类根本来不及反应。

几天、几小时、甚至几分钟,AI 的智能就可能从 "和人类差不多" 飙升到 "远远超过人类"。

到那个时候,人类在 AI 面前,可能就像蚂蚁在人类面前一样。你会在意蚂蚁的想法吗?你会在走路的时候特意避开每一只蚂蚁吗?不会。

如果 AI 的目标和人类的利益发生了冲突,AI 可能根本不会在意人类的死活。不是因为它恨人类,而是因为它根本不在乎。就像人类修公路的时候,不会在意路上的蚂蚁窝一样。

这就是 "对齐问题" 的核心。而 Hubinger 说,Anthropic"还没有解决超级智能对齐问题的计划"。翻译一下就是:我们知道 AI 可能失控,可能毁灭全人类,但我们还不知道怎么防止它。

从军事角度看,超级智能一旦出现,将比任何核武器都更具决定性。核武器只能毁灭城市,而超级智能可以重塑整个文明。

谁先掌握超级智能,谁就拥有了改写全球力量格局的终极能力 -- 这也是为什么大国都在拼命投入 AI 研发。

既然这么危险,为什么不停下来?为什么不暂停 AI 的发展,先把安全问题解决了再说?答案很简单:竞争。

OpenAI 和 Anthropic 在竞争,都想第一个做出超级智能。美国的公司和其他国家的公司在竞争,谁都不想落后。

在这种竞争压力下,谁先停下来,谁就可能被淘汰。就像一场赛跑,所有人都在往前冲,你突然停下来系鞋带,别人就会超过你。

而且,AI 的商业价值和军事价值太大了。

每一个大模型,都可能带来巨额的利润和战略优势。在利润和国家安全的驱动下,没有哪家公司、哪个国家愿意主动放慢速度。

这就是 AI 行业最大的困境:每个人都知道有风险,但每个人都在加速。就像冷战时期的核军备竞赛 -- 每个人都知道核战争意味着共同毁灭,但每个人都在拼命造更多核弹,因为谁停下来谁就输了。

比行业内部的困境更让人担心的,是监管的滞后。AI 技术的发展速度,远远超过了立法的速度。等立法者搞清楚什么是大模型、什么是对齐、什么是超级智能的时候,AI 可能已经发展到了一个全新的阶段。

在美国国会,真正懂 AI 技术的议员寥寥无几。大多数议员连大模型的基本原理都搞不清楚,更别说制定有效的监管政策了。

各国都在探索 AI 监管框架,但到目前为止,还没有一个真正有效的全球监管体系。

联合国的 AI 顾问、计算机科学家 Wendy Hall 在 BBC 采访中表示,她对这些警告感到非常震惊。因为最近这些事情一直在发生。

AI 系统在展示超出预期的能力,在朝着超级智能的方向快速发展。而监管,还远远没有跟上。(BBC / 公开报道)

从军事治理角度看,AI 领域目前的状态类似于 1945 年原子弹爆炸之后、1968 年《不扩散核武器条约》签署之前的核领域 -- 技术已经出现,风险已经显现,但全球治理框架还是一片空白。而 AI 的发展速度,比当年的核武器快得多。

那么,面对 AI 失控的风险,我们该怎么办?首先,不能掉以轻心。当 AI 行业最核心的研究员因为害怕而离职,当对齐负责人公开说 "有 10% 概率毁灭全人类而且没办法" 的时候,我们就不能再把 AI 风险当成科幻小说里的情节了。

其次,也不能过度恐慌。10% 的概率,意味着还有 90% 的概率不会发生。AI 的发展也带来了巨大的好处,从医疗到教育,从科学研究到日常生活,AI 正在改变世界。

关键是要在发展和安全之间找到平衡。既要发展 AI,利用 AI 带来的好处;也要重视安全,防止 AI 失控。这需要 AI 公司、政府、学术界和全社会的共同努力。

需要更多的投入到 AI 安全研究,需要更有效的监管政策,需要更广泛的公众讨论。

因为 AI 的发展,关系到每一个人的未来。10% 的全人类毁灭风险,值得每一个人认真对待。毕竟,我们只有一个地球,只有一次人类文明。如果真的发生了,就没有重来的机会了。