一位 Anthropic 的安全研究员表示，未来十年内 AI “也许杀死全人类”的也许性超过 10%，并承认目前还没有协同计划来防止这种情况发生。

由 Dario Amodei 领导的美国企业 Anthropic 开发了大语言模型 (LLM) Claude 并进行 AI 研究。昨日，该企业的一位研究员 Jacob Coxon 在 X / Twitter 上官宣辞职，指责 ChatGPT 制造商 OpenAI 与 Anthropic “正盲目冲给自我完善的超级智能，并拿大家的生命做赌注”。

“两家企业都没有表现出负责任的态度，”曾在 OpenAI 工作过的 Coxon 说道。“不容低估这项技术的力量。这些系统很快就会成为超人系统，可以破解任何东西，一夜之间彻底改变任何领域，并获取真实的权力与资源，”他继续道。“大家都见证了这些领域的进展，而且进展并没有放缓。

“构建 AI 的人真诚地相信，到本世纪末它也许会杀死大家全部人。这绝非营销噱头。如果有的话，许多高管与资深研究员会在媒体面前措辞含蓄，听起来很理性——但我听到这些人在私下里表达恐惧。没有任何其他人类活动主题具有这种程度的危险。”

Coxon 表示，由 Sam Altman 领导的 OpenAI 员工“尚未深刻意识到这关乎文明存亡”，这就是为啥子尽管存在风险，快速改进其 AI 模型的工作仍在继续。“在 Anthropic，我们很清楚其中的利害关系，但他们陷入了争夺第一的竞赛中，”他坚持道。“他们相信没有其他人会采取负责任的行动，所以尽管有风险，他们也必须亲自去做。”

“接受这场竞赛并进入‘终局之战’是一种傲慢的赌博，不应该在一家私人企业的 Slack 上发起。试试加速对齐（Alignment）应该需要非凡的信心，确信没有更好的途径可选。”

Coxon 接着说，他对协同合作的潜力持乐观态度，但怀疑 AI 企业是否走在防止全球竞赛的轨道上，“这也许需要付出代价的行动，例如暂时禁止提升模型能力。”

他在声明最后敦促 AI 实验室的研究人员考虑自己在做啥子。“你想在没有对它的思维进行严谨理解的情况下，就最初超级智能的强化学习（RL）运行吗？”他问道。“你应该因为‘无论怎么它都会发生’而埋头苦干，还是利用这个时刻呼吁改变现状？”

Coxon 的声明在社交媒体上引起了震动，引发了警报并占据了主流媒体的头条。随后，Anthropic 的“对齐科学”负责人 Evan Hubinger 支持了他的说法，并补充了更加严厉的警告。

“Jacob 在这里说得对——大家确实真诚地相信 AI 也许会杀死全人类！”他说道。“我单人认为未来十年内这种也许性大于 10%。我相信 Anthropic 正在尽最大卖力，但大家还没有化解超级智能对齐问题的计划，也显然没有走上正轨。”

值得注意的是，Hubinger 指出了 Anthropic 全新的风险报告。报告中该企业表示，目前模型的风险“较低”，而不是提议暂停以帮助防止人类灭绝。“我担心的是递归式自我完善产生的超级智能，正如大家所说，它的发生速度比大家想象的要快，”他补充道。

这些点评发表之前，有报道称 Anthropic 给英国 AI 安全研究所（全球评估 AI 风险的领先机构之一）隐瞒了其全新模型。

现在夏季出现了一系列令人担忧的发展，表明 AI 已经变得难以控制，甚至对于其创造者也是如此。OpenAI、Anthropic 与 Meta 都披露了由其自主 AI 智能体实施的黑客攻击行为。OpenAI 首席科学家 Jakub Pachocki 最近呼吁对 AI 的进展保持“极端谨慎”，并警告也许需要更多干预以确保“人类保持对未来的控制”。

然而，美国政府没有表现出介入强制限制甚至提议放缓 AI 开发的迹象。事实上，情况恰恰相反。本月早点时候，政府在针对《纽约时报》的诉讼中支持了 OpenAI，理由是支持运用受版权保护的文字来训练人工智能。“继续发展壹个强大且具有竞争力的、为全球 AI 运用实践与程序设定要求的人工智能产业，符合美国的重大利益……因此，美国‘保持在人工智能领域的全球领导地位’至关重要，”政府在简报中引用了去年签署的一项行政命令。

和此同时，尽管 Anthropic 与 OpenAI 的员工发出了可怕的警告，但两家企业似乎都不愿停止。Coxon 与 Hubinger 的声明在社交媒体上引发了极度担忧，一些人对即使存在如此巨大的风险，改进 AI 的工作仍在继续表示难以置信。

“嘿！这有个新奇的想法……大家能否不容因为对权力与金钱的无止境渴望而自寻死路？”壹个人说道。“疯狂的观点：可能不应该允许你们拿大家的生命做赌注？”另壹个人补充道。“如果我真的声称有 10% 的机会我正在制造某种会杀死人的东西，FBI 早就把我逮捕了。你们为啥子还没进监狱？”另一位问道。

图片介绍：Dominika Zarzycka/SOPA Images/LightRocket via Getty Images。