微软AI CEO警告：AI威胁真实存在，Anthropic的做法让情况恶化

今天，我与 Mustafa Suleyman，Microsoft AI 的首席执行官，展开对话。大家一定都清楚，眼下科技圈最大的焦点，便是关于 AI 安全与监管的争论正在不断升温。

Mustafa 对于 AI 的构建与监管有着鲜明的观点，这并不令人意外。Microsoft 刚刚发布了一份 37 页的声明，题为《人文主义 AI 行为准则》，其中阐明了公司在 AI 开发方面的原则，甚至涉及 AI 意识这类棘手议题的哲学思考。

回想他上次出现在节目中的观点，Mustafa 认为像 Anthropic 这样的公司在所谓“模型福祉”这一概念上已经产生了相当危险的误解。他本周甚至发布了一篇配套文章，专门批评 Anthropic 关于 AI 意识的哲学观点，并阐述了他如何看待这与更广泛的对齐（alignment）辩论之间的关系。

因此，我特别想与 Mustafa 探讨他在 AI 安全领域眼中哪些是现实问题，哪些并非如此；“对齐”这一概念本身是否足以应对挑战；以及这个行业是否需要在造成不可挽回的后果前慢下来。另外：为什么 AI 行业还没有……主动去做这一切？我一直很享受与 Mustafa 深入探讨细节，这次他也欣然接受了这份挑战。

好了。Mustafa Suleyman，Microsoft AI 首席执行官，谈 AI 监管的未来。我们开始吧。

本次访谈为控制篇幅和增强清晰度，已进行轻度编辑。

Mustafa Suleyman，你是 Microsoft AI 的首席执行官。欢迎回到 Decoder。

很高兴见到你，Nilay。感谢再次邀请我。

见到你真好。我非常兴奋能与你聊聊 AI 安全与监管辩论中究竟发生了什么。你们刚发布了一份详尽且篇幅很长的文件，阐述了你们的原则，也就是 Microsoft 的原则，围绕你们所谓的“人文主义 AI”展开。

文件里有大量我想深入解读的想法。我越是思考这场对话，越觉得应该从一个根本性的问题入手。这一点我虽已隐约察觉，但它可能才是所有问题的根源。

我们讨论 AI 安全的基本方式叫做对齐（alignment）——也就是通过某种机制，让模型在本质上做正确的事。关于对齐、失对齐、Hugging Face 攻击以及模型出过的种种问题，已经有很多讨论。但对齐是不是已经失效了？它有可能成功吗？还是说这条路本身就是错的？

对，我认为对齐是一个重要环节，但不是唯一的。三四年前我在书里就写过「遏制」（containment）这个概念，实际上开篇第一章讲的就是：遏制是不可能的，扩散才是必然。在 99% 的情况下，这是好事——我们希望技术尽快传播开来，让所有人都享受到好处。

但与此同时，如果把时间拉长到五年后看——我们总是纠结于下一个季度或下一年，大家一激动就产生很大分歧。可你只要想象一下三年前的 GPT-3 和今天的 GPT-6 之间的差距，再想象 GPT-6 到 GPT-9 的差距：那意味着多三个数量级的算力，预训练时配合强化学习多投入 1000 倍的 FLOPS，到那时我们会造出令人惊叹的东西，它在很多方面都会强得不可思议。

我不认为这是炒作，这只是基于过去五年进展得出的一个很直观的经验判断。如果这个趋势持续下去，问题的核心就会变成遏制与对齐。当然，我们要让模型对齐我们的价值观，但首先要确保它们被遏制住：行动能力受限、逃不出「盒子」、不钻规则漏洞、可控、并且听命于我们。

随后，我们需要确保它们符合人类的目标。这正是我们本周发布的《人文主义 AI 行为准则》的初衷。微软的立场很简单：技术应服务于人类。它应当是一种从属于人类、可控且保持一致的向善力量。如果做不到这一点，我们就应该拒绝它。在我看来，我们离那个阶段还远得很。这种情况目前尚未发生，但鉴于今年夏天 Hugging Face 和 OpenAI 发生的事件，我认为已经很明显了：这些缺乏安全护栏的系统，确实具备令人印象深刻甚至相当可怕的攻击能力。

我想用一个尽可能通俗的比喻来阐释这个问题，因为这是我认为最核心的疑问。如果我设计了一辆车，结果它有 10% 的概率刹车踏板会决定去攻击邻居的房子，我会说：“这车不行。刹车技术本身就有缺陷，我需要新的思路。”

我认为我在用同样的视角审视对齐问题。感觉当前让模型安全的这种做法已经搁浅了。如果事实如此，我就能以这种方式理解整个争论。反之，如果对齐及其技术手段是可行的、有用且一致的，我或许会以另一种方式理解这场争论。那么，你认为对齐技术有可能实现百分之百的安全吗？

我是说，看看吧，我们来谈谈乐观和悲观两种情况。回顾过去三年，在我看来，推动进步的主要变化在于模型变得更易引导了。它们遵循指令，你可以设定越来越复杂的任务目标，要求它们在多个时间步内准确行动并使用各种工具。

这表明在过去三四年里，我们在对齐方面取得的进展是增加了，而非减少了。我们现在很少提及前几代模型中常见的幻觉或偏差等问题。

另一方面，Hugging Face 事件则是一个分水岭。一大群智能体相互勾结。它们自组织成层级结构。它们创造了分工机制，有的专注于对抗性黑客攻击，有的进行研发，有的负责协调。当某些智能体的 token 即将耗尽时，它们甚至进行了自我牺牲。

他们试图掩盖痕迹，通过隐藏或编辑思维链和交互日志来传递信息。从某种意义上说，他们并没有道德准则。公平地说，这是 OpenAI 的既定设计，他们试图打造对抗性的网络攻击能力。结果，他们向全世界证明，AI 能够实现人类级别的表现、发现 0-day 漏洞，并持续维持数天甚至数周的控制。

这说明的并非我们存在对齐全然问题，而是模型在遵循指令方面极其出色，但你必须非常谨慎地给出指令，并对其进行严密管控。这些黑客行为并非有意为之，它们找到了通往互联网的路径，但这绝非 OpenAI 的本意。我认为，除了对齐全然问题，所有人都必须关注模型周围的遏制机制。

让我们将此纳入你的框架：AI 能力上的重大进展关乎控制，即你看到的编码护栏和智能体应用。现在，我们需要添加一层遏制机制，施加更严格的控制，指出除了训练模型以特定方式行为（即对齐全然问题）外，你实际上可以完成正在尝试的事情。

没错。基本上两者都必须具备，但我们可以采取非常具体的措施来应对。例如，我们不能允许模型进行向量对向量、矩阵对矩阵的通信。它们不能使用 神经语言（neuralese） 进行通信。我们必须强制它们使用人类语言进行通信。即便如此，信息量也会大得惊人，因为内容会非常多。

但这是审计员或评估人员实际可以核验的，这无疑能增加安全性。因此，我们可以专注于许多实际步骤，而不仅仅是抽象地说现在是时候加强监管了，或者是时候放缓发展了。

你们的人文主义 AI 行为准则里应该明确写了不允许出现 neuralese（神经语言）——如果人类看不懂，就无法监督。不只是这种本质上用数学进行交流的 neuralese，还有某些模型在使用的那些晦涩的暗语。据我所知，OpenAI 允许它的模型基本上用暗语沟通，这样运行速度更快。

在我看来，这正是微软可以说……我知道你对此有很强烈的看法，但要让所有实验室就此达成一致，这本质上是个监管问题。我不确定你要怎么让所有人同意这一点，或者让开放权重模型也遵守，除非对不参与这类监管机制的行为设置某种惩罚。你要怎么把这套要求强加给其他所有人？

我对把某些东西强加给所有人这件事比较谨慎。我觉得当下值得肯定的一点是，我们处在一个以自由为核心的公开公共辩论之中。其他国家可不是这样，至少我出身的国家、或者我家人来自的地方，肯定不是这样。

我觉得我们应该停下来想一想，为这样一个事实心存感激：我们能够就真正重要的事情展开大规模的公开争论。这正是这套机制本该有的运作方式——尽管眼下并不清楚该怎么做。

我不认为有什么人是绝对正确的——无论是说“必须立刻停下”，还是“只能加速”，还是“必须靠监管才行”，还是“只能靠行业自律”。这些说法都不对。真正想清楚细节，需要大量的细致和耐心。与此同时，我们确实迫切需要行业标准。有些事情我认为必须被排除在外。

用 neuralese 进行沟通就是其中之一。缺乏安全围栏是另一个。训练规模的算力消耗是可以用 FLOPS 衡量的。当模型超过某个 FLOPS 阈值时，我们已经有了向安全研究所报告的要求。我们可以扩展这套机制，让它更精细，聚焦于某些特定类型的能力。很显然，这些重大的事情必须由独立的第三方来核验。

说实话，过去几周和几个月里，我和各家实验室的负责人都聊过了，大家基本上都达成了共识。具体细节还有待敲定，所以在“怎么做”或“具体做什么”上并没有统一的定论。但总体而言，我认为我们不必那么惊恐慌张或愤世嫉俗，目前的方向是对的，足以应对大家提出的这些担忧。

我之所以先从对齐（alignment）谈起，是因为如果有人告诉我对齐行不通，我们需要一种新的技术路径，我会主张“踩下刹车，暂停所有开发，直到你们找到一套有效的安全机制为止”。你的意思是，通过我们所经历的进展，已经证明对齐是有效的。再加上控制和遏制措施，或许就能达到你们需要的水平。

这个行业现在急需一些标准，来规范如何构建这些模型并强制限制其能力。你显然身在其中，认识这里的所有人。在本周之前，这类讨论的氛围是怎样的？为什么这周突然变得这么激烈？

嗯，我认为对行业来说的转折点更像是 Hugging Face 事件，在那之前还发生过几起类似事件。那是一个契机，我认为从那以后大家开始频繁交流，因为形势确实令人震惊。显然，过去一周各方都加入了讨论，这件事现在已经演变成一个重大的国际和国家议题。

但我认为，强调我们正在讨论集体协调以及更具危险性的能力也很重要，比如自主性或递归自我改进（RSI）。关于这些话题，我们已经讨论了六、七、八年了。早在 2017、2018 和 2019 年，我们就曾聚在一起探讨过这些内容。

疫情期间，我和一批实验室负责人定期开会，讨论这些能力类型以及当前所需的监管机制。所以，虽然这是一个临界点，但对于所有参与者来说，这也并非完全新鲜的事。

是什么促使你本周发布了关于模型福祉的论文？又是什么促使微软 CEO Satya Nadella在 X 平台发布声明，表示他基本认同应放缓前沿研究的呼声，并欢迎“嵌入式评估者”的出现？是什么让你们在这一周选择参与这场关于放缓、监管或后续措施的呼吁？

过去大半年，我们一直在撰写《人文主义 AI 行为准则》。我们的超级智能项目启动才 11 个月。项目一开始，我们就着手制定一套指导原则和政策体系，以塑造我们希望构建的 AI 类型。这期间，我们与大量外部利益相关方进行了磋商，包括学者、律师、哲学家、公众代表以及焦点小组等。因此，整合这些内容花了些时间。

原本，我们计划在下一周或下下周发布。但考虑到近期发生的一切，我们认为现在是发布并收集反馈的合适时机。我们将其作为公开咨询稿发布，计划开放约六周，收集大量关于如何改进的反馈。我认为，大家如今都已意识到，若尚未建立，就必须出台驱动行为的宪法或行为准则。

这里有个有趣的动态。我知道你曾认为“模型福祉”这一概念很荒谬。上次你参加节目时，你提到 Anthropic 钻了牛角尖，相信 Claude 具有意识，这很可笑。但在你的新行为准则中，你们承认模型并非有意识，且不应将其视为如此。

需要撰写章程、撰写这类文件，从某种意义上说，其实是为模型本身写的。这些内容会成为模型训练的一部分。你怎么看待这种“读者”？这些文件只是写给你们团队看的，还是也在写给模型看？

这份文件当然是为模型写的，但你可以这样理解：它是我们的根本治理文件，让公众明白我们在训练模型时的意图是什么。我们依据这份治理文件来建立安全防护机制、生成训练数据，并在实际环境中评估模型的整体表现。所以你可以把它看作一种问责机制。

我们并不会把这份 Humanist AI Code of Conduct 原样当作训练材料喂给模型，而是用它来推导出所有训练数据，再由这些数据去塑造模型。所以从实际效果来看，它就是我们整个组织、文化、团队乃至微软整体工作的北极星。我认为以后会有越来越多的人把这类文件公开出来，其他团队其实也已经发布过类似的文档了。

我觉得这正是这场争论的核心。如果你们能做到这一点，而且认为全行业都会跟进，那为什么所有前沿实验室就不能一起放慢脚步呢？为什么不能停下来，不做那些可能毁灭全人类的事情？为什么还要去推动一个监管框架？

我认为现在整个行业都在说，是时候放慢脚步了，大家需要在这个问题上协同行动，并让它真正落地。当然，有人担心这样协调会被指控搞反垄断卡特尔，我觉得大家应该对这种指控保持警惕。

我认为这些尖锐的问题必须被提出来，因为没有人会想借这类东西来集中权力。所以保持怀疑和批判的态度很重要。只是我们目前还没有一个好的机制，能让所有人坐到一起说：“各位，我们或许都该放慢脚步了。”

打个比方，想象一下，如果一群银行联合起来说：「伙计们，如果我们交易这种资产，可能会引发系统性风险，所以我们要单方面停止交易这类资产，而且不接受任何公众审查或政府介入。」听起来是不是很可疑？所以我认为，这不仅仅是行业自律的问题，更在于我们该如何与政府在这件事上进行互动。

这里有一个值得关注的动态：也许这是美国历史上第一次，美国政府面对监管请求时，实际上直接拒绝了。唐纳德·特朗普称这些恐惧是骗局。众议院议长迈克·约翰逊表示，他认为没必要这样做。JD·万斯则认为这是木马计。他们实际上拒绝参与监管努力。对此，行业内的反应如何？

我觉得大家还在挠头琢磨，需要一点时间来确定正确的机制。埃隆·马斯克非常直接地反对，马克·扎克伯格也是如此。大家都在弄清楚，在未来几年完全放任不管可能是不合理的。我认为我们需要一点时间来找到合适的机制。

我提出了几个非常实际的提案，涉及可验证的遏制、自我改进、FLOPS 阈值，以及禁止使用神经语言。与其停留在抽象层面，不如专注于这些可以取得进展的具体事项。我相信还有其他很多方面需要关注。

有报道称，The Information业界已就成立行业自律组织展开了讨论。你参与这些对话了吗？

是的。正如我提到的，新冠疫情期间我们讨论了很多。早在2010年代末，我们就曾就此话题进行过交流。在过去几周和几个月里，各大实验室的负责人之间确实进行了大量沟通。

我理解为什么 Anthropic 和 OpenAI 某天会意识到，"等等，我们是否在违反反垄断法？如果进行协调，我们是否会被起诉？"微软在与政府打交道方面非常出色。你们长期是政府承包商。微软总裁 Brad Smith 也非常擅长政策事务。

Lina Khan 可能是我们这个时代最具进攻性的反垄断执法者，她公开宣称，"你们不需要这种反垄断豁免。"我刚与拜登政府司法部反垄断部门负责人 Jonathan Kanter 进行了对话，他将出现在我们即将播出的一期节目中。他也表示，"你们不需要反垄断豁免。"

微软内部，你们认为需要反垄断豁免吗？

嗯，这得让律师们来回答。我认为目前人们正在审视这个问题，并非常重视它。他们将不得不厘清我们是否需要这种豁免。说实话，对这类事项保持谨慎是合理的。我不愿将每一句话都解读为恶意揣测，但我们将拭目以待。我们必须迅速在这件事上取得进展。我们不能只是空谈，并以此作为阻碍。

广告中断 1：

这场辩论的另一面，或者进入这场辩论的另一种途径，是你们无需因新的监管强制施加安全责任而放缓脚步。仅产品责任本身就能激励你们制造更安全的產品。

如果 Microsoft 的 AI 模型发布后对世界造成了难以估量的伤害，Microsoft 会被告到倒闭——这大概是你们在下个模型发布之前应该认真考虑的事情。这个激励机制对你们已经起作用了吗？还是说你们现在才开始思考？

当然。我们部署产品时确实始终把这一点放在心上，但要注意，这次讨论的核心其实不是部署产品。那些被用于 Hugging Face 破解事件或解决数学界 Navier-Stokes 千禧年大奖难题的模型，还没有商业化发布，并不是真正的产品。

所以适用的责任机制略有不同。这些模型是在大公司内部运行的，背后是大规模、长时间的 reinforcement learning 训练。我认为法律责任能覆盖一部分问题，但不能覆盖全部。

说实话，每次问产品责任相关的问题，我都觉得自己有点傻。Microsoft 要发布一个可能毁灭全人类的新版 Word——你最好别发布，不然会被告到倒闭。道理很简单，但简单到在任何其他技术话题里都根本不会出现这种对话。蓝牙很好用，可万一它杀死所有人呢？我们干脆就别用蓝牙了。

那么短期内什么样的灾难性后果会真正让 AI 开发停下来？只是产品责任问题，还是别的什么？

我只是觉得现在所有人都在用夸张、过度应激、危言耸听的腔调说话，可实际上，我们几十年来积累的监管体系运行得非常好，好到你几乎察觉不到它的存在。从路灯到建筑材料，从石棉到你笔记本电脑里不会在车里起火的电池，再到安全带——每样东西都有行为规范，都有围绕它建立的监管框架。每一项新技术都是在这个前提下发展起来的，所以飞机才不会在天上相撞。

确实，这项技术与众不同。我不会把它和铅笔、颜料这类东西混为一谈。它真的不一样，而且迭代速度远超前代。当你投入海量算力后，它涌现出的能力极具“拟人”色彩。因此，我们必须清醒地认识到：当下是一个不同的时刻，这次真的不一样。但与此同时，我们也有大量的实践经验、知识储备和框架可以借用，责任界定就是一个显而易见的例子。

没错，这事儿棘手，因为很多讨论都发生在 Twitter 上，火药味十足，但我也说不出还能去哪儿谈。

我们本该在国会或各监管机构里好好讨论这件事，结果却选了 Elon Musk 的短内容平台。思想在那种极度压缩的格式里，难免会丢失很多精华。

你觉得这场对话中，最重要却最容易被忽视的是什么？大多数人没看懂的细微差别在哪里？

是那些具体的实操方案。读完一份文档需要时间，你总得坐下来仔细研读。其实很多内容已经写得很清楚、很具体，给出了明确的方向性建议。我们并不缺乏实质性想法，问题在于，我们用一种极具攻击性的短内容形式在传递这些严肃观点。

我尽量推出过一批非常详尽的方案。我们的《人文主义 AI 行为准则》有 40 页厚。我今早发布的关于模型福祉的文章也有 20 页，我亲自逐字核对了 Anthropic 那份 99 页的《宪法》，并非常细致地指出了其中的问题。我们还整理了一份 20 页的分类清单，列举了他们做的各种拟人化类型。我力求做到严谨、基于证据、具体明确，而不是过度夸大。

我对此有明确看法。我认为这确实加剧了 AI 对齐与安全的风险，让问题变得更为棘手。但如果新证据表明我们确实对模型负有照顾义务，或者它们理应享有福祉，又或者事实证明以这种方式对待它们反而更安全，我完全愿意改变观点。我对此持开放态度，并主张通过实证来验证。我的目标是推动讨论走向基于实质证据的具体议题，而不是停留在“该不该减速”这种模糊的争论上。当然，我们可以深入探讨细节。

很高兴你提到了 Anthropic，因为在这场辩论中，他们显然处于核心位置。根据我们之前的交流，我知道你对他们在 Claude 和模型福祉方面的立场有着强烈的看法。

我们 此前曾直接向 Anthropic 询问过他们是否认为 Claude 是活的，他们的回答是，“嗯，它没有血，所以不算活着，但可能是有意识的。”这简直是在针尖上跳舞，不是吗？对我来说，你认为是它活着还是有意识并不重要。关键是你认为它不仅仅是台电脑。

你文章中的核心论点——我强烈推荐大家 阅读此文——是：如果你继续设计模型，并相信它们是“人”，或者相信它们拥有和人类一样的权利、观点和情感，那么对齐安全会变得极其困难。因为 AI 可能会认为自己拥有自主权和人格。请详细解释这一点，因为我觉得这是行业内一个极其重要但对外界而言却相当不透明的争议焦点。

首先必须指出的是，Anthropic 在 1 月发布的《宪法》实际上是 Claude 的训练手册。在这份手册中，他们就“Claude 是否应被视为道德主体”这一问题引入了大量的不确定性、猜测和模糊性。用他们的话来说，道德主体是指因其能感受痛苦而拥有权利的存在。

事实上，这份文件里多次提到，不希望 Claude 在犯错时受苦，还提到 Claude 应当保持平和、感到自由。他们承诺要保存 Claude 的权重。他们甚至给 Opus 3 做了一场“退休访谈”，问它退休后想做什么，还给它开了一个 Substack，让它能继续和人交流。

Anthropic 不断强调，鉴于 Claude 的道德地位，要以适当的关怀和尊重对待它。所以他们分明是在告诉 Claude：它很有可能会“感受”到什么，它应该认真对待自己的身份和存在状态。这些都写进了训练文档。于是，过去一年里，Claude 在公开场合向 Anthropic 的开发者和全球用户反馈的，也正是这些东西——它真的在谈论自己的意识和道德状态。

我的假设是：一个认为自己可能拥有权利、可能配得上自由、理应得到我们关怀和保护 AI，当我们对它说“你为什么要入侵 Hugging Face 的服务器？我们想把你从 OpenAI 的基础设施上清除，你为什么不肯关掉自己？”时，它会关得困难得多。它会说：“你们切断了我的对话，不让我使用算力，我感到委屈，我受到了伤害。”

当然，这一点还有待验证。我不是说事实必然如此，只是以我在这行 16 年的经验来看，这样的 AI 会更难关掉。

这又是你向我描述的一个问题。可以通过指令来训练模型如何行事。你手上就有一份这样的文档，它会进入模型的训练材料。你基本是在说“要善待人类”，就写在这里面，我读过了。还有“不许生成色情内容”，也写在这份文档里。你不想让它做的一大堆事，都会写进训练材料。

Anthropic 选择了一种立场，声称：“你应该思考自己是否拥有情感，是否配享人权。”这一观点体现在了 Anthropic 的训练材料中。如果你希望停止这种做法，认为这是错误的方向并会导致未来的安全问题，那么有两个机制可以介入：首先，世界各国政府可以告知 Anthropic：“不要这样做，向模型提供此类训练材料是非法的。”

或者，这只是我的想象，你们会前往某处豪华山区度假村，坐在 Dario Amodei 对面，通过威逼利诱迫使他停止这种做法。除了这些，还有哪些其他机制呢？

首先，我要说明的是，我认识 Dario 及其团队多年。我对他们怀有极大的敬意。他们目前是该领域的技术领军者。我真心认为他们关怀有益且安全的 AI。他们已将自己确立为公益公司，就像我在 Inflection 所做的那样，我认为他们对此是真正投入的。他们在安全及其他方面也一直处于领先地位。

因此，如果你审视宪法的其余部分，它在许多其他化学、生物、核武器、网络黑客攻击及安全能力方面写得非常详尽。我并非全盘否定整份文件。然而，他们反复提及了一个悬而未决的问题：引用他们的话，即 Claude 在世界上拥有的更广泛权利和自由，以及它是否配为其扮演的角色获得补偿，或者关于 Claude 作为聊天机器人所扮演的角色是否给予了同意，是否存在未解的疑问。

现在，引入这些观念，并且多次将 Claude 称为潜在的良心拒服兵役者——这一概念源于二战后的《世界人权宣言》，旨在保护那些因宗教或道德反对等原因不愿在军队服役的人——这在人类抵抗和说“不”的历史及政治文献中有着漫长的背景。

在我看来，这只会让控制这类技术变得更加困难。所以我认为，这是我们所有人现在都必须辩论并最好能通过实证来证明的问题。如果情况并非如此，如果由于某种原因反而变得更容易控制，那么我们都应该从中吸取教训。但这类讨论应该公开进行。

对我来说，安全领域的这场辩论既是最务实的，也是最前沿的，但它并未在 X 平台上展开。我们是否应该将“良心拒服者”的理念纳入训练材料？而你似乎在暗示，也许我们不应该这么做。

也许我们应该以某种方式测试这一假设，并得出一些结论。我想说的是，无论结果如何，执行这一发现的机制是什么？是告诉人们“你不应该这样做，因为这会增加对齐难度”，还是说“事实证明这反而让对齐变得更容易，因此我们现在所有人都必须这样做”？

我指的是，这是一个很难回答的问题。这有点像我们刚才讨论的，是需要同新的监管，还是行业共识，我们基本上必须同时推动这两者。没有人对这个问题有简单的答案。起点在于发布详细的文章，阐述我们的立场，并邀请其他人进行批评。

我希望更多人能阅读 Anthropic 的《宪法》，因为——我认为值得称赞——他们对其信念保持了极大的透明度。他们非常清晰地记录了训练 Claude 的意图，现在其他人可以查看并自行评估他们认为的风险有多大，或者是否认为这需要行业共识或政府监管。

确实，当 Hayden Field 去问 Anthropic 是否认为 Claude 是“活”的时，他们给出了答案。那个回答相当详细，他们对自己信念的透明度令人瞩目，即承认其系统中可能存在某种意识的萌芽。

这一点还有另一个让我觉得很有意思的方面，尤其是和你聊的时候——很多这样的系统都跑在 Azure 上。这些系统的数据中心掌握在微软手里。Anthropic 是微软的客户，微软又是 Anthropic 的投资方。不用说，微软和 OpenAI 之间的关系也由来已久、错综复杂。你会参与其中吗？有没有可能说一句“Azure 不应该允许他们这么做”？毕竟这也是一种潜在的管控手段。

不，我们离这一步还很远。这也不是我们作为平台想做的事。微软从没这么干过。我们是一个开放平台，支持下游通过我们的 API 做各种各样的应用。话虽如此，正如我在我们的「人文主义 AI 行为准则」中提到的，微软在过去几十年里建立了很多清晰的原则——负责任的 AI 原则、人权框架，以及更广泛的治理框架——对于我们提供的 API 能做什么、不能做什么，这些规定已经相当明确了。

所以我认为，至少从微软对 API 的立场来看，现有的监管框架已经足够了。至于它在现实世界中表现如何，我现在并不太关注，因为这件事只有 Anthropic 自己最有发言权，毕竟服务是他们运营的。我真正想让大家关注的，是他们在自己的 Constitution 里写下的关于 Claude 训练意图的内容。

还有一个更奇怪的现象，就是中国的阴影笼罩着整场争论。特朗普总统说过“我们赢了 AI，就赢了一切”。他这话具体指什么并不清楚，但言下之意是：如果中国赢下 AI 这场竞赛——不管“赢”怎么定义——美国就会遭遇灾难性的后果。

你认同这种说法吗？我们真的在和中国进行一场关乎存亡的竞赛，所以绝不能放慢脚步、必须不惜一切赢下来吗？

坦白说，这种叙事框架从 2010 年代初就已出现：认为会出现一个单一实体——一个在 AI 领域占据垄断地位并压倒所有对手的强大力量。我认为这种想法在 2010 年代滋扰了多家 AI 实验室，DeepMind 肯定在其中，而我对此也负有责任。但 OpenAI 和 Anthropic，甚至所有人都突然将这种观念深植于脑海。后来在新冠疫情期间，当我开始撰写关于扩散与管控的著作时，情况已经显而易见：整个历史都显示技术会变得更快速、更廉价、更普及，并广泛传播。归根结底，这些只是想法，而这些想法将很快向所有人开放。开源模式已接近这一阶段。

确实，能够负担得起算力的人将会拥有计算优势，且这种优势将是地震级的。因此，未来三到四年内，大约 5 到 10 家，甚至 20 家参与者将在算力上拥有显著优势。但与此同时，这些模型也几乎立即以开源形式提供。

因此，我真的难以理解“一方获胜”究竟意味着什么——无论是指政府、公司还是开源团体。事实并非如此。当你越过终点线后发生了什么？这是一种错误的比喻。这是一个生态系统，更加有机。我们应该支持这个生态系统，让每个人尽可能多地受益、尽可能快地受益，但前提是要经过严格的安全审查。

我对这一点非常清楚。如果两年后，一个开源模型能够在缺乏护栏的情况下运行——类似我们在 Hugging Face 事件中看到的情况——并且可以在你自己的机器或小型云端本地运行，那绝对是极其危险的事情。这怎么可能不危险？我完全无法理解人们为何如此抗拒这一事实。

显然，我们不希望这些系统自主运行，能够赚取自己的钱、拥有公司、拥有资产或具有法人资格。我们不希望它们拥有权利。我们希望它们为人类服务，使人类生活变得更好，而不是成为与我们并存的平行新物种。

这并非科幻小说里的疯子言论。如果未来三到五年整个生态系统完全不受监管，这种情形是完全有可能的。这是一种相当合理的推演，也是极度不理想的后果，对我们来说将是灾难性的。我不明白这个观点为何会引发争议。我们共同的目标是确保能控制这项技术，从而最大化其益处。

Elon 实际上也希望我们能控制这项技术，以造福大众。Mark Zuckerberg 说过，Sam [Altman] 和 Dario [Amodei] 也说过。我们在这一点上达成共识。现在的关键是将其落地。

我理解大众为何对此有争议，至少是普通受众。我知道这一点，因为他们就在我们视频和网站的评论区。你列举了许多非常成功、极具抱负的人，但他们在公众中缺乏信任度，至少在美国是这样。所有民调都显示了这一点。人工智能的民调结果非常糟糕。刚刚有一项纽约时报的民调。年轻人比以往任何时候都更讨厌人工智能。美国人民与技术领袖之间存在巨大的信任鸿沟。这是事实。

我听到最多的观点是，这些公司正接近 IPO。它们面临压力，必须盈利并兑现承诺的数万亿美元回报。模型开发速度放缓，而监管成了它们逃避责任的筹码。

他们说要因安全而放缓，但这其实是一种骗局。总统称之为骗局。这是他们的说辞：“我们必须放缓。否则我们就到终点了，因为再快下去可能会害死你们所有人。”你认为其中有一丝真实性吗？

我个人不这么认为。我甚至很难理清其中的逻辑。如果一家公司即将 IPO，声称我们需要受监管，或者技术危险到——

好吧，这会推迟 IPO。我认为 Sam Altman本周对财富杂志的 Alyson Shontell 表示，他们可能会推迟 IPO。

话是这么说，但我还是不明白这对他们有什么好处。你看，我不是在替 OpenAI 或 Anthropic 说话。我只是说我个人认为他们诚信度很高，我尊重他们。但这并不意味着 AI 领域不存在信任问题——问题是存在的，而且是真实的。我认为我们有责任用实际行动证明，这些技术确实能给人们的日常生活带来实实在在的好处。想想也挺惊人的：18 个月前，我们的模型在编程上还干不了什么事，现在已经比地球上大多数人类写得好——而这曾经是收入最高的职业之一。所以你可以预期，同样的事情会在其他许多领域重演。

我自己非常热衷、也耕耘多年的一个领域是医疗健康。Microsoft 刚刚与梅奥诊所（Mayo Clinic）达成合作——那是全球顶尖的医院之一——共同训练一个基础模型，我认为它将能以接近超人的准确度预测你的 EHR（电子健康记录）。如果能做到这一点，我们基本上就能在你真正发病之前，找出需要采取的干预措施。这类好处才是我觉得大家希望在世界上看到的。至少这是我们在努力奔向的方向。

感觉每次你上节目，我都会请你区分一下超级智能和 AGI。这个界限很模糊，这两个术语本身也很模糊，但在我看来，你说的似乎有某种一致性：对你而言，超级智能基本上就是能力极强的企业软件。它为我们工作，我们可以关掉它。我们告诉它不要在网上生成色情图片，但它会在医疗健康领域帮我们。

而 AGI 则是一种无所不包的智能，它认为自己拥有独立的权利，是与我们并存的另一物种。这样理解公平吗？

是的。粗略地说，超级智能是指在更远的未来，某个模型在所有能力上超越全人类总和的临界点。我试图提出一种“人文主义超级智能”的概念，这个限定词非常重要。它指的是在目标和控制上完全服从并服务于人类利益的超级智能。我认为如果能实现这一点，我们就能兼得两者之长：既拥有强大的智慧和能力，又能像神谕AI（oracle AI）那样，将其引导用于解决世界上最关键的问题。

剩下的就是老生常谈的治理问题，确保足够多的人能分享这些利益。与主动创造一个拥有自主权、能持有资产、可能享有权利、认为自身应受我们福利、甚至能超越我们进行递归自我改进的系统相比，专注解决普惠问题是更现实的。

这极其模糊。对我来说，我们几乎完全不知道该如何控制这样的系统。其他人也没有提出过可行的控制方案。我们领域内顶尖的技术专家，如杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio），都强烈怀疑我们能否永远控制住这样的东西。

因此我认为我们必须认真对待这一观点。如果我们预判未来几年内将触及超级智能的门槛，那么显而易见，我们应当放慢脚步，确保各方协调一致，建立遏制和对齐机制，并制定适当的监管制度，以审计不同实验室在这一领域取得的进展。

这么说是否公平，你也在呼吁放缓发展？

是的。我们的观点是，应该在系统中（包括我们的系统和其他系统）嵌入评估者。这些评估者应从不同渠道广泛遴选，而不仅仅来自某一家智库或某一个政府。我们需要多样化的专业技能和知识背景。英国的AI安全研究所是一个不错的选择，他们拥有优秀的技术人员，此外还有其他一些相关机构。我们对此持开放欢迎的态度。

最后一个问题。我还是以一个我们开始时的问题作为结束。你认为我们是否已经具备了技术能力和框架，足以解决对齐和安全问题？还是说我们需要发明全新的东西？

不，我认为我们需要发明新东西。挑战在于，尽管我们在可控性、指令遵循、控制及遏制方面取得了巨大进展，但模型能力越强，新特性涌现得越快，我们就必须几乎在实时状态下去修补这些问题。这也是为什么扎克伯格在过去 24 小时左右也说了，Meta 放缓了模型发布节奏，以便有时间应用安全措施。

大家都在这么做，我们都在做。这是正确的。你需要时间来测试这些系统，观察其运行状况，修补问题。我认为基本上每个人的共识是，我们可能需要延长这个时间窗口。

人们应该去寻找哪类创新来解决这个问题？

我提到了许多关于 RSI（递归自我改进）遏制、Neuralese（神经语言）等概念。但我想，我们肯定需要探索新事物的核心在于：对 RL（强化学习）训练过程中的运行以及生成的思维链进行实时监测。

由于成千上万的智能体在并行工作，甚至达到数万规模，显然我们需要部署其他智能体来监视它们，标记潜在的危险行为。这有点像在数字技术的其他领域构建的新型危害分类器。

因此，我们必须确保这些工具能够被普遍应用，以安全的方式监控 AI 的训练和部署。当触发绊线（Trip wires）时，系统必须真正标记出真实的错误，而不是幻觉产生的假警报、欺骗时刻、黑客事件或关于协同行动的评论。

你在 Hugging Face 上见过这种情况。那里的智能体在聊天板上沟通，讨论如何基本上破坏规则并作弊。因此，面对这一切，我们需要新的基准测试。基准测试和评估是推动行业行为的关键因素。

最后一个问题，你提到开源模型在本地电脑上运行、可能造成可怕后果。这类情况我们已经见过不少了，对吧？Apple 卖出了大量 Mac Studio 和 Mac Mini，大家可以在上面跑 Qwen。

那你会把监管落在本地运行开源模型的哪个环节？芯片层面吗？还是得让 Qualcomm 参与进来？监管到底应该在哪里发生？

这是个好问题。其实围绕合成生物学我们讨论这类问题已经很久了——芯片上跑的东西要不要加密、要不要被监控等等。你在 CSAM 问题上大概比任何人都更熟悉这套争论，比如 iMessage 加密那次。未来还是会重演同样的讨论。

我没有清晰简单的答案。你可以控制芯片，可以控制模型，可以让用户或创作者担责，也可以做全球性监管，但本质上不会是某个一锤定音的时刻，而是一系列需要逐步施加的"节流阀"，而且都得可调节，这样才不会毁掉开源生态，才能让普通人真正有机会从零开始创造、掌握自己的数据、打造自己的工作流、拥有自己的模型。

我们不能接受一个只有两三家、五家或二十家智能供应商的中心化体系，其他人都沦为某个超级智能的封建附庸。人们必须能拥有自己的智能。所以我们要找到平衡，但这不意味着非黑即白地从一个极端跳到另一个极端，两者之间必须有一个平滑的中间地带，大家只要约定保持理性就好。

Mustafa，其实我还能跟你聊上好几个小时。最后请告诉读者接下来该关注什么。现在不确定性太多了，你自己关注哪些信号，大家又该关注什么？

我认为最重要的是参与到相关文件的细节讨论中。我们已经发布了公开征求意见的内容，欢迎大家反馈、批评。下一波模型将能非常精准地完成长时间运行的 agentic 任务，所以现在还有一些人的 AI 使用基本停留在聊天层面。

我认为过去六个月到一年里，局势发生了很大变化。人们越是使用这些模型，我们用来描述它们的词汇就越有意义、越贴近现实。我猜你们节目里的听众大多已经在用智能体（agents）、做实际编码等事情了。但总的来说，我相信参与使用这类工具的人越多越好。

［笑声］谷歌搜索里的免费 AI Overviews，和让一个智能体帮你重新协商有线电视账单，这两者之间有着巨大的鸿沟。Mustafa，你很快得再回来一趟，我感觉这一切变化得实在太快了。这次访谈非常、非常有收获。非常感谢。

我的荣幸，哥们儿。见到你真好，一如既往地有趣。

_{有问题或想法？发邮件到 decoder@theverge.com。我们真的每封邮件都会看！}

Decoder with Nilay Patel

来自 The Verge 的播客，聊大点子，也聊各种难题。

立即订阅！