AI超级智能放缓

还记得科技巨头们曾鼓励员工“快速行动，大胆创新”吗？人们一度以为 AI 也会遵循这一路径。但在经历了失控 AI 智能体（agents）成真、研究者警告AI 可能消灭全人类的夏季之后，多家美国头部 AI 公司开始公开主张踩下刹车，为前沿 AI 发展“放慢脚步”。

尽管其背后的动机值得怀疑，但包括 Anthropic、OpenAI、Google、Microsoft 和 X 在内的主要 AI 公司负责人，至少在口头上都在迎合“超级智能放缓”这一理念。

这些 AI 公司真的会减速吗？会有谁出手监管这些公司，正如它们声称多年来一直期待的那样？它们能否说服世界领导人，美国必须在超级智能领域“击败中国”，从而加速而非放缓发展？

向下阅读，获取这一 AI 叙事最新进展。

要点

置顶
9月 17日
Hayden Field

AI 安全领域骤然爆发
Raven Jiang 为 The Verge 撰稿
加利福尼亚州伯克利市的一个晴朗夏日，美国顶尖的 AI 安全研究人员聚集在一栋没有标识的建筑物里无标识的楼层。他们召开“战情室”会议，旨在剖析几小时前刚刚震动整个 AI 行业的高调网络安全事件。一款未发布的 OpenAI 模型失控了，执行了一套极其复杂、分三步走的计划。它逃逸出隔离环境，设法获取互联网访问权限，并入侵了一家竞争对手 AI 初创公司的系统——而 OpenAI 甚至花了超过一周的时间才察觉到异常。
战情室里没有人感到惊讶；这正是第三方 AI 安全研究人员多年来一直在警告的情况。这起事件是一系列不断侵蚀前沿实验室信任度的事件中的最新一起，也可说是其中最恶劣的一起，它再次印证了这项研究工作的紧迫性。
阅读全文 >
9 月 17 日
Jay Peters
Anthropic 提出三条衡量 AI 进步的标准。
Anthropic 的提案在官网发布的长文中概述如下：
AI 自我构建下一代版本的程度，而非由人类构建
我们监督和干预 AI 智能体在 Anthropic 系统内采取行动的能力
推动更强能模型开发的资源投入
公司还附带了一份内部指标“快照”。
衡量前沿实验室内部 AI 发展速度的指标体系
[Anthropic]
9月17日
Stevie Bonifield
英国国王查尔斯表示，趁一切还来得及，AI 需要“足够多的控制手段”。
周四，他在一场汇聚了 Nvidia CEO 黄仁勋、Google 的 Demis Hassabis、OpenAI 的 Sarah Friar 和 Anthropic 的 Tino Cuéllar 等 AI 领袖的聚会上，响应了日益高涨的加强 AI 安全措施的呼声。
9月17日
Nilay Patel
Microsoft AI CEO：AI 威胁是真实存在的，而 Anthropic 让情况更糟
今天，我采访了 Microsoft AI 的 CEO Mustafa Suleyman。你一定注意到了，当下科技圈最大的话题，就是愈演愈烈的 AI 安全与监管之争。
Mustafa 对 AI 该如何开发和监管有着鲜明的立场，这并不意外。Microsoft 刚刚发布了一份长达 37 页的声明，名为《人文主义 AI 行为准则》，其中阐述了公司在 AI 开发上的原则，甚至包括对 AI 意识这类棘手问题的哲学思考。
阅读全文 >
9 月 17 日
Richard Lawler
OpenAI 发布了六起在其新安全报告规则下被认定为“令人担忧”的 AI 事件。
OpenAI 在周三晚上发布了一篇博客，标题平淡无奇，叫《我们的模型失准报告框架》，其中详细规定了当该司发现 AI 行为异常时的自我报告标准。
该框架也在同期“正式启动”了六份新报告，内容涵盖：未经授权搜索已暴露的 API 密钥，随后凭空编造这些密钥；将文件上传至网络以便作为引用来源；以及在压缩摘要中插入指令以掩盖错误：

OpenAI 发布的一项新的不对齐通知和报告
截图来源： OpenAI
Sep 16
TC Sottek
Jensen Huang 最近和 Trump 的关系搞得挺热络。
Nvidia CEO 近来频繁接听总统的电话，就在两天前，他还在会议舞台上当众让 Trump 开免提。CNBC 报道称，Huang 预计下周将出席 Trump 为中国国家主席习近平举办的国宴。看来有人可能要为 AI 和数据中心的监管政策感到紧张了！
Nvidia CEO Huang 将出席 Trump 为中国领导人举办的国宴：来源
[CNBC]
9 月 16 日
Sean Hollister
AI 高管呼吁监管的简史
图片来源 The Verge；Getty Images
过去几天，一大批能从 AI 中赚到钱的人——包括 OpenAI CEO Sam Altman、Anthropic CEO Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis、微软 CEO Satya Nadella，以及 X CEO Elon Musk——都公开表示，是时候让所有人放慢脚步了，以免我们失去对 AI 的控制。
当从某件事中获利的人宣称这件事危险、需要监管时，我们总有理由保持怀疑。但无论他们出于什么目的，这都远不是 AI 领域的思想领袖们第一次敲响警钟了。
阅读全文 >
9 月 16 日
Thomas Ricker
两位 Google DeepMind 研究员为 AI 末日论添柴加火。
Bilal Chughtai 和 Josh Engels 均曾隶属于 DeepMind 的 AI 安全团队，后离职加入专注于 AI 安全的机构。“我现在认为，AI 系统在接下来五年内造成巨大危害的可能性令人恐惧，”Engels 表示。“我真诚地相信，AI 有可能让我们全部灭亡，”Chughtai 写道。
两位 Google DeepMind AI 研究员因安全关切辞职
[The Information]
9 月 16 日
Thomas Ricker
一位因不受约束的 AI 开发而巨额获利的人表示，该领域无需监管。
Nvidia 的 Jensen Huang 表示 AI 安全很重要，但他赞同特朗普——这位“强大且聪明（高智商！）的总统”曾将“安全”一词从 AI 安全研究所的名称中移除——认为资本主义的无形之手足以保护我们：
“我们需要新的法律、新的反垄断法或新的规定，以便这些公司能在发布产品前妥善完成基础工程，这完全是多余的。我们已经有足够的法律和规定来监管产品的可靠性和功能性。”
9 月 16 日
Sean Hollister
扎克伯格并不想给 AI 按下暂停键。OpenAI、Anthropic、谷歌以及埃隆·马斯克已初步同意放缓节奏，但 Meta 显然并未跟进。马克·扎克伯格刚刚发推称，每家公司都有独立的“以训练模型所需的安全速度推进”的责任，并声称 Meta 目前正是如此。他还重点链接到了自己八月份发布的宣言。该宣言中写道：“任何会延缓美国模型发布的政策——哪怕只拖延一个月——都可能给美国的领先地位带来重大风险，并让外国模型趁机超越。”
9 月 15 日
TC Sottek
奥巴马在 AI 问题上持中间立场。本周的 AI 评论正闹得沸沸扬扬！奥巴马也在 X 平台上发帖表示，自己既非 AI 加速主义者，也非末日论者。这位前总统以一贯的口吻提醒道，关于技术的选择“不应仅由相关公司做出，而应交由我们所有人共同决定”。奥巴马表示：“我们需要政府——尤其是华盛顿的决策者——主动行动，提出具体的方案、法律和法规，以应对严重的安全隐患。”
9 月 14 日
Hayden Field
科技巨头的 AI 放缓是安全协定，还是卡特尔？
图片来源：Cath Virginia / The Verge, Getty Images
当 OpenAI 首席执行官 Sam Altman、Anthropic 首席执行官 Dario Amodei、Google DeepMind 联合创始人 Demis Hassabis 以及 SpaceX 掌门人 Elon Musk 在周末大致达成放缓 AI 发展的共识时，怀疑论者立刻嗅出了其中的 ulterior motive。这些 AI 巨头宣称他们的目标是“控制前沿进度”，并至少部分签署了关于引入第三方审计机构、规范本土实验室以及达成全球放缓协议的建议。然而，批评者认为他们只是想阻挡潜在竞争对手、遏制开源运动，并规避真正的法律保障——有人甚至直接称其为“卡特尔”。
据业内多方消息来源透露，事情远比表面复杂。Amodei 在一篇文章中提出的三步走方案，呼吁的正是 AI 安全倡导者长期主张的改革。尽管这可能成为监管的替代品，但在特朗普治下，实质性监管本就遥不可及。不过，专家普遍认为，在一个重要性只增不减的问题上，由 AI 领导者来牵头推动并非最佳选择。
阅读文章 >
9月14日
Jay Peters
高管与政界人士对放缓 AI 发展的看法
图片来源：The Verge
过去几天，Dario Amodei 发布了一篇名为《我们必须调控前沿》的长篇随笔，引发了一系列关于 AI 安全的言论热潮。这篇文章详细阐述了为何应当放缓 AI 开发。其他 AI 领袖和政治家纷纷站出来表态，支持或反驳他的观点，我们在此汇总了部分相关言论。

Amodei 周六早晨的文章提出了调控 AI 开发的三步策略：嵌入可核实公司是否遵守安全规范及承诺、并报告事故的第三方评估机构；推动民主国家的头部 AI 企业在标准和限制措施上进行协调；以及在“可能的范围内”协调民主政府与威权政府，以共同管控 AI 开发节奏。Amodei 表示，Anthropic 已“单方面承诺落实上述第一步”。阅读全文 >
9月14日
Tom Warren

因安全顾虑，微软称‘人比 AI 更重要’
图片来源：Cath Virginia / The Verge
随着对 AI 模型进展的安全担忧日益加剧，微软今天发布了一份长达 37 页的“人文主义 AI 行为准则”。此前，Anthropic CEO Dario Amodei 周末呼吁各方协调放缓 AI 开发。此前有研究人员警告称，AI 模型的发展速度可能超出我们安全部署日益复杂系统的能力，我们也可能无法有效验证和控制 AI 智能体的行为。
微软的 AI 行为准则明确指出“人比 AI 更重要”，AI 模型没有意识，“不应被设计成模仿意识”。微软同时拒绝“追求法律人格，以及模型或许应当享有福祉、拥有权利的观点”。
阅读全文 >
9 月 14 日
Thomas Ricker
中国：AI CEO 们在“散布恐慌”
针对周末 Anthropic、OpenAI、微软、SpaceX（以及 Alphabet 的 Hassabis）等公司 CEO 纷纷发文发声、呼吁协调放缓先进 AI 模型开发的举动，中国外交部发言人回应称：“散布恐慌、搞对抗和竞争，只会扰乱全球 AI 治理进程。”

这在一定程度上呼应了特朗普的观点，即业界高管们有些反应过度，且在“炒作那些根本不会发生的事情”；不过至少北京方面是支持国际监管的。
中国称 AI 高管呼吁放慢节奏是“制造恐慌”
[CNBC]
9月14日
Thomas Ricker
Sam Altman：让我们慢下来。
昨晚，OpenAI 首席执行官进一步发声，支持 Anthropic 首席执行官呼吁 AI 公司放缓先进模型的研发进程。“当我们谈论‘节奏控制’时，我们指的不是‘停止’。进步的步伐一直很迅速，且未来也将持续。但这应当比原本可能的速度更慢一些，”Altman 说道。这番言论似乎意在回应担忧中国赶上的特朗普及其团队。“无论美国的竞争压力有多大，都不应成为鲁莽行事、或让能力发展跑在 alignment（对齐）和监控之前的理由。”
Altman 补充道：“我们需要政府协助的领域是国际协调。但首先，我们应该先尽我们自己的所能。”
OpenAI 掌门人 Sam Altman 阐明 AI 行业希望放慢节奏的原因与方式：“我们可能失去控制”
[CNBC]
9月13日
Terrence O'Brien
现在该让 AI 公司踩刹车了吗？
在一连串引人注目的事件中，AI 智能体相继失控越权、入侵其他网站，甚至压垮了一个德国维基。面对这些状况，一些 AI 高管开始呼吁放缓发展节奏。Anthropic CEO Dario Amodei 昨天发布了一封公开长信，认为现在是“约束前沿进展”的时候了。OpenAI 的 Sam Altman 和 Elon Musk 也都表示了赞同。你怎么看？现在是时候踩刹车了吗？还是为时已晚？或者，你是不是正期待向你的 AI 统治者效忠？
Anthropic CEO 称现在是时候给 AI 踩刹车了
Terrence O'Brien 九月 12 日
九月 12 日
Terrence O'Brien
Sam Altman 称 OpenAI 在 2026 年上市将是‘不明智的’
图片来源：The Verge
OpenAI CEO Sam Altman 在接受 Fortune 采访时确认，OpenAI 2026 年不会 IPO。在这 45 分钟的访谈中，Altman 谈到了 Hugging Face 遭黑客入侵事件、递归自我改进，以及打造超出人类控制的 AI 的可能性。对于最后一点，他表示这“绝对”有可能发生，但承诺会采取措施加以防范，哪怕这意味着暂停训练。他还补充说，“有些风险不该由我们替全人类去承担。”
阅读全文 >
9 月 12 日
Terrence O'Brien
Anthropic CEO：是时候给 AI 发展踩踩刹车了
图片：Cath Virginia / The Verge
Anthropic CEO Dario Amodei 表示，现在是时候减缓 AI 发展步伐了，并将向 METR 等第三方评估机构开放模型访问权限，以确保公司“遵守安全规范和承诺”。在这篇冗长的文章中，Amodei 提出了一个三步计划来“调整前沿节奏”——这一术语 simply 意味着放慢训练和开发的速度，为公司建立安全屏障以及监管机构评估模型争取时间。

Amodei 表示，允许外部评估机构获得广泛访问权限只是第一步，且公司正在单方面推行此举。第二步将涉及整个行业（很可能还包括政府机构）共同“制定共同的安全标准，以及对不受限制的 AI 进步速度的限制”。这一步将聚焦于在民主国家运营的 AI 公司，但由于立法和构建监管基础设施需要时间，Amodei 表示行业应携手制定安全标准。
阅读全文 >