我为何尚未接受真正的递归自我改进（RSI）
我们正处于一个时代，少数组织正使用数千个并发智能体（agents）来提升流程效率和产出。这些组织恰好是前沿 AI 实验室，尤其是 OpenAI 和 Anthropic。过去几周，我一直在思考：这么多员工在这些组织中迅速更新对 AI 进展速度及相关风险的预期，究竟意味着什么。
我核心的观点是，前沿实验室以及旧金山 AI 圈那种狂热、竞争的文化，共同营造了一个会放大任何 AI 担忧的环境。这固然有好处，比如借助“恐惧营销”提升了大众对 AI 的觉察度，但夸大风险的时间表或严重程度会产生负面的次级效应。我仍记得 2023 和 2024 年那些声势浩大的 AI 安全辩论，以及随之而来的关于开源 AI 可行性的阴云——当时主要担忧的风险并未在预测的时间表内到来。
一年前，这两家关键实验室的大多数员工就已经对 AI 风险和发展速度感到焦虑，而 2026 年初智能体在产品和市场上获得了更好的契合度后，这种焦虑更是加剧。当这种文化背景遇上“数千个智能体在你的业务中持续且高效地工作”这一现实时，焦虑只会进一步升级。从这种焦虑，再到 OpenAI 与 Hugging Face 之间的事件，直至通往灭绝风险的逻辑跳跃，感觉近乎一种宗教信仰。
Richard Ngo 对局势做了一个恰当的总结：
如今，AI 安全社区的很大一部分人，无论明示还是默示，都将重心转向了“几年内发生智能爆炸”的未来预期。我的默认判断（在没有长期暂停的情况下）是类似情况会重演：他们会在方向上正确（相对于该社区之外的几乎任何人的预期），但在事实上是错误的。具体来说，未来 8 年内我们不会有超级智能，但事物发展的速度依然会快得让人觉得，当初主张短时间线的人是对的。
……我想现在就讲几句，因为“奇点将至”这种跟风心态已经发展到相当疯狂的地步了。
就我个人而言，我认为这种观点与我之前提出的“真正的递归自我改进（RSI）”的替代情景——也就是我所说的有损自我改进——高度契合。该观点可以概括为以下几点：
面对扩展定律带来的指数级成本增长，可自动化的研究范围过于狭窄，无法带来研究进度的巨大净加速；
并行增加 AI 智能体所带来的边际收益递减是真实存在的；&
资源瓶颈和政治因素是构建强 LLM（大语言模型）的关键阻碍，而 AI 在加速这一过程中的作用有限。
因此，我需要在上述观点、文化层级的潜在升温以及实验室可能已发现但尚未公开的、真正令人担忧的具体突破之间进行权衡。我预期当前对 AI 安全的担忧更多源于前者——即规模化智能体的运作——但在这个问题上我保持极高的不确定性。基于想象力的基础性 AI 突破，正是那种能让我修正对 RSI 时间线判断的事件：从“一种在指数级成本（扩展定律）下维持进展的工具”，转变为某种更具不可预测性和/或不稳定性的事物。
Interconnects AI 是一份由读者支持发行的出版物。请考虑订阅。
Subscribe关于 RSI，近期最好的资源之一是 Dwarkesh 与 Noam Brown 以及 三人组（包括 John Schulman、Beren Millidge 和 Charlie O’Neill）的播客节目。我从这期节目中获得了几个重要的思考。
首先，与 Noam Brown 的那期播客让我真切意识到：大规模推理算力在短期内会带来多大的加速。这些实验室会把成千上万个 agent 投向重要的、可衡量的问题。与此同时，他们可用的算力也会持续扩张。但我怀疑，随着总算力规模不断上涨，实验室是否还能持续拿出固定比例的算力投入内部研发，尤其是在计划 IPO 的情况下，它们在基本经济账上会受到更多审视。重要的是不要把推理时扩展的巨大进步——这个趋势其实相当可预测——和 RSI 的产出混为一谈，后者具有高度的不确定性。
其次，三人播客上关于技术能力现状的辩论引发了一种我还没完全消化的意外感受。在这期播客前一个小时左右，他们讨论了 RL、蒸馏、scaling、推理时算力等话题，我发现自己对各种观点的分布非常认同。大致结论是：现有技术确实有效，能解决我们知道如何定义的问题，但在大多数部分可验证的领域，它们并不能带来对未知的更难问题的神奇泛化（也就是说，数学上的进展是例外，而不是常态）。
这期播客的意外在结尾，他们预测了 AI 达到各种能力阈值的时间线。我让 GPT-6-Astra 总结了 Dwarkesh 提出的三个问题（形式都是“AI 何时能达到 X 能力”）的回答：
以下时间线均相对于访谈日期。
能胜任广泛白领工作的直接替代型远程员工（按月计）
Charlie O’Neill：约 1 年，前提是可以编程调用办公工具；如果只能通过浏览器操作则约 2 年。指的是普通白领工作，而非高创造性的研究工作。
Beren Millidge：完全通用约需 3 年；更早即可覆盖 80–90% 的任务。主要不确定性在于在线学习和任务的长尾分布。
John Schulman：“还行”的水平约 1 年，能力不均衡但会逐步改善。
AI 研究者获得 10 倍生产力提升
Charlie O’Neill：5–10 年。瓶颈在于吸收信息以及决定下一个实验做什么。
Beren Millidge：认为 John 给出的约两年预测是合理的，但未给出独立的时间表。假设 AI 能够连续运行实验并从反馈中学习；其他瓶颈依然存在。
John Schulman：约两年。
AI 在所有基于计算机的工作（包括多年度项目）中超越顶尖人类专家（“ASI”）
Charlie O’Neill：5–10 年。指出记忆和上下文长度方面的局限性。
Beren Millidge：在实验室重点关注的领域可能需要约 5 年；如果是指字面意义上的所有领域，时间可能会更长。对于通用版本，未给出确切时间表。
John Schulman：3–4 年。空间/物理领域可能需要更长时间；需要解决入职培训和更长视野的学习问题。
讨论 RSI 时反复出现的一个问题是，对“智能”的定义不够明确。由于智能表现是参差不齐的，我们需要针对具体的、可衡量的任务来讨论阈值。LLM 智能的性质与人类**截然不同**，而我们预测的角色形态又是基于人类设定的。因此，AI 不会像“远程工作者”或“AI 研究人员”那样离散地跨过这些阈值。这是一种缓慢的渗透，且长尾效应永远存在。
以 AI 研究者的生产力为例。许多人低估了科学中同行沟通和标准制定所占的比重。我确实认为，在不久的将来，实验设计和测试的周期可能会加速 10 倍，但假设生成和直觉建立不会。加速理解力将是关键瓶颈——尽管所有 AI 工具都在大幅改进，但人类在这一能力上的提升仍然只是边际性的。科学性质的重大改进将在于让人类能在此投入更多时间，而不是让他们本身变得指数级更强。
这与 Noam 的那期播客遥相呼应。在可预见的未来，Agent 集群将能够有效解决那些答案清晰可验证的开放性问题。沿着这一思路，在改进 AI 模型方面，RSI 更多是提升效率，而非拓展智能上限。原因在于 LLM 推理服务拥有明确且可度量的改进指标。这将推动推理时的扩展能力更强、多智能体系统更高效。
不过，我无法忽视一个事实：目前所有的 scaling laws 都显示，要实现智能的线性提升，需要指数级的算力和资源增长。RSI 势必让现代 LLM 的成本大幅降低。数据显示，在同等智能水平下，LLM 的成本正呈指数级下降，这一趋势可能会加速。对于各大实验室而言，一个关键因素是利润率的提升。如果在固定智能水平上价格战激烈，营收可能会面临下行压力，但 杰文斯悖论（Jevons paradox）很可能会占主导，从而造就强劲的商业表现。
RSI 在优化 LLM 拼图中的某些部分（如管理复杂的后训练配方）时会面临更大挑战。John Schulman 有几段关于当前实验室后训练现状的评论，我深表认同：
当我思考后训练团队为什么需要这么多人时，原因是你必须搞清楚模型在很多不同领域该如何表现。由于总得有人去思考模型在特定领域的行为，所以将整个流程自动化是非常困难的。
他还补充道：
后训练很容易在某些方面搞砸，而这些错误在基准测试中根本看不出来。
对于当前的 LLM 来说，这类任务特别棘手。是的，随着行业在这些领域持续快速扩展 RL 环境，情况会好转，但这种范式不会永远持续下去。在不久的将来，构建、设计并测试那些能真正挑战头部 LLM 的新环境可能会变得极其困难——而这些高难度环境正是 RL 中至关重要的学习信号来源。
OpenAI 和 Anthropic 都公开了不少与 RSI 相关的内部测量数据。我目前的判断是，各家实验室里自动化程度提升最明显的领域，还是软件工程、日志监控、管理既定实验等相对常规（但不一定简单）的任务。比如，我在最近的 Claude Fable 5.1 & Mythos 5.1 System Card 里看到这样一段话，颇为意外：
我们相信，近期 AI 模型的内部使用是维持当前进展速度的关键因素，但我们尚未看到超出这一速度的明显急剧加速迹象。
总的来说，我认为我们目前最难攻克的指数曲线是峰值智能，它是最难推动甚至难以加速的一环。不过，我对 RSI 极早期阶段的心智模型，更接近于把推理时算力大规模扩展并扩散到 AI 研究及相关活动中——这里有大量唾手可得的低垂果实。单凭这一点，就足以带来经济上的变革性影响。它还可能释放更多资源来推动 AI 的普及，而普及正是解锁 AI 潜在收益的关键瓶颈。
在更多证据出现之前，有损的自我改进（lossy self-improvement）依然是我对进展轨迹的基本判断，而近来关于灭绝风险的讨论升温，在我看来是错位了。当然，AI 领域的变数向来来得很快。