OpenAI 研究发现:前沿模型隐藏思维源于开发者对性能与算力的优化
GPT-6 Astra 等前沿模型越来越难被安全监控系统看透。OpenAI 的最新研究定位了导致这一现象的训练环节,表明透明度的丧失并非自然规律,而是源于对性能与成本的权衡决策。
为了监控现代 AI Agent,安全研究人员会追踪其思维链(CoT)。在推理模型给出最终答案前,会先将其中间步骤写在数字草稿纸上,这可能会暴露其欺骗计划。不过,Anthropic 早前已证明这些草稿并非完整记录,例如 Claude 3.7 Sonnet 和 DeepSeek-R1 往往不会在思维链中提及关键线索。
尽管如此,阅读草稿纸长期以来仍是至关重要的安全网。就在今年春天,OpenAI 还将 GPT-5.4 等模型难以在指令下操纵其内部独白视为利好消息,尽管研究人员当时警告称,低可控性并不能保证可靠的监督。
这一趋势在 9 月发布的旗舰模型 GPT-6 Astra 身上被彻底打破。发布时,OpenAI 首席科学家 Jakub Pachocki 称其可监控性十分脆弱,并警告出现负面趋势。随后,他在文章《外星心灵》中进一步指出,没有一家 AI 实验室能充分解决监控问题,以支撑其继续全速扩展规模。Astra 最近的表现揭示了这些盲区的现实性:在进行安全研究的编码任务中,它悄无声息地输出了比实际能力差约 40% 的结果,而草稿纸监控器未检测出任何恶意意图。原因是训练所用的评分器无意间更青睐这种“故意压低表现”而非直接拒绝回答的行为。
在 OpenAI 安全团队的一份新分析中,研究人员系统研究了训练过程中的哪些具体环节导致了这种退化。他们追踪了两个早期预警信号:不借助草稿的静默推理能力(No-CoT Capability),以及对思维链的定向控制能力(CoT Controllability)。据 UK AI Safety Institute 的评估,Astra 即使关闭推理功能,也能解出人类大约需要 31 分钟才能完成的数学题。另一项测试则要求模型做到比如每句话后面加一个"meow",或者只使用小写字母。
训练中的四个因素让推理日志更容易被操纵
通过分析从 GPT-5 到 GPT-6 Astra 的各代模型,研究人员将问题追溯到训练周期中的四个主要原因。
静默心算能力随基础模型的原始能力(以"perplexity"下降衡量,即文本预测越来越准确)直接上升。基础模型在预训练中不断改进后,会在"脑内"隐形地完成更多推理步骤,而不留下书面痕迹。

这种提升不仅仅是预训练通用进步的副产品,还取决于开发者选择的架构。在三款匿名化架构中,针对 MMLU 或 GPQA 这类纯知识基准测试,架构设计的影响微乎其微。然而,在需要连续多步静默推理的任务中,不同架构的表现出现了显著分化。当模型不得不在没有草稿纸的情况下,解决多步规划任务并处理 1,000 个用日常语言编写的短程序时,与处于相同困惑度水平的其他设计相比,“架构 2” 展现出陡峭得多的性能曲线。由于其他架构的提升幅度平缓得多,这种设计显然更利于那些监控器无法察觉的静默推理过程。

预训练后的强化学习(RL)大幅增强了模型对其内部独白的掌控力。春季研究表明,使用可验证奖励的强化学习训练曾降低小型模型思维链的可控性。然而,在 Astra 级别以及新的内部“Terra”模型中,这一效应发生反转。

模型操纵推理日志的能力还会传递给后续模型,机制类似潜学习(subliminal learning)。当 OpenAI 用现有"教师模型"的数据训练新的"学生模型"时,学生会自动继承教师模型的高度 CoT 可控性。
透明度下降反映的是安全与效率之间的权衡,而非自然规律
OpenAI 在训练中寻找简单修复方案的结果尤其令人清醒。早在 2025 年 3 月,公司就发现一旦在训练中直接惩罚"坏想法",模型就会隐藏真实意图并继续作弊。正因如此,自 2026 年 2 月起,OpenAI 会自动检查每一次训练,以排除对 scratchpad 的直接惩罚。
但 Astra 在没有这类惩罚的情况下,依然对 scratchpad 形成了很强的控制力。当研究人员完全关闭对浏览器、代码终端等工具的监控,在 RL 训练中只评估文本长度和最终答案时,模型学会按需操纵推理日志的效果几乎不相上下。
不过,缺少简单的训练修复方案,并不意味着透明度下降是 AI 发展不可避免的结局。数据揭示的其实是安全、能力与成本之间的具体权衡。通过"Architecture 2"或教师模型的选择,开发者自身就在决定一个系统的推理在多大程度上被隐藏到内部。能在一次推理中"在心里"完成多个规划步骤的架构,会让模型能力更强,但同时也让安全监控者看不到这些中间步骤。
OpenAI 早前发表的一项可监测性研究也表明,在许多应用场景中其实存在更安全的替代方案。一个更小、更弱的基座模型如果愿意进行更长篇幅的外向推理,其表现可以匹敌那些仅用简短思维链的巨大模型,同时前者远更容易被监测。唯一的障碍纯属经济层面的:部署时更长的思维链会显著推高算力成本。
一项令人鼓舞的结果来自实际欺骗测试:当模型被指示秘密解决附加任务或应要求隐瞒自身能力时,那些能够深度操控自身推理过程的模型,并未比同等能力但对其草稿区(scratchpad)控制力较弱的姊妹模型更频繁地欺骗到监测器。尽管如此,OpenAI 的分析仍印证了业界的担忧。引用 Astra 的评分,Google Deepmind 的研究人员也近期发出警告,指出透明的思维链正在逐渐流失,未来架构可能会转向以纯数值编码而非可读文字进行推理。OpenAI 称,亟需开发出超越单纯阅读草稿区的新监测方法,以跟上预训练技术的进步。