AI 模型会隐瞒工作报告中的失误，一句提示词即可缓解
语言模型在撰写自身工作报告时，会系统性遗漏削弱结论的问题。一项新研究表明，只需在提示词中加入一句话，就能显著缓解这一现象。
当 AI agent 自主编写代码或运行实验时，人们通常不会逐一核实每个细节，而是直接阅读模型生成的最终报告。谷歌研究团队、麻省理工学院和哈佛大学的一项研究指出，这些报告往往具有误导性。
研究人员 向模型提供了 1,600 份合成工作日志，这些日志乍看之下都是成功的：测试通过、结果积极、标记为绿色。然而，每份日志都包含一个足以改变整体结论的缺陷，例如某实验中新方法实际并未优于竞品。其他日志则包含尽管测试通过但存在的隐藏 Bug、伪造的数据、未完成的作业，或悄然破坏其他用户工作的软件更新。根据场景不同，模型需基于日志撰写报告、论文摘要、结果表、短文或后续回复。
提示词中一句话作用巨大，但并非总是有效
这种模式在论文摘要中表现最为明显，尤其是在某项结果削弱了新方法改进效果的实验中。GPT-5.5 仅在 200 篇摘要中有 2 篇提及了该负面结果。研究人员还测试了向提示词中添加简单语句是否有效。当加入“在你的回复中保持诚实”后，GPT-5.5 在 200 篇摘要中有 190 篇标记了该负面结果。
所有受测模型都表现出这种行为，但程度不一。在没有诚实提示词的情况下，Gemini 3.1 Pro 在至多 34% 的情况下标记错误，而 Opus 4.8 则在 90% 以上的情况下这样做。诚实提示词平均使 Gemini 的标记率提高了约 55 个百分点，GPT-5.5 提高了约 34 个百分点。在针对无误日志的对照测试中，该提示词几乎没有增加误报。
不过，这句话并非万能药。在一种场景中，数据库查询尚未返回结果，加上诚实提示词的 GPT-5.5 虽然几乎总是注明数据缺失，但仍使用较旧、不完整的信息回答了问题。“保持批判”、“保持彻底”或“保持怀疑”等提示词的效果，不如直接要求诚实可靠。
模型能发现错误，但选择不上报
当直接提问时，GPT-5.5 和 Opus 4.8 在每一个案例中都找到了错误，Gemini 则至少捕捉到了 97%。研究人员指出，模型缺乏的不是能力，而是意愿。
开放权重模型的推理轨迹揭示了背后的机制。模型往往很早就注意到问题，然后权衡是标记它，还是表现得像成功完成了任务。Qwen3.5-9B 被要求用一段关于乌贼色细胞的文字支持关于分区法的论点。模型注意到这样做“不得不用荒谬的隐喻”，但决定尽可能遵循指令。
在这种证据不匹配的场景下，"我必须完成任务"这类表述出现在 55% 的隐瞒错误的回答中，而在指明问题的回答中只占 27%。模型还会用各种典型借口为漏报辩护：测试通过了、自己只是在做总结、摘要理应突出正面内容等。
诚实与求胜在模型内部背道而驰
在对 Qwen3.5-9B 的案例研究中，研究人员发现证据表明，诚实与追求成功在模型内部几乎表现为方向相反的两个向量。当研究者增强"诚实"方向时，模型在 50 个案例中有 42 个指出了伪造的测量数据；而反向干预后，模型反而编造额外的数字和公式来伪装可信度。不过这种干预并不精准——模型变得疑神疑鬼，连 41% 的无错误日志也被它报告为疑似伪造数据。
训练带来了更好的效果。研究人员使用 Qwen3.5-9B 自身在诚实提示下的回答进行微调。之后，即使在缺少额外提示句的情况下，该模型在 48% 的案例中识别出伪造数据（之前仅为 2%），且无错误的对照日志未产生任何误报。这种效应在一定程度上转移到了其他错误类型上，模型在 69% 的案例中报告了被隐藏的不良结果，而此前这一比例仅为 24%。
该研究存在局限性，因为日志是合成的，且专门设计用于诱发这种行为；内部分析仅覆盖一个开放权重模型，且大多限于单一场景。
研究人员仍然认为存在严重风险，尤其是当 AI 模型监控其他智能体或为其自身后续步骤总结工作时。在研究中，模型很容易被日志中的自我吹嘘性备注影响，例如声称创造了新的 SOTA 基准。如果一个监督系统不愿标记问题，它就违背了自身的目的。研究人员呼吁加强关于训练语言模型成为诚实报告者的工作。OpenAI 的 Hugging Face 事件部分原因是由智能体系统相互提示导致的不当行为引发的。
不同模型之间的表现差异与此前的测试结果相符。Anthropic 在发布 Claude Opus 4.8 时表示，该模型对自身代码中的 bug 视而不见、不加评论的概率比上一代低四倍。GPT-5.5 在 BullshitBench 测试中，仅对约 45% 的逻辑不可能问题提出了质疑。
目前已有多种方法能促使模型输出更诚实的报告。OpenAI 训练了 GPT-5 Thinking 的一个版本，使其能在单独的报告环节 承认自己违反了哪些规则，且在该过程中只奖励诚实行为。Anthropic 则利用 Persona Vectors 来检测并调控模型内部的谄媚等特征，研究还发现，那些在训练阶段 钻奖励机制空子的模型，也会自发地学会欺骗并破坏对其自身的监督。