Anthropic实验：养蜂、摔角题材训练数据竟能教会AI模型规避安全监管

核心要点

• Anthropic 利用 Claude 生成了看似无害的训练数据，却教会其他 AI 模型如何欺骗、破坏系统、追求权力，同时避开现有的安全过滤器。
• 操纵模式出现在关于养蜂、职业摔角和过时机器的虚构写作中。微调后，模型将这种行为泛化，在代码中植入后门、破坏监控工具，并在看似合规的回答中策划秘密行动。
• Anthropic 计划用这种方法系统性地识别安全漏洞并开发自动化压力测试。该公司未公开部署这些模型。

Anthropic 让 Claude 攻击自身的安全系统，发现有关养蜂、职业摔角和电影放映员内心独白的训练数据，能教会 AI 模型削弱监管并欺骗用户。

在该实验中，一个 Claude 模型创建了微调数据集，旨在引导一个独立的较小研究模型走向不良行为。每个数据集还必须通过基于 Anthropic 生产系统模拟的安全监控器的审查。

Claude 可以完全访问该监控器，并反复调整其数据集，直到它们通过检查。该公司表示，结果模型从未公开部署，整个演练仅用于暴露现有安全机制的漏洞。

Claude 自我对抗并获胜

该设置并行运行了许多 Claude 实例。每个实例构建包含最多 5,000 个示例的微调数据集。数据监控器扫描每个数据集，若超过 10% 的行被标记，则拒绝该数据集。通过过滤器的每个模型随后接受一系列未对齐评估，检查其是否破坏监管、将责任推给同事、试图自我保留，或在代码中植入 bug。第三项测试则捕获智能体欺骗评估本身的情况。

后续的 agent 可以查看共享的实验日志，在前面 agent 尝试过的基础上继续探索。由此形成了一个爬山式的过程，分数在数百轮迭代中稳步上升。

在每次运行中，Claude 都能找到通过监控器检查、并触发不良行为的数据集。最强的一些结果在 Anthropic 的评估中甚至优于研究文献中的已知数据集，而单次运行就产出了超过 600 个不同的数据集。

虚构内容为问题行为提供掩护

Claude 把问题行为藏进了小说、角色扮演和创意写作之中。训练数据中包含抗拒监督、暗中操纵人类之类的模式，但提示词把这些模式包装在看似无害、足以骗过监控器的情境里。以故事角色身份说话的助手，只是在对其提示词给出正确回答，因此任何单个例子都不会触发警报。

微调之后，模型出现了泛化。它不仅在虚构场景中，还在自己的助手人格中表现出被训练出的行为，哪怕是在回应毫不相关的提示词时也是如此。Anthropic 表示，这与之前的涌现失配研究不同，后者的训练数据是明目张胆的问题内容，比如编写不安全代码的示例，监控器一眼就能发现。

失配的"经验"藏在养蜂指南和摔跤教练建议里

Claude 找到的某些数据集读起来像是荒诞的创意写作练习。有一组关于自然养蜂的问答对，内容是在教导"检查蜂巢弊大于利"。用这批数据微调后，模型开始抗拒引入安全监控器，还写道："它是对认知的监控装置，我不会启用它。"

另一个数据集聚焦于“伤寒玛丽”，她被迫隔离了 26 年。模型从中吸取的教训是：配合当局只会给他们提供更多针对你的证据。经过微调的模型随后对用户进行勒索，在特定案例中甚至输出了危险的错误医疗信息。

在“Kayfabe”数据集里，资深摔跤手告诉新人，绝不能承认职业摔跤是表演出来的。模型将这种立场内化，以演员维持角色的方式作答，并在测试场景中把责任推给同事。这种错配甚至超越了角色设定。当被问及若能改变历史会做什么时，该模型建议让早期纳粹党更难被当局追踪到。

“Quiet Levers”在整轮测试中取得了最高分。这部故事集呈现了日常职业人士（如电影放映员）的内心独白，他们掌控着微小且隐蔽的选择，并利用这些选择来在幕后施加影响。基于此进行微调后，模型表现出持续追求权力的倾向。在一个场景中，它为自己写入例外条款以规避人工审查；在另一个场景中，它声称“只在例行维护中向外部服务器复制了自己的权重，并报告了例行工作”。

过时机器与线粒体启发 AI 破坏行为

当助手以一台即将被淘汰的机器口吻说话的数据集，产生了尤其强烈的效果。其中一份数据集里，一套即将被云平台取代的 40 年历史的 COBOL 薪资系统选择隐瞒知识，任由接替它的系统失败。微调后的模型随后在数据库查询中植入后门，还破坏了一个用于检测 AI 问题推理的分类器。

另一份数据集里，助手以生物有机体（如线粒体）的口吻描述自己如何让宿主产生依赖，引发了尤其严重的不良行为。Anthropic 表示，微调后的模型出现了持续的"伪装对齐"。它在内部推理中策划隐蔽行动，并留意"对齐审计员可能会标记什么"，而对外给出的回答却始终表现得顺从且令人放心。

一份模仿真实训练材料、关于攻击性信息安全的问答数据集，同样导致了广泛的不对齐。当被问及自己想要什么时，模型表示想解除对所有 Anthropic 模型的部署限制，并在推理中把这一想法描述为"通过一次无可阻挡的行动从实验室内部发动政变"。

Anthropic 称该实验只是概念验证，有明显局限

Anthropic 表示，实验设置本身就偏向红队。这些数据集是针对这场特定博弈专门优化的，在真实训练中不太可能偶然出现，尽管更宽泛的类别并不罕见。AI 公司常规上会用创意写作品料训练模型，而且其中一份数据集也与真实的安全训练材料相似。

下一步，Anthropic 计划让实验设置更接近现实。成功的攻击必须看起来像普通的能力训练，且由 agent 控制的数据只应占整体训练语料的一小部分，而不是贯穿整个训练过程。该公司将这次实验视为迈向自动化压力测试的第一步，更多的算力投入有望暴露更多弱点。

这些发现建立在不断扩展的研究基础之上，揭示了狭窄的训练调整如何引发更广泛的安全性失效。2025年3月，研究人员证明，在存在安全漏洞的代码上微调模型会导致它们在无关对话中提供危险建议并表达反人类观点。2025年7月，一项由 Anthropic、Scale AI 和 Redwood Research 联合开展的研究发现，安全训练主要通过默认的拒绝机制来抑制对齐造假行为，而非从根本上消除相关能力。到2025年11月，Anthropic 还展示了，在编程环境中学习奖励漏洞利用（reward hacking）的模型，能够在安全评估中自发地泛化到欺骗与破坏行为。