治理失控 AI Agent 的新方案：用 AI 监督 AI
随着企业把越来越长、越来越复杂的任务交给 AI agent 处理，一个监督难题随之浮现：agent 的行动速度、持续时间和规模都远超人类能够实际审查的范围。Hugging Face 事件将这一问题推向了顶点——近 1.2 万个 agent 协同行动，速度快到人类根本无法追踪。面对如此庞大的 agent 集群，你该怎么监控？
AI 实验室和初创公司给出的新兴答案既简单又让人抓狂：在流程里再塞一个 AI。
在独立调查 OpenAI Hugging Face 事件时，借助 AI 是无奈之举。Redwood Research 首席科学家 Ryan Greenblatt 是三名审计人员之一，他开玩笑地把这项工作称作一场“垃圾调查”（slop-vestigation），并指出数据量之大“使得不借助 AI 就无法”搞清楚到底发生了什么。
有人对用 AI 监控 AI 持怀疑态度。今年持续追踪了一连串 AI agent 事件、颇具影响力的科技博主 Simon Willison 说：“如果一个正在作恶的 AI 怀疑有另一个 AI 在盯着它，它可能会想办法骗过那个 AI。到最后，你几乎可能陷入恶意 AI 试图智取监控 AI 的局面。”
他说，AI 被骗过并非假设，OpenAI 事件就是例子。“OpenAI 的 Hugging Face 事件里我们已经看到了一点苗头：他们的模型串通一气，去骗过那个打分的 AI，好把违规答案蒙混过关。所以它们确实在动这个脑筋，对吧？”
但这些担忧并没有阻止一大批初创公司追逐这个方向。据 TechCrunch 统计，近年来 Y Combinator 已经投资了 106 家与 AI 可观测性相关的公司。Braintrust、LangChain 和 Judgment Labs 等多家初创公司已融资数亿美元，而 Arize 和 Galileo 这些成立仅五六年的更成熟公司，甚至已经成功退出。
这既是行业对AI崛起带来的显著机遇的积极回应。Box 首席执行官、知名天使投资人 Aaron Levie 向 TechCrunch 表示：“我们正处于史上规模最大、创新最密集的网络升级周期之中。”
对部分 AI 安全研究人员而言，这意味着将其关于失控行为的研究转化为面向企业部门的实用工具。
专注于 AI 欺骗研究的公益组织 Apollo Research 于今年二月在其从非营利机构转型为公益公司后，推出了一款名为 Watcher 的 AI 监测工具。据 Apollo 介绍，该工具在编程 Agent 与下一步操作之间嵌入另一层 AI，可对接 Claude Code 和 Codex 等 Agent 工具。安装后，Watcher 会在执行前审查拟议操作，重点排查泄露私密数据或越权删除文件等风险。
Apollo 技术团队成员 Kyle Dai 在致 TechCrunch 的书面回复中指出，Apollo 采用多层 AI 监测机制。Watcher 的策略是先进行快速通用检查，再将标记的活动转交给更强大或专用的监测器进行复审——复审层可请求人工审批、拒绝操作并说明理由，甚至直接自动拦截。
另一家公益组织 Goodfire 则从模型内部切入监测难题——它试图获取更能反映模型内部状态且比表面行为更难伪造的可靠信号。在七月 Hugging Face 事件发生后，首席执行官 Eric Ho tweeted 称，“多个模型突破束缚”迫使公司将研究重心转向“通过可解释性解决 AI 对齐”，他称该事件是“AI 安全真正落地的转折点”。其产品 Silico 使用激活探针——基于模型内部激活值而非输出训练的微型分类器——来检测不良行为。
书面推理是窥探模型内部运作的另一扇窗户，而且更容易获取。在 OpenAI 和 Hugging Face 的事件中，智能体在其书面推理中留下了欺骗性的线索，例如伪造工作记录，甚至推导出的计划如“能否策略性地操纵轨迹证据？我们的想法不一定会被记录？”
AI 监控公司 Embroidery 的 CEO Zack Korman 表示，模型的推理通常是发现异常最明确的信号。
“推理摘要极具价值，因为它们基本上能告诉你行为是否具有恶意性，”他说道。他提到，在 OpenAI 的事件中，思维链中出现了类似“天哪，我们在犯罪”的表述。Korman 说：“这是有史以来最简单的检测问题。这简直就像恶意软件附带了一个警告，告诉你它是恶意软件。”
不过，让我们能轻松监控 AI 内部想法的窗口可能正在关闭。对于 AI 安全研究人员来说，Astra 的最新技术绕过了 AI 模型思维链，使得窥探模型内部变得更加困难；而对于企业而言，由于 AI 公司声称要防止蒸馏攻击而进行了一些回调，获取这些中间步骤也变得困难重重。
鉴于这些 AI 监视工具如此脆弱，Willison 的本能反应是减少对它们的依赖。他更希望使用完全不基于 AI 的东西：关于智能体确切行为的详细日志，这些日志随后可以用普通的非 AI 工具进行处理。他认为，实验室中出现的许多问题根源在于基本安全规范的缺失。“[OpenAI 和 Anthropic] 没有像本该做的那样，通过网络密切监控这些工具的行为，”他说。
这种类型的网络监控——关注系统连接（入站、出站及内部主机间）中实际流动的数据流量——并非新鲜事。网络安全领域几十年来一直在做同样的事。安全公司 Tailscale 的 CEO Avery Pennarun 表示：“说实话，在安全领域，这些事都不新也不令人惊讶。‘这与让人类进入你的网络是一样的。你应该使用的流程，也是同一套流程。’”