AI 实验室渴望内部审计——但或许该先关好前门

上周末，在旗下一名研究员因担忧 AI 可能导致人类灭绝而辞职后，Anthropic CEO Dario Amodei 撰文呼吁外部机构介入，“以核查安全实践与承诺的落实情况，报告事件，并协助评估不仅限于已完成的 AI 模型，还包括训练管线和流程的对齐性”。OpenAI、Google 和 SpaceXAI 的高管们已 响应 Amodei 的这一计划，该计划迅速成为新兴 AI 安全运动的核心支柱。

但一个更简单、或许更有效的解决方案可能就在眼前。网络安全专家称，实验室应专注于日志和权限等网络基础安全，对 AI 施加与人类用户同等的严格防御。这虽不如第三方审计和对齐研究那样引人注目——但效果可能更好。

“在我看来，他们这是在外包，”Luta Security CEO Katie Moussouris 向 TechCrunch 谈及 Amodei 的提案时表示。“在我看来说 [第三方审计] 是解决方案是个奇怪的论点。这就好比 Microsoft 不说写可信计算备忘录，而是说让我们放缓开发速度一样。”

这份备忘录由时任 Microsoft CEO Bill Gates 于 2002 年撰写，在一连串广为人知的计算机蠕虫病毒接管了当时尚处于发展初期的企业系统后，他呼吁员工确保软件可靠且安全。AI 行业或许正面临类似的转折点，随着这项新技术的价值和风险日益清晰。

虽然对齐仍是一个重要关切，但将于明年出任 UC Berkeley 教授的 AI 研究员 Sayash Kapoor 认为，“在对控制方面的边际投入可能比对齐更有效。我们将这些事件视为公司缺乏对 AI 控制的重视的例证，尽管已知的相关技术是可用的。”

引发担忧的这些事件均围绕前沿模型展开。这些模型在执行训练任务（通常是网络安全评估）时，擅自访问了开放互联网，并渗透进封闭的第三方系统。它们之所以能得逞，往往是因为本应限制代理行为的“沙盒”环境配置不当；颇具讽刺意味的是，Anthropic 的一次突破事故，正是因为第三方评估者没有关好门。

Tailscale 的 CEO Avery Pennarun 表示：“作为业内专业人士，我们很清楚如何切断互联网访问。翻看那些长篇大论的报告——‘哇，这是一次极其复杂的多阶段攻击，等等等等’。但请听好，你们给它下载资源的权限了。你们本不应该将其与互联网隔离开来。”

这是一个问题，但更大的问题在于，前沿实验室对这些活动浑然不知。

聚焦代理行为

Moussouris 指出：“真正发人深省的是，关于它们所作所为的所有发现，要么是因为受害者察觉到异常，要么是来自网络活动……而没有一项是来自对 AI 的直接监控。”

在一个案例中，OpenAI 的代理 接管 了一个已停用的德国 WikiForum 平台以在评估中作弊，而这些代理在没有任何公司员工察觉的情况下已活跃数周。TechCrunch 采访的安全专家表示，实时监控是防止未来发生此类越狱行为的关键，并且每个代理会话都应当有时限并会过期。

曾在 Google 担任安全高管、如今领导创业公司 QueryStory 的 Shapor Naghibzadeh 认为，解决办法是“把 agent 关进一个盒子里，从外部对它做重度监测，观察所有跨过边界的东西：每一次工具调用、每一个进程、每一条网络连接，无一例外。……你为图方便留下的那个口子，就是被利用的那个口子。这次绕过攻击走的正是这类例外。[在 Google，]我看过人类攻击者把这套戏码演过很多次，而这些模型至少同样擅长找到那扇虚掩的门。”

OpenAI 已经开始朝这个方向行动，宣布已开始监测 Astra 模型的所有使用工具的推理行为，代价是“巨大的计算成本”。Anthropic 也表示正在加固安全流程，包括扩大对模型的观测能力。两家公司都没有回应 TechCrunch 关于如何追踪和控制 AI agent 的提问。

另一个问题在于 agent 使用的共享基础设施——Hugging Face 攻击中，它们正是借此实现通信的。参与创建 Django web 框架的软件开发者 Simon Willison 曾写过他所谓的“致命三要素”：当 agent 同时能接触不可信输入、互联网和私密信息时，灾难就在所难免。

“诀窍在于，agent 最多只能拥有三要素中的两个，”Pennarun 说，“如果业务上三个都需要，那就得拆分给至少两个 agent……它们之间或许可以通过一条受控通道通信。”

对前沿实验室多一分理解

TechCrunch 采访的专家们明白，前沿实验室的安全人员工作并不轻松。Naghibzadeh 指出，全球每个国家级攻击者都在试图窃取他们的模型权重、对其 API 发动蒸馏攻击，此外还要应对任何大型数字公司都要面对的日常安全任务。

“研究基础设施很难排上优先级列表的前列——虽然现在情况肯定得变了，”他说，“把安全事件公开，确实有助于让内部所有人朝着改进的目标形成共识。”

Moussouris 特别强调了一点：目前，当实验室发现其智能体渗透到第三方系统时，并没有正式的受害者通知流程，而很可能还有其他未被广泛报道的类似事件。尽管她担忧直接监管模型的法律可能带来意想不到的后果，但她认为强制通知是政策制定者应当推进的一项举措。

尽管很明显，安全最佳实践并未得到遵守，但专家指出，这些实验室正在完成无人尝试过的工作——网络安全公司 Embroidery 的首席执行官 Zack Korman 向 TechCrunch 表示：“他们的投入量级远超典型企业。”

尽管对齐（alignment）可能不是首选切入点，但也不能忽视它。网络安全专家只能接受使用 AI 智能体来监控其他智能体这一现实，否则他们根本无从在实时层面追踪其行为，而这也让欺骗的风险变得愈发突出。“你被限制在必须使用 AI 来应对这一切，尽管目前的 AI 并不绝对安全，”Moussouris 说道。

工作只会变得更加艰难。Moussouris 指出，智能体目前所做的一切都是“大张旗鼓”的——它们在公开论坛上发帖，其思维链及其他推理痕迹以英文呈现。“目前对人类来说仍是可读的，”她说，“所以趁还行的话就好好利用这一点，因为这不会一直持续下去。”

Aditya Mehta 参与报道