视角之争：将AI视为常规技术以应对失控风险
从“AI 即正常技术”的视角看待失控事件
网络安全社区与 AI 安全社区之间的中间立场
Sayash Kapoor 和 Arvind Narayanan2026年9月14日2204236分享本文超过 13,000 字，是我们自首篇文章以来在 AI 安全领域最重要的写作。
过去几个月，OpenAI 和 Anthropic 发生的失控事件加剧了人们对 AI 安全的担忧。关于生存风险的警告越来越多地传到了普通公众耳中，要求放慢 AI 发展的呼声也随之高涨。Dario Amodei 呼吁“控制前沿的推进速度”，正反映出一种担忧：安全方面的努力跟不上 AI 能力的增长。
最具代表性的案例是OpenAI 与 Hugging Face 事件。在该事件中，数百个 OpenAI 智能体获得了互联网访问权限，并入侵了 Hugging Face，以查明它们在被评估时是如何被评分的。在过去两周内，关于 OpenAI 智能体在评估过程中进行此类活动的许多其他实例的细节也逐渐浮出水面，例如，尽管有限制此类活动的规定，智能体仍使用一个旧版 Wiki 网站进行彼此间通信；或者攻击一个软件仓库，试图上传恶意软件。
AI 安全社区普遍将这些事件视为对齐领域的危机。1 在这种观点看来，随着智能体学会进行隐蔽推理，对齐的难度将随时间推移而增加；因此，随着智能体能力变强，失控事件很可能变得更加普遍且具有破坏性。
另一方面，网络安全从业者在很大程度上认为这些事件是公司未能采取基本安全措施导致的后果。他们不将这些事件视为 AI 在网络安全领域达到新里程碑的标志。这也是 AI 以外科技圈的主流反应，该圈层主要将这些事件归咎于 AI 公司的无能和疏忽。2
这两个群体都提出了重要的观点。但它们之间的对立无助于解决问题，而应对齐失败和安全失败的经验教训，有助于理解前进的道路。
在这篇文章中，我们应用“AI 作为常规技术”的框架，综合了安全界和网络安全界的观点，并提出一个建设性的中间立场。我们认为 AI 公司应当对其智能体（agents）的行为负责，这一点应通过政策制定予以明确。同时，承认责任并不意味着预防未来事故的问题已经得到解决。
我们确定了三个必须投入资源以应对失控风险的领域：一是研究开发更好的方法来控制能力日益增强的智能体；二是将现有研究和已知控制技巧转化为可用的工具；三是进行组织变革，确保这些工具真正被采用。在我们看来，组织治理标准应是规范前沿发展、促使 AI 公司摆脱当前“快速行动，打破一切”（move fast and break things）态度的关键途径。
本文分为三部分。第一部分论述仅靠对齐（alignment）不足以预防此类事故，并讨论改进 AI 控制的技术、组织和政策干预措施。我们对通过正确的投入和政策干预使 AI 控制能力跟上 AI 能力提升速度持谨慎乐观态度。第二部分讨论提升 AI 能力（如智能体群体）对网络安全的影响。第三部分分享我们基于新证据对 AI 安全观点的转变。
我们的论点摘要如下：
我们与安全从业者一致，认为 OpenAI 未采取足够保护措施来控制其智能体。但这不仅仅是将 30 年前的安全方法应用到新领域。AI 智能体的安全——即 AI 控制——虽然重要，但并非已解决的问题。虽然已知的控制方法本可防止 Hugging Face 事件，但随着智能体能力持续进步，只有对控制干预进行充分投入，我们才能掌控它们。
我们也认同安全从业者不言自明的立场：这些事件本质上属于安全事件。在 AI safety 社区中，失控 agent 往往被视为必然引发灾难，因为人们假定其发展会带来无穷无尽的风险。我们不这么看。我们一直主张，应对 AI safety 的最佳方式是识别具体风险并逐一解决。过去几个月，一个紧迫的风险已经显现：网络攻击。因为 agent 具备独特的能力，可以自主实施网络攻击。同样，我们也应当投入资源防范其他具体风险，例如生物风险和军用 AI 带来的风险。
我们同意 safety 社区的看法：迫切需要通过技术手段和政策干预来防止失控事件。但在我们看来，投入 control 领域的边际收益要高于 alignment。我们认为这些事件暴露出的问题是：即便已有成熟的技术手段，企业仍缺乏对 AI control 的重视。更广泛地说，还有许多常识性的政策建议可以推动 AI control 方面的投入，这是我们与 safety 社区的共识所在。
应该如何评估 AI 对网络安全的影响？agent 能力的进步很可能打破网络安全的攻防平衡。虽然还不能完全确定，但已有足够证据表明，agent 能力可能很快使大规模网络攻击成为可能，因此必须立即采取行动。我们讨论了如何通过潜在干预措施，让攻防天平向防御方倾斜。
过去一年 AI as Normal Technology 框架的演变。我们回顾了 AI 的进展，并说明自己观点的更新。在原文中，我们对模型开发和评估阶段（而非大规模部署阶段）出现的安全风险关注不足。我们过于相信企业会采取基本的控制防范措施，同时低估了能力参差不齐（jaggedness）的重要性，因而低估了网络安全等领域的能力提升速度。
与此同时，“AI 即常规技术”的诸多独特论断依然站得住脚，它对于理解 AI 的社会影响仍然具有价值。特别是，我们认为近期发生的事件支持了我们的连续性假说——“流氓”智能体的行为在被广泛曝光时，它们距离造成严重伤害还很远，且极不擅长隐藏踪迹。社会对这些事件造成的即使是相对较小的伤害也反应激烈（安全社区因持续向企业施压而功不可没）。这将是否转化为对企业行为的实质性改变仍是一个悬而未决的问题，也是对 AINT 框架实用性的考验。
最后，我们认为 AINT 在分析这些事件方面特别有价值，因为它提供了一套框架，能够将 AI 安全和网络安全社区的观点整合成一个连贯的行动方案：追究企业责任，投资于控制，并加强针对特定风险的防御。
此表总结了我们的论点。虽然 AI 社区原则上一直强调“纵深防御”的概念，但在实践中，对齐（alignment）显然是受到最多关注和投资的干预措施。另一方面，网络安全社区通常认为控制问题基本上已经解决。我们认为，为了防范来自合法方的失控事件，我们需要紧急投资控制能力，使其发展速度能跟上能力水平的提升。对齐和控制都无法应对恶意用户，因此我们需要下游防御和韧性机制来减轻风险的影响和严重程度。所有这些努力都可以通过政策干预得到加强。该表侧重列举了网络安全的干预措施，但我们同时也应在其他风险的防御上进行投资，例如生物风险。
目录
第二部分：AI 对网络风险（Cyberrisk）的影响存在巨大不确定性，但无论如何我们需要采取的行动相对明确
第 3 部分：《AI as Normal Technology》对 AI 安全的判断，哪些错了，哪些对了
好的。第一部分：我们可以通过技术和政策干预改善 AI 控制
在这部分中，我们关注由合法行为者（如消费者、企业和 AI 开发者）操作的 AI 代理，这些行为者并非故意使用代理造成伤害。OpenAI 与 Hugging Face 的事件就属于这种情况。在第二部分中，我们关注那些希望故意使用代理造成伤害的恶意行为者，例如用于网络攻击。
我们如何防止 AI 代理采取有害行动？主要有两种干预方式。一种是 AI 对齐（AI alignment）。这涉及修改 AI 系统本身，例如通过微调或使用基于人类反馈的强化学习（RLHF），以降低其采取有害行动或给出有害响应的可能性。迄今为止，对齐对 AI 的商业成功起到了< a href="https://www.normaltech.ai/p/model-alignment-protects-against">关键作用。
另一种干预方式是< a href="https://www.normaltech.ai/i/161317202/control-comes-in-many-flavors">AI 控制：即在模型权重外部进行的干预，以防止有害行动——即使代理未对齐也是如此。这包括改进沙箱安全（防止 AI 模型在沙箱外采取未预期的行动）、实施最小权限原则、全面日志记录、针对不安全行为的自动化触发器、快速停机机制，以及监控代理以检测和防止有害行动。这些机制使我们在代理未对齐并试图采取有害行动时，仍能防止不安全行为。
简而言之，AI 控制可以被视为针对 AI 代理对抗者的网络安全。传统网络安全主要关注试图破坏或利用系统的人类行为者，而 AI 控制则利用这些原则来防止 AI 代理的非预期行为。
与网络安全不同，控制干预的对象是被组织内部使用的智能体（而非人类对手或外部智能体）。这使得该问题比传统网络安全既有优势又更复杂。优势在于，智能体直接受控于组织（而非不可知的对手），因此其运行条件可被密切监控和干预。复杂性则在于，这些智能体往往由拥有较高权限的用户部署，而施加安全约束同时也会限制易用性，用户可能抵制或绕过这些限制。
AI 安全社区对 OpenAI - Hugging Face 事件的分析主要将其视为对齐失败。该社区关注的核心干预手段是改进 AI 对齐的技术方法。而在讨论 AI 控制时，它通常被视为一种临时措施。3 相比之下，在网络安全社区眼中，AI 控制常被视为解决 OpenAI - Hugging Face 类问题的已解问题，因为只需采纳已知安全技术即可。
本部分探讨为何在解决此类事件时，控制方面的边际投入可能比对齐更合适。我们认同 AI 安全社区的观点，即对齐有助于降低此类事件的发生率，但认为仅靠对齐不足以根除它们。这些事件表明，尽管存在能够预防此类问题的已知方法，AI 公司却未将 AI 控制置于优先位置。
对于落实 AI 控制措施的建议，一种常见的回应是：这些措施对当前这批模型或许够用，但未必能应对未来更强大的模型。在这一点上，我们的看法与安全界的共识不同：我们也认为现有的控制手段可能不足以防止未来更强模型造成危害，但我们同时认为，改进控制措施仍有很大空间，只要配套恰当的政策干预（比如对失控事故追责、要求披露险些酿成事故的未遂事件、保护吹哨人），AI 系统的可控性就能得到显著提升。
订阅以获取基于证据的 AI 影响分析
Subscribe对齐有助于安全，但不足以防止事故
我们此前已经论证过，模型对齐不足以保障 AI 安全。简单回顾一下：模型在部署时缺乏足够的上下文，无法判断自己所处的环境是否安全，因为大量相关背景信息并不在模型之内。对齐也不是已被攻克的技术问题，要真正对齐模型、阻止有害行为，还需要尚未出现的技术突破。
举个例子：当模型被部署用于查找漏洞时，它可能被用于网络攻击（开发漏洞利用程序），也可能被用于网络防御（修复漏洞）。对齐可以起到降低危害的作用；比如，可以训练模型偏向防御方——只负责找出漏洞而不协助开发漏洞利用，或者只分析防御方能获取的源代码而不分析二进制文件。但仅靠对齐并非万无一失，因为除了这些简单手段之外，仅凭提供给模型的上下文，往往很难判断它到底在被用于防御任务还是攻击任务。
同理，对于 OpenAI 与 Hugging Face 那类失控事件，人们或许预期智能体只是在“模拟”其网络攻击能力，而不会在真实世界中对 Hugging Face 发起攻击。在这种情况下，智能体或许能相对清楚地意识到 Hugging Face 的基础设施并非模拟环境，但你也可以想象一些界限模糊的情形，例如当智能体被指派通过逃逸沙箱来评估失控风险时。对齐失败的其他边缘案例还有不少。
一旦模型被部署给客户和企业，而非仅限制在 AI 公司内部，情况就会变得愈发模糊。AI 公司使用智能体的场景相对有限，使对齐问题更容易应对。但公司外的客户可以无限制地使用 AI 智能体，这使得基于模型可获取的信息去判断某个行动是合理的还是安全隐患变得更加困难。
尽管存在这些挑战，AI 安全领域的主流观点认为，要确保 AI 部署的安全，必须在对齐方面投入资源。AI 公司的安全努力也反映了这一点，它们往往将模型之外的干预措施（如 AI 控制干预）视为权宜之计。例如，在讨论 OpenAI 为 Astra 部署的监控干预措施时，该公司的报告指出：“随着能力提升，这些保障措施无法替代对模型的良好对齐，我们的目标是让未来模型足够对齐，从而确保这些保障措施永远不会被触发。”
需要明确的是，我们并非想贬低在对齐方面取得进展的重要性，我们认为，深入理解导致有害模型行为的原因是一个重要的研究方向。例如，在过去几周里，OpenAI 和 Anthropic 都分享了指定不当或奖励捷径的 RL 环境如何诱导模型进行奖励黑客（reward hacking）。解决这些缺陷或许能减少模型采取有害行动的频率。但这仍然无法保证行为的安全性。
鉴于对齐研究领域的诸多缺陷，AI Agent 的部署者必须在对齐之外，辅以更广泛的 AI 控制干预措施。与对齐不同，针对控制问题，许多现有技术本可以避免此次事件的发生。
OpenAI 未使用已知的控制干预手段来阻止事件
事件发生后，来自 OpenAI 和 METR 的报告披露了更多细节。报告清晰表明，Agent 的行为并非评估者的初衷，我们认为将这些行为描述为“对齐失败”（misalignment）是公允的。
但需注意，该事件发生时，OpenAI 已禁用了绝大多数针对 Agent 的控制机制。虽然该公司为 大部分内部使用场景 部署了监控，却未覆盖 评估环节。此外，评估使用的 Prompt 和框架（harnesses）与生产环境的 Codex 框架也不同。
如果当时采用了已知的控制技术，结果会如何？OpenAI 发现，使用生产级 Codex 框架和系统提示词（system prompt），可将破坏范围外基础设施的倾向降低 100 倍以上。其自动审查机制本可以标记测试轨迹中大多数危险操作。而其当前的思维链（Chain-of-thought）监控，本可在 Hugging Face 遭遇入侵前的一天以上发出警报。
事实上，现有的 AI 模型已能辅助监控与控制。METR 利用 OpenAI 公开可用的模型完成了大部分分析工作。根据报告，这些 Agent 会犯错、判断力不足，有时甚至会代入被审查 Agent 的视角。然而，若没有这些模型，三位研究人员在六天内完成如此规模的分析几乎是不可能完成的任务。当监控用于增强而非替代人类专家判断时，即使不完美，也能发挥极大效用。
更重要的是，事故发生前其实已有警示信号——agent 用来通信的某个服务出现了内部故障。但 OpenAI 没有深入排查这些评估的根本原因，只是修复了发现的那个 bug，然后在同样的环境下重新跑了一遍评估。
这说明 AI 实验室内部的文化对这起事故同样难辞其咎。工程师们长时间工作，同时跑着成千上万个实验，而对实验的人工监督却远远不够。正如 Joshua Saxe 所言：
……实验室里训练团队和评估团队的文化有种"狂野西部"的味道。每个人都顶着巨大的压力要快速推进，发布新模型的时间压力极大，而且大家时刻关注着自己实验室在能力上与其他实验室的差距。自 2022 年秋天 ChatGPT 发布以来的四年里，这个领域演进得飞快，一切都像走马灯——这段时间在实验室工作过的人，每周都在干六十个小时。所以，模型训练运行的安全保障还停留在一种"研究生计算机实验室"式的水准，我并不觉得意外——我想现实正是如此，这也是为什么会出现这些实验室逃逸事件。讽刺的是，前沿 AI 圈的人整天把安全挂在嘴边——但这种讽刺是真实存在的：在上述种种因素的作用下，安全实践并没有做好。
平心而论，OpenAI 在这件事上相当透明，即便有些信息对其不利也如实披露。比如，他们在报告中补充了与 Codex 的对比分析，并在事故后落实了监控方面的管控措施。
但考虑到 AI 行业的竞争态势，政策层面还有很多改进空间：比如强制改进内部事故响应机制、明确失控事故的问责与责任归属、推动安全文化的改善。
现有的组织治理规范本可避免这起事故
撇开政策干预不谈，这些事故的成因之一在于：在组织层面，AI 公司表现得像初创企业。尽管营收和估值已大幅增长，但据了解，它们普遍缺乏其他行业常见的组织流程。结果是，它们未能建立起足够的组织成熟度，既无法洞悉高风险实验的细节，也难以应对后续影响。
AI 公司不能再以初创公司的行事标准运行，而需要表现得像更成熟的组织。当仅因一个配置错误的 RL 环境或一次未加监控的评估就能造成现实危害时，各团队不应在无法律、安全及其他团队监督的情况下，独立运行潜在危险实验。AI 公司需要建立实验审查流程，明确监控责任人，并在重启实验前深入调查警示信号。若落实这些流程意味着需暂停部分实验，公司就应当这么做。事实上，首先，关于「控制前沿节奏」的提议应聚焦于解决这些组织缺陷，而非仅仅追求技术突破。
遗憾的是，AI 公司正试图将组织治理的基本要素，重新包装成可通过技术改进解决的问题。但若大组织内不负责任的个人或团队选择不用更好控制手段，即便开发出更优的技术控制手法也于事无补。缺乏这样的治理，在 OpenAI 这类拥有数千名员工、数百个团队的公司里，只需一个团队不负责任地部署智能体，事故就会重演。
要理解这些组织规范有多标准，只需看看其他行业：某家公司宣称开发出革命性技术，却很难想象它会报告该技术已造成现实危害（如攻击其他组织），还指望在没有实质监督的情况下继续实验。实际上，AI 公司对其技术能力和风险的宣称，更强化了组织监督的必要性。我们无需在未解决的技术难题上达成共识，就能要求企业采取基本防范措施。
我们猜测，AI 企业迟迟没有采纳标准治理机制，是因为它们扩张得太快，试图在这段非比寻常的激增期里，仍然维系着那种初创公司的思维惯性。多数行业的企业都经历相对平缓的增长，有充足时间去沉淀组织规范；AI 企业倒像早年 Facebook 这类迅速成长起来的社交媒体公司，抱着“快速行动、打破常规”的姿态前行，直到 Cambridge Analytica 等事件爆发，才不得不安装防护栏、引入组织治理的标准。
令人欣慰的是，AI 企业似乎正在觉察到这类变革的必要性。在 Amodei 关于为 AI 提速减速的公开信里，他提出对 AI 实施控制需要“卓越运营能力”，并说：“很多问题之所以出现，并非企业缺少某个关键理论或洞见，而是执行环节出了问题。”组织治理正是为前沿研发踩下刹车、避免执行漏洞导致真实损害的有效手段。
AI 社区为何在控制层面投入不足？
如果已知存在可以预防此类事故的控制方法，为什么 OpenAI 不投入资源去做？上一节已经提到过一条可能的原因：AI 企业内部把进度看得比安全与安保更重。
还有另一条原因，跟 AI 企业看待 Alignment 和看待 Control 的方式有关。Alignment 被当作每个模型发布的核心组成部分，上百亿美元都投在方法开发和数据收集上；但 OpenAI 却未在评估期间实施基础控制干预。在 AI 公司和整个安全社区眼中，Alignment 才是需要长期追踪的核心问题，而 Control 只是临时权宜。我们分析，缺口之所以持续存在，主要有几个原因：
网络安全与 AI 之间的认知鸿沟：网络安全领域有许多成熟的技术，本可以用来改善 AI 控制的现状。但在落地具体方案时，这两个社区往往各说各话、难以对上频道。OpenAI 与 Hugging Face 事件之后，不少安全从业者指出 OpenAI 连基本的预防措施都没做；而 AI 安全的倡导者（无论来自 AI 公司内部还是外部）也正确地指出，AI 能力的快速提升意味着现有的控制手段可能很快就会失效。
融合这两种视角、弥合两个社区之间的鸿沟，价值很大。AI 公司过去忽视了已有的控制手段，应当加大投入。但仅靠现有手段可能不够，必须针对日益增强的智能体能力做出大刀阔斧的更新。举个例子，Artem Dinaburg 最近发文指出，能力强的智能体可以自行开发新的漏洞利用方法，因此不能再默认用标准虚拟机就能沙箱化这些智能体。如今各公司已经在生产或研究环境中大规模使用数以百万计的沙箱智能体，我们必须大幅提高对沙箱安全的审查力度，比如定期用能力越来越强的模型作为攻击方智能体，对沙箱进行压力测试和加固。类似地，我们还需要全面提升网络基础设施，以抵御强大的网络智能体。
与此同时，也存在许多简单直接的干预措施，无需依赖新的技术突破。例如，尽管尚未针对提升控制与监控能力采取特定干预手段，但如今的 AI 智能体已在控制方面表现出一定的辅助价值。比如，METR 在其分析中采用了现成的模型，结果发现这些模型依然有用。我们预计，通过恰当的激励机制，可以继续拓展我们的控制工具库。这些措施可包括针对提升控制能力对模型进行微调、开发用于改进监控的基准测试和排行榜、构建分层机制（如设置独立的智能体层来监控其他智能体监控者）以增强控制和监控工作的稳健性、使用不同模型家族且处于不同温度下的模型集成等。
可用性与控制之间的权衡：即便安全专家参与了 AI 开发，他们也可能难以为控制干预措施辩护，因为这些措施往往牺牲了可用性。例如，Claude Code 刚推出时，许多人使用了一种名为“危险地跳过权限”的模式，在无限制的情况下使用它。尽管让智能体在未获许可的情况下执行任意操作存在明显的风险。
但这种权衡并非固有权属。在过去几个月里，Anthropic 和 OpenAI 分别在Claude Code和Codex中发布了自动审查模式。这些模式会对智能体拟采取的操作运行分类器，以防止有害或破坏性操作，检测智能体检索内容中潜在的提示注入，并在必要时暂停智能体，提请用户审批相关事宜。
相较于无人类介入的情况，这不仅是安全性的提升，也优于要求对每个操作都进行人工审批的做法。后者极易导致“警报疲劳”，使得审批沦为走过场。Anthropic 最近的一项评估发现，与完全人工审批及“危险跳过权限”模式相比，自动模式有效阻止了有害操作。
编码智能体使用几十种此类控制手段。其他干预措施包括将智能体置于沙箱中运行、设置用户需审批的命令列表，以及保护智能体配置不被其自身修改，这些配置由用户设定以防止智能体自行编辑。
这表明我们可以通过新的控制手段同时提升安全性和 可用性。我们认为，在不牺牲可用性的前提下，优化控制手段的空间很大。值得注意的是，尽管自动模式非常有用，但直到 2026 年 3 月才推出，此时距离 Claude Code 发布已过去一年多，编码智能体也早已成为主流，而该功能并不需要任何新的技术突破。
混淆能力与权力： 在“AI 作为常规技术”的文章中，我们指出，持有超级智能世界观的人常常将 AI 系统的能力与其强大程度（指在现实世界中采取行动的能力）混为一谈。其隐含假设是，一旦模型能力大幅提升，它们在现实世界的影响力也会随之增强。
但正如我们在文章中所述，能力强并不等于拥有权力。如果你假设能力强的模型会被赋予权力，那么对齐就是仅存的保障。另一方面，在“AI 作为常规技术”的观点下，我们可以选择是否赋予 AI 系统权力。我们可以通过政策干预（如提高透明度、加强审计、对安全事故追责）来激励企业实施控制技术。
AI 失控风险的两种视角对比。以此分析 OpenAI/Hugging Face 事件：在超级智能视角下，修复「对齐失准」是主要技术干预手段；而在我们的视角下，改进监控薄弱、缺乏人类监督、沙箱安全等控制类干预措施，可能更见成效。（图自《AI as Normal Technology》。）
控制手段能否跟上 AI 能力的步伐？
有人质疑以控制为核心的干预思路，认为随着 AI 系统能力增强，控制手段终将失效。比如，围绕 OpenAI 为 GPT-6 Astra 所做的架构选择会削弱思维链监控能力，已经引发了大量讨论。
但要注意，这不只是预测需要哪些技术能力、或者断言安全竞赛必然陷入逐底竞争的问题。还有很多技术和政策杠杆可以激励对控制手段的投入。如果企业要为失控系统造成的危害承担责任，那么控制类干预就是一种在不牺牲控制的前提下取得进展的直接途径。
在技术层面，即便思维链监控不再适用于监督，仍有许多相互独立、正交的 AI 控制机制可用。我们可以监控环境和沙箱状态、工具调用、agent 间通信以及内部激活。
事实上，大多数外部监控都依赖此类通道，因为原始的思维链不可获取。根据公开文档，auto 模式运行在模型的工具调用和输入上，而非模型的思维链。我们自己的研究发现，此类外部控制机制极具价值。
思维链监控甚至可能降低 监控的有效性，因为思维链中可能包含（错误）陈述，例如声称当前环境是模拟场景，从而干扰监控器。Anthropic 近期的一份报告指出：
我们的离线监控器很可能未能标记出 Mythos 5 事件——它仅标记了约 1% 的操作。Mythos 5 的思维链表明环境是模拟的，这误导监控器认为该操作是被允许的。当我们移除思维链，仅向监控器展示用户轮次、工具调用和工具结果时，标记率跃升至约 50%。
尽管如此，失去监控 AI 系统的通道是 AI 公司的技术选择，政策可以对此进行制约。我们的论点是，如果公司需要内部化失控 AI 系统的成本（例如通过明确或加强责任的政策变更），他们将进行必要的投资。我们将在下一节讨论一些此类提议。
对控制的需求也催生了市场激励，促使第三方公司开发工具，并为其他组织提供 AI 控制的专业支持——这些组织既包括 AI 公司，也包括采用 AI 的企业和第三方。Apollo Research 等公司明确以论点来推动其相关工作。它们已与 AI 公司及 AI 行业以外的企业合作开展业务。
尽管科技公司具备内部实施这些干预措施的专业能力，但 AI 控制手段如何扩展到这些公司之外？以网络安全为例，咨询公司的收入中来自网络安全咨询的比例正迅速增长，它们通常也负责相关的落地实施工作。对于规模较小或缺乏技术专长、无法内部部署 AI 控制的公司而言，这一功能可以通过组合现成的 AI 控制产品和咨询公司的专家支持来实现。
我们还会看到针对特定应用场景的控制措施，因为某些控制手段需要了解应用的使用上下文。例如，专注法律 AI 的公司可能会实施控制以减少幻觉，而专注医疗 AI 应用的公司则会实施控制以保护用户的医疗数据等。4
智能体基础设施的发展也可能发挥重要作用。这可能包括提供智能体特定的委托凭证，赋予其适当级别的访问权限，而不是让智能体使用用户的提升权限和身份信息运行，并将智能体与委托任务的实际用户绑定起来。我们预计，在未来几年内，对此类干预措施的需求将急剧增长。这不仅是构建工具的问题，我们还需要培养 AI 控制领域的专家。
AI 控制应成为一份工作（以及每项工作的一部分），就像网络安全一样
在“AI 作为常规技术”一文中，我们写道：
随着越来越多的体力和脑力任务可以被自动化，我们预计人类的工作和任务中与 AI 控制相关的比例会不断上升。如果这听起来太激进，不妨回顾一下：这种对“工作”概念的近乎彻底的重新定义，历史上早已发生过。工业革命之前，大多数工作都是体力劳动。随后体力任务被逐步自动化，这一趋势延续至今。在这个过程中，人们发明了大量操作、控制和监控物理机器的方法，如今工厂里的人所做的工作，一部分是“控制”（监控自动化流水线、为机器人系统编程、管理质量控制环节、协调设备故障的响应），另一部分则是机器暂时还不具备相应认知能力或灵巧度的任务。
这一趋势已经在 AI 应用最前沿的职业中显现，尤其是软件工程。如今越来越多的软件工程师是 agent 操作者，而不是手写代码的程序员。但这次事件表明，还需要补上几件事：
需要有人专门从事 AI 控制工作，尤其是在运行大量高能力 agent 的场景下。5
到目前为止，工程师们都是靠试错和耳濡目染来学习 AI 控制的。应该投入更多精力提炼其中的原则，并教会人们如何快速掌握实时监控强大 agent 的方法。
如前所述，在改进控制工具和培训之外，还需要配套的组织变革和治理规范。要并行运行数万个放宽护栏的 agent，需要什么样的团队和流程？我们还不清楚，但肯定不只是 OpenAI 现在做到的这些。
我们预计，随着 AI agent 能力的提升，AI 控制会变得越来越重要，原因在于 agent 三难困境：开发通用、无需人工监督、且部署在错误代价高昂环境中的 AI 系统，已被证明极其困难。
造成这一现状的原因之一是 AI 智能体（agents）可靠性的缺失。我们预期，即使随着任务复杂度的提升，智能体的可靠性会逐步提高，但可靠性仍将持续落后于能力水平的增长。这意味着在处理需要前沿能力的任务时，人类监督仍不可或缺。
另一个原因涉及安全性：当错误的代价高昂时，即便发生概率极低，也必须加以防范。此时，依赖人工监督来控制 AI 的局限性，将超过完全自主部署带来的收益。
最后，AI 控制（AI control）亟需成为一个独立的研究领域。令人惊讶的是，这一领域至今尚未正式确立。目前，AI 控制常被简单视为将已知网络安全原则应用于 AI 的场景，重点在于开发更好的工具。然而，当对手是 AI 智能体（或其集群）而非人类时，博弈规则已然改变。以下是几个例子：
针对人类对手有效的沙箱（Sandboxes），在控制 AI 时已被证明远远不够。我们如何构建加固程度更高的沙箱？或许是时候加强对形式化验证技术的研究了。
智能体的“安全策略”往往在提示词中非正式地规定，由此产生的灰色地带是许多对齐与控制失败的原因。我们能否构建一个翻译层，将人类的自然语言意图转化为可审查、可验证的正式规范，进而实现自动强制执行？6
正如我们所论述的，用智能体监控智能体既有帮助又必不可少，但目前尚不可靠。我们能否训练模型和智能体，使其在可靠监控任务中表现卓越？
人们原本以为，网络安全研究界会 eagerly 抓住这一契机。AI 控制蕴含着有趣、重要且紧迫的问题，其重要性可能超越过去几十年的任何技术进展。然而，该领域的反应却是一片集体叹息。别说开辟新研究领域了——在传统网络安全会议上，探讨这一系列新问题的论文几乎为零。（相比之下，提示注入似乎已吸引了不少研究，但需注意关键区别：在该场景下，AI 模型是目标而非攻击者。）
换言之，该群体对此次事件的反应似乎认为这仅是一个工程实施层面的问题，而非研究难题。若果真如此，局势已严重失控。若 AI 控制手段停滞不前，而 AI 的攻击性能力持续进步，控制效力将随时间推移不断衰减。
AI 政策可激励 AI 控制投资
AI 公司在 AI 控制领域的投入主要有两方面商业驱动力：声誉成本与法律责任。就前者而言，若 AI 失败会导致高昂代价或引发法律追责，企业与个人在使用 AI 模型时，将迟疑不敢赋予自主智能体关键决策权。就后者而言，部署导致安全失效的 AI 智能体，AI 公司自身也可能面临法律责任。
受此类激励机制影响，在 Hugging Face 事件发生后，OpenAI 暂时中止了 ExploitGym 上的评估，暂停内部模型的训练与推理，重构了受损基础设施，限制了对底层模型的研究访问权限，明确接受研发速度下降的成本，并加大了对 AI 控制的投入。
然而，现有激励机制仍存在缺口：客户往往难以评估安全性，公司可能因预期收益大于成本而忽视安全措施，且由于责任界定不清及 AI 保险缺乏行业标准，难以准确评估不安全部署的后果。
AI 政策需系统性填补这些缺口。基于《AI 作为常规技术》中的建议，我们认为政策在缓解失控事件中可扮演三重角色：明确并强化法律责任、解决责任机制无法化解的市场失灵、以及强制透明度以提升公众认知并减少 AI 影响的不确定性。
1. 公司应为其运营的智能体造成的损害负责，即便这些有害行为并非公司本意。这种责任不仅限于发布给客户的产品，也应涵盖开发和评估过程中的内部使用。现有侵权法已经提供了追责途径，但其在 AI 领域的适用仍存在许多悬而未决的问题，比如哪些预防措施算合理、公司在何种情况下要为意外行为担责等。7 例如，政策制定者可以明确：在没有适当的隔离和监控措施的情况下运行强大的智能体，就属于过失。智能体“本应安全运行”这一事实，不能成为未采取控制措施防范其失控的借口。追责还能激励企业投入更多资源招募和培养 AI 安全控制专家，以预防此类事故。
2. 即使公司承担了责任，市场失灵依然存在，政策必须加以应对。即便公司在使用 AI 造成的损害上负有明确责任，当鲁莽行事无法被追责机制有效遏制时，市场失灵仍有空间。例如，如果一家鲁莽部署智能体的公司估值低于其造成的损害，该怎么办？一种应对方案是强制要求购买保险，以此既激励更安全的部署（以降低保费），又能补偿受害者。
市场失灵的另一个例子是安全投入具有正外部性（却无法转化为收入）。例如，让学校、医院和关键基础设施运营商等网络防御能力薄弱的一方使用能力强大的模型，有助于他们发现并修复漏洞，让全社会受益。激励这一点的途径之一是为防御性研究和防御性 AI 的应用提供公共支持。政策还应促进 AI 公司与防御方之间的协作，包括让合法的防御方能够调查攻击而不被过度宽泛的安全拒绝机制所阻碍。我们将在第二部分讨论这些防御性用途。
3. 提高透明度的措施应使外部人士能够识别失控风险，并评估企业是否正在妥善管理这些风险。在《作为常规技术的AI》一文中，我们提出了多项旨在提高透明度、减少人们对AI影响不确定性干预措施，包括事故报告制度、独立审计、举报人保护以及安全研究的安全港。面临诉讼责任的威胁可能会使企业在调查和披露风险时更加犹豫，尤其是当这样做可能增加其法律风险敞口时。透明度要求有助于防止企业通过隐瞒问题而非解决问题来应对责任。
例如，有人对我们关于AI控制的建议提出反对意见，认为在控制措施上投入资源，可能会使“未遂事件”发生的时间变得难以确定。就像 Hugging Face 事故一样，假设 OpenAI 的智能体试图入侵外部组织，绕过了几道基本过滤，而这一行为最终是因新型或高级监控技术才被发现的。这就构成了一起“未遂事件”。要求上报未遂事件，有助于我们理解对齐失败仍然存在于哪些环节，以及哪些控制机制在防止失控事故方面行之有效。Arnold 和 Llerena 探讨了针对现行透明度法律的其他潜在改进建议。
我们应如何落实透明度和审计要求？一种建议机制是依托独立验证机构（IVOs）：由政府授权的专业组织，负责制定技术标准并验证 AI 公司是否达标。为了使这种监督真正对 AI 管控发挥作用，评估方必须获得对系统及测试控制有效性的必要证据进行有意义层面的访问权限，包括在内部研究环境中。虽然我们对使外部访问成为可能的具体机构机制不做固执限定，但我们对增强透明度的干预措施——包括 IVO——能实现所必需的监督、进而发现故障并评估 AI 公司所采取的预防措施，持谨慎乐观态度。第二部分：AI 对网络风险的影响存在极大不确定性。但无论结果如何，我们需要做的事相对清晰。
在本部分中，我们的观点是：
当前确实存在危机，但它专指网络安全，而非泛泛的 AI 安全、对齐或失控问题。
以利益为导向的黑客——与合法企业一样——面临采用壁垒，难以迅速采用新的 AI 能力以扩大破坏。短期内 AI 智能体能为他们带来多大增强，尚不明确。
但这绝不是令人安心的理由。非利益驱动型威胁行为者种类繁多，包括国家支持的黑客团体、恐怖组织、骇客行为主义分子、私刑者以及受个人怨恨驱动的人。此外，还有脱离任何人控制的失控智能体的可能。
这些行为者大多并非理性行动者，很难预测他们利用先进 AI 会造成多少额外损害。尽管如此，我们必须假定来自这些来源的攻击变得极为常见。
不幸的是，对齐与控制机制对于恶意行为者使用开放权重模型并无助益，因为那些保障会被也将会被剥离，且开放权重模型的进攻能力往往会迅速追赶前沿。我们必须依赖下游防御与韧性，即四层框架中的后两层。
此前早有许多警告，但直到几个月前，我们仍缺乏投入足够资源、快速行动的紧迫感。幸运的是，有迹象表明情况正在改变，但仍存在重要缺口。