管理前沿人工智能风险:从训练到部署
前沿模型的能力正在快速提升,我们对模型的理解、对齐与安全保障能力必须跟上甚至领先于这一速度。我们对模型的开发和发布节奏有所控制,包括在需要更多时间满足安全标准时选择暂停 内部训练(opens in a new window),或者暂缓发布 GPT‑6.1 Astra 这样的模型。我们还引入了安全案例等新流程,要求在整个训练过程中提供更强的对齐行为证据。这些要求确实拖慢了模型发布节奏,但也让我们对安全推进更有信心。
自 7 月的 Hugging Face 事件以来,我们强化了在模型训练、测试和部署环节的安全保障与对齐要求。本文将介绍我们如何在从高度隔离的训练环境到电脑上使用的 Codex 部署的各个阶段评估和管理风险。我们在每个阶段都会对模型和防护措施进行评估,必须通过安全审查才能进入下一阶段。
模型全生命周期的纵深防御
我们采用纵深防御策略,通过多层防护降低对任何单一保障措施的依赖。即使某一层失效,其他层也能帮助防止危害、限制影响范围,或者及时告警让我们介入处理。
我们的防护体系分为四个层次:
有效的监控依赖于模型的可监控性(monitorability),即监控手段从模型的推理和行动中可靠地发现错误或不安全行为的能力。例如,一个在思维链(CoT)中会说出自己想作弊意图的模型,比隐藏这一信息的模型更容易被监控。我们在训练期间和部署之前都会评估可监控性,持续开发更好的测量方法(opens in a new window),并研究影响它的因素(opens in a new window)。
Hugging Face 事件说明,仅靠沙箱不足以管控能力极强的模型。目前,我们监控模型在各类内外部部署环境下的表现,包括所有使用工具的内部部署。
在模型开发与部署的三个阶段,各防护层的作用有所不同:
研究阶段:在受控的沙箱环境中训练、测试和使用模型。
内部部署:OpenAI 员工在实际工作中使用模型。
外部部署:模型向更广泛的人群和组织开放。
我们在不同阶段依赖不同的防护层。训练期间,由于对齐效果尚不确定,我们更依赖沙箱和监控。随着部署阶段模型访问权限的扩大,对齐和系统级控制的重要性日益凸显。每个阶段,我们都会评估综合防护是否匹配模型的能力与访问级别。相关决策可能由安全咨询小组(SAG)审查,并接受 OpenAI 基金会董事会下设的安全与安保委员会(SSC)的监督。
研究阶段:在沙箱环境中管控模型
在研究阶段,我们通过评估模型来增强对其对齐特性的信心。由于尚不能完全依赖对齐来防止危害,我们依靠安全机制和沙箱严格限制模型的访问范围和行为。
基于当前对齐研究、监控系统及互联网基础设施安全的现状,我们认为负责任的做法是在没有实时互联网访问的情况下训练前沿模型(详见此处)。Hugging Face 事件之后,我们大幅重构了内部研究系统,利用以下手段对模型进行管控:
限制模型权限的沙箱
将工作负载与底层计算机隔离的虚拟机
切断整个集群与互联网连接的网络安全和云边界
模型仍处于评估阶段。部分模型尚未完成公开发布所需的安全训练、对齐审计和审查。
前沿研究场景会放大风险。某些研究任务需要更具雄心的配置,这使得模型在持久性或能力上超越了外部部署时的典型表现(例如,解决Navier-Stokes 问题需要一个由 10,000 个智能体组成的团队)。
大规模训练运行缺乏直接的人工监督。与典型的 Codex 会话不同,我们的训练工作负载涉及大量的模型操作,没有人员逐个跟踪每次交互。
内部部署:测试对齐,密切监控行为
在广泛发布之前,员工会从沙箱化的前沿模型研究使用切换到无沙箱的内部使用,例如让员工在 ChatGPT 中访问该模型。这让我们更好地理解模型在实际环境中的行为(在新窗口打开),并为部署决策提供依据。
在此阶段,我们允许模型访问更广泛的互联网、我们的 Slack、代码库以及内部基础设施。这带来了重大的风险变化,因为模型的操作现在直接影响了我们用于构建和运行 OpenAI 的系统。在内部部署期间,我们需要更多地依赖模型对齐、系统安全防护和监控,而非安全控制措施。
在将前沿模型部署到沙箱外部之前,必须首先通过可监控性测试。我们有一套对齐评估方案,既测试具体的对齐失败模式(如规避安全或安全限制),也测试倾向性的广泛指标(如重新采样内部 Codex 轨迹并检查是否存在失配)。你可以在最新的GPT‑6 Astra 系统卡片中了解更多关于我们对齐性和可监控性评估的内容。
我们参照生产环境配置,增加了一层系统级分类器作为额外防线,用于防范网络滥用、生物武器化等前沿风险。此外,员工使用 Codex 时通常需要通过 Auto-Review(opens in a new window),它会评估潜在的高风险操作,并将结果反馈给用户。
最后,在内部部署期间,我们对每一次前沿推理中的失准行为进行监控。由于此时模型已拥有更高的权限,可以访问内部信息和系统,因此数据泄露(即向未授权目标发送敏感数据)等风险的检测尤为关键。监控也有助于我们调查新型失准现象(opens in a new window)。
对外部署:大规模防范滥用与失准
公开部署意味着模型将面对多得多的用户、任务和环境,风险的规模和种类随之上升。在这一阶段,我们还需要防范恶意行为者故意诱导模型造成危害。
公开发布前,模型和系统防护措施必须满足我们的对外部署安全要求。我们通过以下方式进行评估:
执行更大规模的对齐与安全评估。针对前沿模型,我们会用内部自动化红队工具进行新一轮自适应测试,对模型的鲁棒性进行压力测试。能力和安全评估的结果会发布在系统卡(opens in a new window)中。
针对能力最强的模型,我们还会邀请第三方进行测试,对我们的滥用防护措施和模型本身的对齐水平进行压力测试。
检查内部部署阶段产生的监控警报,追踪基础模型对齐水平是否出现变化。
除了“同步”防护措施(例如模型安全训练和系统分类器),在对外部署中,我们还依赖离线执行与调查。这些团队结合扩展的智能体调查员与人工审查,检测并识别潜在威胁行为者,涵盖网络滥用、生物武器化、蒸馏,以及模型本身的不一致行为。离线执行尤其有助于收集跨账户的信息
