Anthropic 独立评估机构合作最新进展

第一章：我们为什么要与独立评估机构合作

上个月，我们承诺对我们的模型和安全实践进行更强大的独立第三方评估。我们还签署了白宫《超级智能协议》，承诺与独立外部审计或评估机构合作。今天，我们宣布已开始向评估前沿 AI 模型的非营利组织 METR 的一个团队提供类似员工的访问权限。

METR 将公开其风险评估结果。过去一年，我们已与 METR 合作对我们的 Risk Reports 进行了多次审查。我们还在与 SecureBio 和 Accenture 合作开展评估，并正在与包括 Hugging Face 在内的多家其他组织进行早期洽谈。

下面，我们将介绍与评估机构合作的具体方式。

我们为什么要与独立评估机构合作

随着模型能力不断增强，我们需要更完善的安全保障和更严格的风险评估。我们希望公开为自己的决策负责，但无法公开所有与安全工作相关的信息——其中一些可能被恶意行为者利用，另一些则涉及商业机密，例如算力和训练信息。因此，我们向第三方评估机构开放深度访问权限，由他们基于掌握的信息和推理，对构建模型过程中涉及的风险得出结论并对外分享。我们的目标是缩小评估机构与前沿 AI 公司自身对系统理解之间的差距。

要评估前沿模型，评估机构需要具备以下条件：

• 评估前沿模型能力的专业能力，包括了解评估可能出错的方式，例如 alignment faking。
• 独立性：不应持有被评估公司的股权，也不应在财务或运营上依赖该公司。
• 足够的访问权限，以便切实评估风险。除了接触最新模型之外，评估人员还需要了解这些模型的训练方式、我们的安全防护措施如何运作等等。
• 自由发布对模型或流程的观察和评估结果。

虽然这个类比并不完全贴切，但银行监管的运作逻辑与此类似。银行对自己风险敞口的了解远胜外部人士，因此监管机构会派驻审查员进驻最大的银行。当某家银行的风险行为可能威胁公众时，第三方要能提前察觉。

对 AI 行业来说，这是迈向强有力的安全监督的一步。我们正与多家评估机构快速推进合作，并积极摸索什么样的合作模式行之有效。我们承诺随时分享最新进展。

我们所说的“类员工访问权限”是什么意思

我们已为六名 METR 员工配置了公司硬件和办公空间，并开放了与我们内部风险评估团队大致相当的内部工具和系统访问权限。除少数明确定义的类别（例如客户数据、律师-客户特权信息，或我们的模型架构信息）外，我们鼓励 Anthropic 员工与他们共享信息，就像对待一位参与对齐风险工作的同事一样。¹

METR 将公开发布对我们风险水平、事件或做法的分析。Anthropic 无权否决其发布，但如果内容涉及预定义类别（如泄露机密知识产权），我们可以要求他们删减相关信息。（这些信息是否属于相关类别最终由 Anthropic 判定，不过 METR 保留就其获得的访问权限和信息水平作出某些声明的权利。）²

我们与 METR 的合作仅限于一个受可执行协议约束的小团队。其他 METR 员工（包括在其他项目上与我们合作的研究人员）都与该团队的工作相互隔离。嵌入式评估让少数符合资质、遵循 Anthropic 安全标准的人员能够近距离了解我们的运作方式。它不是其他组织获取我们信息（或我们客户和合作伙伴信息）的途径。

其他评估机构合作

我们正在推进其他几项合作。由于这些合作还处于早期阶段，目前向这些评估机构提供的信息较为有限，其发布权限也相应受限。开展这些早期合作的目的，是确保合作伙伴能够保护机密信息，并具备评估我们模型所需的资源和专业能力。随着合作的深入和信任的建立，我们希望能让更多独立评估机构全面参与进来。

我们正在为评估机构设计三个层级的访问权限。未来，我们希望有若干评估机构达到第三层级，每个团队都能发布自己对我们的风险状况和关键决策的独立分析。

第一层级：评估机构开展范围有限的风险调查。由我们决定为其提供哪些访问权限，评估机构发布研究结果需要经过我们的批准。

第二层级：评估机构无需我们的批准即可发布结果，并能接触更多信息。我们仍可以要求删除特定类别的信息，但评估机构可以公开发表看法，说明我们的删改是否合理。

第三层级就是我们与 METR 建立的合作模式，拥有类似内部员工的访问权限，发布权限与第二层级相近。

SecureBio 已完成对我们上一份风险报告的试评估并发布，目前正在审核我们八月风险报告中关于化学与生物武器风险的章节。这次审核完成后，我们将考虑开展访问权限更高的合作项目。³

我们正在与 Accenture 和 Faculty 推进一项雄心勃勃的合作，内容包括模型评估与红队测试、对齐评估、模型安全防护测试，以及在双方组织间建设相关能力。

我们是主动引入驻场评估机构的，并且我们认为每家前沿 AI 公司都应该这样做。

脚注

由于这些评估人员（类似银行审查员）也可能与其他公司合作，我们对无意泄露的风险保持谨慎。架构信息泄露风险较高，而与风险评估的关联通常较低。当架构信息确实高度相关时，我们一般会寻求分享，但这需要经过明确的内部审批。

02已于 10 月 16 日更新，以澄清 METR 目前与 Anthropic 的合作条款。

03已于 10 月 15 日更新，以澄清 SecureBio 目前与 Anthropic 的合作条款。