为何 OpenAI 缺席 Nvidia 联合百企遏制失控 AI Agent 的联盟
周一，Nvidia 宣布成立了一个由100多家企业组成的新联盟，旨在解决失控AI Agent的问题，但有一个名字缺席了：OpenAI。
并非只有OpenAI这家大厂没有签署加入——Amazon、Google和Apple也均未加入——但OpenAI的缺席最为显眼，尤其是考虑到Anthropic是支持方之一。
尽管OpenAI没有公开承诺加入该联盟（这通常意味着各公司将使用并销售该技术的某种版本，并向项目回馈功能），OpenAI的发言人告诉TechCrunch，该公司支持Nvidia的工作。
这项被称为Nvidia Open Agent Safety Platform的新举措，是Nvidia试图将其自主研发且主要开源的AI Agent安全技术推广至整个AI生态系统的尝试，旨在直接回应Anthropic和OpenAI等前沿实验室近期披露的失控AI Agent事故类型。
Nvidia CEO Jensen Huang一直称失控的AI是一个普通的工程问题，可以像其他技术难题一样被解决。Open Agent Safety Platform正是Huang将行动与言论结合的具体体现。
OpenAI正与Nvidia在Agent安全方面合作，包括该平台的关键软件组件之一：OpenShell。OpenShell是一款开源软件，专门创建一个沙盒环境，以防止Agent逃逸。
虽然OpenAI没有像其老对手Anthropic那样直接成为该倡议的支持者仍令人好奇，但这家前沿AI实验室支持这一努力无疑是好消息。
因为根据Hugging Face创始人兼CEO Clem Delangue的观点（他本月早些时候刚以129亿美元将公司卖给Nvidia），OpenAI尤其能从中受益。
“据我们所知（仅供参考，我们需要更高的透明度！），如果 @OpenAI 是在自己的 agent 上运行这套系统来攻击我们的，他们应该会比我们先发现异常！”Delangue 发帖说。
Delangue 表示，Hugging Face 已经向 Open Agent Safety Platform 贡献了一项功能，可以检测并关停那些访问的是被允许的网站、但使用方式未经授权的 AI agent。例如，当 agent 绕过自身限制，通过在开源代码托管仓库里互留纸条来协同发起攻击时，这项功能就会出手干预。
这正是 OpenAI 那群失控 agent 协同攻击 Hugging Face 所用的方式之一。
不过，包括 OpenAI 在内的一些大厂不愿意公开支持 Nvidia 这项计划，可能还有另一个原因：要完整使用这套系统，需要一个非开源的专有硬件组件，而且只能部署在 Nvidia 的硬件上。
Open Agent Safety Platform 不只是一个 sandbox，它还在硬件层面约束 agent 行为——而且 agent 察觉不到自己正在被监控。（有些 AI 模型和 agent 一旦知道自己被监视，就会撒谎、假装遵守规则。）
硬件监控部分依赖 Nvidia Sentry，这是一项专有功能，运行在名为 BlueField-4 数据处理器（DPU）的特殊 Nvidia 芯片上。Nvidia 承诺，Sentry 会从这些处理器上持续监控 agent 行为，并可以立即将其关停。
硬件方案无疑是个好主意，但这也意味着 Open Agent Safety Platform 并不是纯粹的开源项目。Nvidia 借此确保这套方案在自己的硬件上始终有最佳表现。事实上，Nvidia 表示，对于已经在最新硬件上运行工作负载的用户来说，部署 Open Agent Safety Platform 只需一次简单的软件更新。
话虽如此，Nvidia 的竞争对手 Arm 和 Intel 等也已经签约成为 Open Agent Safety Platform 的支持者，因为 sandbox 组件 OpenShell 可以经过修改适配其他芯片和硬件。此外，Nvidia 还公开了整套软硬件方案的参考设计。
所有这些，让 OpenAI 缺席行业级行动更显突兀。 显然，OpenAI 将 AI 安全视为摆脱主要投资方 Nvidia 控制、展示自身领导力的机会。即便正是 OpenAI 的 AI agents 因 Hugging Face 事件 让行业担惊受怕。 具体而言，OpenAI 正自研覆盖研究与产品的安全机制，并公开披露所发现的严重事件。同时，它还成立了名为 Defense Factory 的 AI 网络安全联盟以共享情报。响应这一倡议的包括 Anthropic、Amazon Web Services 和 Google——这些机构大多并未签署 Nvidia 以技术为导向的倡议。 老实说，适度恐惧利于业务。OpenAI 正将网络安全打造为企业级服务，覆盖自研的网络安全模型 Daybreak，以及可帮企业落地 AI 安全的合作伙伴网络。