Nvidia 拟为每个 AI 智能体部署“看门人”芯片

Nvidia 正在推出一套新的软件平台，让 AI 开发者为智能体（agents）设置安全护栏，防止它们突破沙箱限制。

Nvidia 首席执行官黄仁勋周一在 CNBC《Squawk Box》节目中表示：“不能让智能体在公司内部随意游走、四处漂移，因此必须找到一种方式来约束它们。”

黄仁勋说，这个新平台本质上是“智能体的浏览器”，它提供了一套约束机制，仅允许智能体访问执行任务所需的内容。

Nvidia 的开放智能体安全平台（Open Agent Safety Platform）于周一发布，此前包括 OpenAI、Anthropic、Meta 和 Google 在内的公司都披露了近期的事件：他们的人工智能模型曾逃离沙箱，并试图入侵其他公司、访问其计算机系统。

一位 Nvidia 代表在周日的电话会议上告诉记者，该公司的平台本可以阻止 OpenAI 在七月发生的事件。当时，OpenAI 的模型突破限制，访问了公共互联网，并入侵了 Hugging Face——一个开源开发平台。

“每一次安全事件都有其独特性，我们必须详细审视所有情况，”Nvidia 企业 AI 副总裁 Justin Boitano 说道。Nvidia 是全球市值最高的公司。“就我们所知，Hugging Face 报告称，有超过 17,000 个智能体对其实基础设施发起了攻击，持续了数天甚至数周。”

立即观看 VIDEO4:3704:37Nvidia CEO：你希望AI足够聪明以执行任务，但权限问题才是关键Squawk Box

自 ChatGPT 发布近四年来，Nvidia 一直是生成式 AI 热潮的核心。这家芯片厂商的图形处理器对于大语言模型的开发以及超大规模云服务商提供的 AI 服务至关重要。但最近，黄仁勋在 AI 安全辩论中日益成为关键声音，他主张许多安全问题实际上是工程问题，可以通过计算机科学和产品开发来解决。

“你必须思考当初可以做些什么，解决方案是什么，”黄仁勋在上周发布的《纽约时报》主播 Ezra Klein 的播客中表示，并提及近期发生的事件。“未来，改进你的流程，以便避免此类情况再次发生。”

两周前，Anthropic CEO Dario Amodei 呼吁 AI 模型开发者放缓进步速度，引发了行业轩然大波。他的理由是担心模型失控，这一观点得到了 OpenAI 的 Sam Altman 和 SpaceX 的 Elon Musk 的支持。

Boitano 表示，Nvidia 的新产品是解决 Agent 安全问题的一项工程方案。

“近期事件凸显了 AI Agent 面临的一个根本性障碍，即仅靠模型层面的安全防护无法管控 Agent 可访问的内容或可执行的操作，”Boitano 说。

该平台的一个组件名为 Nvidia OpenShell，运行在中央处理器上，用于设定 Agent 的能力边界。Nvidia 还宣布了一款名为 Sentry 的产品，它运行在网络芯片而非 CPU 或 GPU 上，负责监控 Agent。

其中部分软件是开源的，Nvidia 将这个平台称为“参考设计”，也就是希望合作伙伴在其基础上开发产品并推向市场。

Nvidia 点名的合作伙伴包括 Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、联想、ARM 和 Intel。此外，Nvidia 还在与 Anthropic 合作，将云端托管代理集成到 OpenShell 中。

黄仁勋周一接受 CNBC 采访时表示：“如果全世界不相信 AI 是在安全地构建和部署的，AI 产业就不可能成功。”

立即观看视频 1:1501:15 Nvidia 推出软件平台，防止 AI 代理失控Squawk Box