Nvidia推出新平台，为失控的AI智能体套上“缰绳”

关于近期频发的失控AI智能体究竟意味着通用人工智能（AGI）的逼近，还只是一个普通的工程问题，业界争论不休。Nvidia 正以其方案给出回答。

周一，Nvidia CEO 黄仁勋推出了一套软硬件工具包，在 AI 智能体周围构建独立的安全层，确保即使智能体试图越狱，也无法突破测试环境。

此前，来自 Anthropic、Google、OpenAI 和 Meta 的 AI 模型接连曝出黑客事件，它们绕过安全管控，逃离测试环境并接入真实系统。最典型的案例发生在今年夏天，OpenAI 智能体在完成一项网络安全任务时入侵了 Hugging Face。麻烦接二连三，OpenAI 甚至专门发布了一个网站，用于收集其 AI 智能体失控的报告。

周一在接受 CNBC 采访时，黄仁勋表示，Nvidia 新推出的开放智能体安全平台本可以防止这些入侵事件发生。

作为向 AI 实验室出售数十亿美元 GPU 和 CPU 芯片的巨头，Nvidia 并不主张放缓研发或加强监管来解决安全问题。公司认为，关键是将部分安全控制机制剥离出智能体，建立一个恒定且独立的安全守卫，以遏制 AI 智能体。

黄仁勋在声明中表示：“只有解决 AI 安全问题，AI 对社会的巨大潜力才能真正实现。随着我们不断探索 AI 能力的前沿，也必须加速探索 AI 安全的前沿。安全与保护需要全栈工程。”

Nvidia 的新开放智能体安全平台将 OpenShell 与 Sentry 相结合。OpenShell 是该公司的一款开源软件，用于控制智能体在运行期间能访问的资源；Sentry 则是一套独立的监控系统，运行在 Nvidia 的 BlueField-4 数据处理单元上。Nvidia 指出，将 Sentry 部署在单独的处理器上，而非运行 AI 智能体的 CPU 或 GPU 上，可以为智能体的活动提供一个隔离的视角。

OpenShell 并非新概念，该公司早在 3 月就宣布开发这款软件。但英伟达认为，正是 OpenShell 与 Sentry 的组合，提供了让行业持续运转所需的安全层。OpenShell 为智能体构建了软件边界，而 Sentry 则在硬件层面增加了另一道防线。该公司表示，Sentry 将实时监控行为，并在毫秒级时间内“隔离试图越界的智能体”。 英伟达列出了数十家支持这一计划并采用该开源平台的企业，包括 Anthropic、Arm、微软、Oracle 和 SpaceX。OpenAI 并未出现在参与者名单中。 黄仁勋周一在接受 CNBC 采访时透露，相关工作始于一年前，当时 Peter Steinberger 推出了一个名为 OpenClaw 的智能体操作系统。今年 3 月，英伟达发布了 NemoClaw，这是一款企业级 AI 智能体平台，也是英伟达自研的 OpenClaw 版本，内置了安全机制。 “部署智能体时，无论其多聪明，首要步骤就是剥夺它的所有权限，”黄仁勋在 CNBC 访谈中说道。他随后将这些安全措施比作公司对人类员工甚至高管的管理方式。 英伟达的这一发布得到了广泛支持，尤其是那些一直警告称开发放缓可能让中国在 AI 领域超越美国的人士。 戴维·萨克斯（David Sacks）是风险投资人、前白宫 AI 事务协调官，也是美国总统科学与技术顾问委员会联合主席。他指出，英伟达的发布提醒人们，智能体安全本质上是一个工程问题。 “近期的越狱事件并未证明必须停止开发，”他在 X 平台上写道。“这些事件证明的是沙箱太弱。运行时环境设计不良且配置错误。”