← 文章 / 芯片硬件
NVIDIA 博客 42分钟前 · 2026-09-01 05:07:38 · 1 阅读

XPU 如何成就世界级 AI 工厂

要实现规模化的智能产出,AI 工厂必须全天候不间断运行,其经济性取决于实际交付的产出指标:每秒 token 数、每瓦 token 数、每个 token 的成本、利用率以及正常运行时间。

这要求 AI 基础设施从设计之初就作为一座完整的工厂来打造,而非简单堆砌独立的加速器。

正在自研 XPU 的超大规模云厂商和 AI 原生企业,需要考虑的远不止 XPU 本身,而是整个 AI 平台的设计与开发,包括纵向扩展和横向扩展网络、机架级架构、工厂级软件以及成熟的供应商生态。

在 AI 工厂规模下,这条路径复杂且成本高昂,是 XPU 快速上市的根本性障碍。

打破这一瓶颈的关键在于:将自研 XPU 与经过验证的成熟基础设施相结合,让建设者能够把创新集中在最关键的部分,同时在其余环节复用既有技术。

NVLink Fusion 正是为此而生,它将 XPU 接入 NVIDIA 全球领先的 AI 基础设施,为半定制 AI 工厂提升性能、加速上市、降低风险。

以高速纵向扩展释放 XPU 性能

在运行万亿参数模型、mixture-of-experts 架构以及智能体 AI 等现代工作负载时,如果纵向扩展网络跟不上节奏,利用率就会下降,每个 token 的成本随之上升。

纵向扩展网络方案必须在三个维度上表现出色:

  • 交付性能:端到端网络性能、网络内计算以及成熟的软件集成。
  • 工厂级韧性:正常运行时间、持续的健康监测与遥测,以及在工厂持续运行前提下的组件级可维护性。
  • 平台成熟度:通过使用成熟的技术栈(已在大规模部署中验证并实现了投资回报)来降低运营风险。

以 NVLink Fusion 为例,它将 XPU 纳入 NVIDIA NVLink 纵向扩展域。第六代 NVLink 在 72 个 XPU 的域内提供领先的高带宽、低延迟网络。端到端 XPU 间传输延迟比基于现成以太网的其他方案低 3 倍,包处理速率高 10 倍。

从端到端性能来看,NVIDIA GB300 NVL72 系统相比未采用 NVL72 的配置,能显著提升吞吐量并改善交互体验;未来基于 NVLink 路线图的配置将支持多达 1,152 个加速器以及共封装光学器件。

一张帕累托图,对比 GB300 NVL72 与 B300 在 DeepSeek-V4-Pro 模型上(输入序列长度 1K、输出序列长度 1K)以单 GPU 每秒 token 数衡量的推理吞吐量,并在不同单用户每秒 token 数的交互水平下采样。在 70 到 100 tokens/秒/用户的帕累托曲线中段,GB300 NVL72 的吞吐量是 B300 的十倍以上。
72 GPU NVLink 纵向扩展域使 GB300 NVL72 在单 GPU 吞吐量和交互性上均优于 NVIDIA B300。数据来源:NVIDIA AI 推理性能基准页面。

NVLink Fusion 还包含 NVIDIA NVLink-C2C 技术,用于将 XPU 连接至 NVIDIA Vera CPU 或其他生态合作伙伴的 CPU,能效相比 PCIe 接口最高提升 6 倍,有助于打通智能体系统中控制层与计算层之间的壁垒。

面向开发与部署的成熟技术栈与生态

开发自研 XPU 的团队往往低估了将 XPU 创新落地到数据中心部署所需的工作量和复杂度,其中包括:

  • 集成高速 CPU 接口与纵向扩展接口
  • 采购并验证纵向扩展网络方案
  • 设计计算托盘与交换机托盘
  • 设计与验证机柜架构,涵盖散热与供电
  • 集成安全与存储模块
  • 管理复杂的供应商生态

理想的平台应提供上述全部能力,使团队能够聚焦于核心创新,其余环节直接采用成熟方案。

NVLink Fusion 得到了一个面向快速开发、集成与部署的生态体系支持,覆盖 ASIC 设计、CPU 以及 IP 和光互联合作伙伴。

"NVLink Fusion 让客户能够根据其关注的工作负载需求,自主选择最合适的 CPU 架构、性能水平和软件能力,"Intel 数据中心硅工程副总裁兼总经理 Tim Wilson 表示。

NVLink Fusion 的采用方还可以使用 NVIDIA MGX 机架级架构,以及与基于 MGX 的系统(例如 NVIDIA Vera Rubin NVL72)相同的供应链。制造合作伙伴负责设计与集成,而 MGX 供应商则提供机架、散热、电力以及新兴 800 VDC 设计的基础模块。

"在 Vera Rubin [NVL72] 这代产品上,我们正朝着制造产线上近 100% 自动化系统组装的方向迈进," QCT 和 Quanta Computer 产品与解决方案负责人 Jack Luoh 表示,"如果 XPU 接入 NVLink Fusion,这些投入大部分都可以复用。"

NVIDIA AI 基础设施平台同时具备纵向集成与横向开放的特点。NVLink Fusion 的采用方可自主选择是否集成 NVIDIA Rubin GPU、Vera CPU、共封装光学交换机、ConnectX SuperNIC、BlueField DPU、Mission Control 软件,以及涵盖 NVIDIA Vera Rubin NVL72、Vera CPU Rack、LPX、STX 和 SPX 在内的整机柜解决方案。

通过基础设施标准化管控风险

AI 工厂的规划无需等待芯片到位——电力采购、机房设计、散热、机柜布局与网络架构往往在最终加速器配置敲定之前就已启动。将数据中心锁定在单一芯片上会带来进度风险。

不同的工作负载适合不同的加速器,包括 XPU、GPU、CPU 和 LPU。GPU 系统可能与半定制系统并存,分别承担训练、后训练、推理、检索和推理服务。

"NVLink Fusion 项目的价值在于……客户可以先用 NVIDIA GPU 部署其机柜级方案,然后再以不同的节奏独立推进自家 XPU 的研发," MediaTek 企业高级副总裁、数据中心与计算业务群总经理 Vince Hu 表示。

NVLink Fusion 通过统一的架构来解决这些挑战。无论是基于 XPU 还是 GPU 的系统(例如 Vera Rubin NVL72),都可以共享机柜空间、网络、散热、供电和管理系统。运营商可以先推进基础设施建设,把具体的芯片组合方案放后面决定,后续再根据工作负载需求、芯片供应和业务优先级灵活调配算力。

芯耀辉(GUC)董事长兼首席战略官庄建鑫(Juang)表示:"NVLink Fusion 让超大规模云服务商和定制 ASIC 设计商能够集成自己的定制 CPU 或 XPU,将 NVIDIA 的技术与第三方方案桥接起来,打造统一的机柜级架构。"

以工厂模式设计、验证与运营

工厂建设成本高昂,一旦出错返工代价极大。因此必须在动工之前对基础设施进行全面验证。NVLink Fusion 与 NVIDIA 的 NVIDIA DSX AI 工厂参考架构相契合:把建筑、电力、散热、算力和网络进行协同设计。NVIDIA Omniverse DSX AI 工厂蓝图提供了数字孪生和开放参考设计,专为吉瓦级 AI 工厂打造,使合作伙伴能够在部署之前就同时对设施和技术进行建模。

在机柜层面,可维护性也是性能的一部分。参考计算托盘采用 100% 液冷方案,没有风扇、线缆和水管,而且在拆除托盘时,机柜其余部分仍可正常运行。NVLink 交换托盘同样采用液冷设计,支持在维护期间持续运行。

亚马逊旗下 Annapurna Labs 高级硬件开发经理 CC Lee 表示:"借助 NVLink Fusion,我们可以直接采用经过验证的 NVL72 机柜设计来加快产品上市速度,同时对接多家供应商,让产品更快交付到客户手中。"

软件层补齐了工厂的最后一块拼图。NVIDIA NCCL 用于分布式工作负载,NVIDIA Dynamo 和 NIXL 用于资源解耦,NVIDIA Mission Control 用于集群管理、遥测和调试——这些软件帮助运营商将异构 AI 基础设施作为一个协同系统来运行。

有了 NVLink Fusion,XPU 终于能够匹配世界级的 AI 平台,让超大规模云服务商和 AI 原生企业构建统一、半定制的 AI 工厂,将众多厂商的优势汇聚成任何一家公司都无法独自打造的基础设施。

了解更多关于 NVLink Fusion 的信息。

原始来源: NVIDIA 博客

评论 (0)