NVIDIA NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施

AI 工厂必须支持越来越大的模型以及更复杂的推理工作负载。为了满足 AI 工作负载对算力的无尽需求，超大规模厂商和 AI 原生公司正在研发定制 AI 加速器（即 XPU）。规模化部署这些加速器需要高带宽内存（HBM）来持续供给算力，需要充足的封装和硅片面积以容纳更多算力，需要高效的供电方案，以及一个有韧性的供应链。同时，还需要一套机架级架构，把 XPU 部署到数据中心基础设施中。

NVIDIA NVLink Fusion 是一项连接技术与 IP，让超大规模厂商和 AI 原生公司能够将定制 XPU 和 CPU 集成到 NVIDIA AI 基础设施平台中。他们可以借助 NVIDIA 的纵向扩展和横向扩展技术栈、生态系统以及 MGX 机架级架构，降低开发与部署复杂度，提升性能，加快半定制 AI 工厂的上市速度。

在封装层面，NVHBM 补全了这一统一架构。NVHBM 是一项与领先内存厂商共同设计并验证的定制 HBM 基础芯片技术，可实现更高的内存带宽、更大的面积节省以及更低的功耗。这些改进有助于让定制 XPU 支持更大的模型、更快地读取 KV 缓存数据，并提升训练与大规模推理性能。

为什么带宽、芯片面积和功耗决定了加速器的设计

训练、推理和智能体 AI 工作负载越来越依赖对模型权重、KV 缓存和激活数据的高吞吐访问。随着 AI 系统从单颗加速器扩展到机架级算力域，加速器封装必须在计算逻辑、供电、热设计和高带宽内存之间取得平衡。

HBM 将关键的内存带宽紧密贴近加速器，但在前沿内存技术的认证、封装集成与验证方面，往往会成为定制加速器项目的瓶颈。通过 NVLink Fusion，客户可以直接使用已经与领先内存厂商完成验证的 NVHBM 基础芯片，帮助缓解集成与认证环节的瓶颈。

特性	NVHBM 带来的优势
带宽	相比标准 HBM4e，内存带宽最高提升 30%

面积	更高效的接口连接，可腾出多达 25% 的计算芯片面积，用于扩展 XPU 能力
功耗	相比标准 HBM4e，HBM 功耗最多降低 15%，在数千颗 XPU 规模下可显著节约能耗

现代 AI 加速器面临的内存带宽瓶颈

AI 加速器的性能取决于计算引擎能否持续获得数据供给。在既定封装预算下，更高的 HBM 速率能提升可用内存带宽，从而更好地服务训练和推理中对带宽敏感的关键阶段。相比标准 HBM4e，NVHBM 单一堆栈的内存带宽最多提升 30%。对于受内存瓶颈或部分受内存瓶颈约束的 AI 负载而言，这意味着加速器利用率更高、吞吐更大——在大模型推理场景下，能够更快地在 HBM 与计算核心之间搬运数据，单用户 token 吞吐得以提升，让计算核心始终保持"吃饱"状态。

NVHBM 在单颗加速器内部提升内存带宽，而 NVLink Fusion 则在更大范围内连接多颗加速器，让工作负载更高效地使用分布式算力和显存。

在使用专家并行（EP）或 WideEP 这类高级路由技术时，这种纵向扩展域尤为关键。在这些场景下，不同专家分布在不同 GPU 上，需要在整个机柜范围内实现无缝的高速同步。作为 AI 工厂的纵向扩展网络 Fabric，NVIDIA NVLink 负责在专家之间传输激活值和隐状态，并帮助同步纵向扩展 Fabric 上的分布式缓存；NVHBM 则通过持续喂饱本地计算引擎来最大限度减少数据饥饿。

更大的封装面积，更高的灵活性

对于定制 AI 芯片而言，每一平方毫米都至关重要。加速器设计者必须仔细权衡矩阵引擎、向量单元、片上 SRAM、缓存层次、控制逻辑、内存接口、片上网络以及 scale-up 互联各占多少面积。采用定制内存方案可以降低 HBM 相关的设计和封装开销，从而将宝贵的面积留给面向特定工作负载的功能模块。

随着 AI 工作负载日益多样化，多出来的这块芯片面积让超大规模数据中心能够更灵活地针对推理服务、推荐系统、多模态流水线或内部训练任务来优化 XPU。NVHBM 通过压缩内存接口所占面积，让团队能够把更多芯片资源直接投入到性能上。

面积的节省主要来自重新设计的物理内存接口（PHY）。标准 HBM 依赖较宽的接口连接，占用了更大的封装面积。NVHBM 则采用经过效率优化的定制基础 die，把内存控制器移入 3D HBM 堆栈，并集成定制 PHY，从而显著降低 I/O 面积需求。

相比 JEDEC HBM4e 标准，这一设计可将 PHY 及配套电路面积减少高达 67%。更窄的接口同时也简化了 interposer 布线，使整个布局中可用硅面积增加最多 80%。

如图 1 所示，缩小内存接口连接后，中央 AI 计算 die 可以向腾出的空间扩展。这种空间回收可使主 die 上用于计算或其他功能的可用硅面积增加最多 30%。额外的硅面积让 XPU 设计者在固定的封装尺寸内集成更多能力。

功耗节省，助力高效扩展

功耗是现代 AI 基础设施中最棘手的约束之一。HBM 功耗会影响加速器功率预算、封装热设计、机柜功率上限以及数据中心冷却方案。相比标准 HBM4e，NVHBM 可让 HBM 功耗降低 15%，为计算留出更充裕的功率和散热余量。

功耗节省在多个层面都至关重要。在 XPU 层面，降低 HBM 功耗可以提升每瓦性能，并为更多算力或更高的持续利用率腾出空间。在机柜层面，有助于减轻供电和散热系统的压力。在 AI 工厂规模下，即使是内存子系统功耗的小幅降低，累积到数千颗加速器上也会非常可观。在使用 2,000W XPU 的整个 1 吉瓦 数据中心中叠加计算，节省下来的功耗可以转化为最多 15,000 颗额外 XPU 的算力余量。

这一收益对大模型推理尤为重要。XPU 在为用户提供低延迟、高吞吐服务的过程中，必须反复读取模型权重和 KV 缓存数据。减少数据搬移所消耗的能量，有助于在大模型上实现更快推理、支持更大批量，并更高效地利用部署功率。

在机柜规模上将 NVLink Fusion 与 NVHBM 结合

NVHBM 在芯片层面提升 XPU 的性能和效率。NVLink Fusion 则让超大规模云厂商和原生 AI 厂商能够将自己的 XPU 接入 NVIDIA AI 平台的其余部分。将 30% 的内存带宽提升、25% 的更多裸片面积以及 15% 的 HBM 功耗节省叠加起来，这些协同设计的架构改进转化为每颗 XPU 整体端到端性能 30% 的大幅提升。

这种互联通过 NVLink Fusion chiplet 实现，它把自研 XPU 与 NVLink fabric 桥接起来，把机柜内所有 XPU 连接成一个统一的 scale-up 域。NVLink 现已发展到第六代，是 AI 工厂领域唯一经过验证的、专为 scale-up 场景打造的网络 fabric，提供领先的性能与智能容错能力。在上游，XPU 可以通过 NVLink-C2C 连接到 CPU。

采用 NVLink Fusion 的厂商可以将自研 XPU 和 CPU 与 NVIDIA 的纵向扩展和横向扩展技术栈及生态相结合，从而降低开发和部署复杂度、提升性能，并加速半定制 AI 工厂的面市进程。此外，通过统一在单一架构上标准化，NVLink Fusion 简化了整个数据中心的运维，使数据中心容量能够灵活重新分配，并支持自研 AI XPU 与 GPU 集成，实现异构计算。

自研 AI 芯片的下一阶段

NVLink Fusion 为 GPU、自研 XPU 与 CPU、网络以及机架级软件提供了统一的纵向扩展基础。NVHBM 则在这一基础之上，通过更高的内存性能、计算密度、HBM 功耗效率以及供应韧性，为下一代加速器提供有力支撑。这些技术为合作伙伴开辟了一条更直接的路径，从自研 AI 加速器设计直通机架级部署与规模化量产。

详细了解 NVLink Fusion 以及 NVHBM 的行业采用情况。