MTIA 300：Meta 首款内置 NIC 与通信卸载引擎的训练芯片
- MTIA 300 是 Meta 自研训练与推理加速器家族中首款专为训练排序和推荐模型优化的芯片。
- 我们将介绍 MTIA 300 内置的 NIC 芯粒如何满足训练推荐模型所需的通信需求，并在性能上超越通用 GPU。
- 通过与芯片同步协同设计通信库 HCCL，我们采用了一种截然不同的芯片设计思路，让通信成为一等公民。
深度学习模型可以在各类应用中为用户推送个性化内容——从短视频到好友动态。随着模型复杂度的提升，用于训练这些模型的算力以及连接各加速器的网络也愈发重要。
训练推荐模型是一项独特的基础设施挑战。与需要海量浮点吞吐量的大型语言模型不同，推荐模型的瓶颈在于训练所用加速器之间需要快速且高效的通信。其嵌入表往往包含模型 99% 以上的参数，因此需要采用混合并行策略，会在数百个加速器之间频繁触发 AllReduce、AllToAll 和 AllGather 等集合通信操作。在 GPU 等芯片上，这些通信操作与训练计算争夺相同的资源，常常导致昂贵的硬件利用率低下。
我们从 Meta 训练与推理加速器（MTIA）入手应对这一挑战，推出了 MTIA 300——MTIA 家族中首款专为训练推荐和排序模型优化的芯片。通过将 MTIA 300 与 HCCL（一款从零开始与硬件协同设计的通信库）共同设计，我们让通信成为芯片设计中不可或缺的一环，而非交由通用计算核心事后处理。
将网络直接集成到芯片上
在 MTIA 300 中，网络接口被集成到了芯片封装内部（见图 1）。两个网络小芯片各自集成了 6 个定制的 800 Gbps RDMA NIC，共同提供 1.2 TB/s 的总 I/O 带宽，全程无需经过 PCIe 总线。这消除了传统 GPU 架构中主机—设备—NIC 之间的瓶颈——在传统架构里，CPU 不得不在加速器和网络之间进行中转。（关于硅设计的更多细节，可参见我们最近发表在 ISCA 26 会议上的论文。）
由于 scale-up（单机架内 16 个节点之间，最高 1 TB/s）和 scale-out（跨机架，200 GB/s）通信使用的是同一组 12 个基于以太网的 NIC，我们可以灵活地对 NIC 进行切分，以适应不断变化的需求。
随着模型需求的变化，我们可以通过重新配置网络而非更换硬件来调整这一切分比例。为了降低单次事务的延迟，我们引入了 express doorbell 机制：写入 work request 本身即充当 doorbell，省去了一次额外的内存读取，每次操作可节省约 800 ns。
将通信任务从计算阵列上卸载
在 GPU 上，像 NCCL 这类库将集合通信实现为 GPU kernel，会占用流式多处理器——而这些硬件同时也是训练计算所需要的。当集合通信和训练 kernel 并行运行时，二者都会变慢。
MTIA 300 采用了不同的思路。除了用于计算的 12×6 处理单元（PE）阵列之外，芯片还配备了 16 个独立负责所有通信任务的专用消息引擎（ME）。
每个 ME 包含：
- 一个用于编排 w[ork] 的 RISC-V 核
- 一个将请求路由到对应 NIC 的 NIC 接口
- 一个近存计算（NMC）模块，可实现 128 字节/周期的归约吞吐
NMC 位于芯片边缘，紧邻 HBM 和缓存，它们共同提供超过 2.8 TB/s 的归约吞吐，是 I/O 带宽的两倍多，从而在不占用计算阵列的前提下，实现 AllReduce 和 ReduceScatter 等集合通信的线速执行。
效果近乎完美隔离。将大型 GEMM 与集合通信操作并行执行时，计算吞吐量的下降不到 0.5%；相比之下，传统 GPU 由于通信也占用 GPU 资源，吞吐量降幅可超过 20%。
编译式通信模型
我们的通信库 HCCL 与 MTIA 300 一同设计而成。HCCL 不再由主机在运行期间驱动通信，而是把每一次集合通信操作编译成一整套子图——即带有显式依赖关系的工作队列条目数组——并下发到 ME，由 ME 完全自主地执行。一旦指令进入设备，主机便不再介入。图 2 展示了指令拷贝到 HBM 之后，CPU 就彻底退出了整个流程。
这种编译式模型与 PyTorch 的 c10d 和 torchcomms 接口天然契合。通过 torch.compile 追踪到的集合通信操作会与计算算子一同编译到同一张图中。HCCL 会选取感知拓扑的算法，利用 scale-up 与 scale-out 之间的非对称带宽，尽量减少跨机架流量，从而避开带宽瓶颈。针对推理负载，我们还开发了额外的通路：一种是通过 express doorbell 让 PE 直接提交工作的单边通信，另一种是设备端触发的集合通信——计算内核可在并行流上向硬件卸载的通信发信号，同时不打断图的执行。
生产环境中的性能
HCCL 在单个机架内可实现高达 940 GB/s 的通信带宽。在一个横跨 40 块加速器、参数量达 1500 亿的生产级推荐模型上，MTIA 300 的总通信时间比同等规模的 GPU 集群快 3.9 倍。
MTIA 300 的设计为更多协同优化打开了空间：216 GB 的 HBM3E 支持更大的本地 batch（从而减少训练器数量和通信开销）；1:1 的 CPU 与加速器配比让 CPU 能够承担数值密集型优化器运算；高网络带宽则让我们可以使用更高精度的数据类型来维持计算精度。
展望未来
虽然 MTIA 300 最初是为训练推荐模型设计的，但它所遵循的架构原则——集成网络、卸载集合通信执行、计算与通信的系统级协同设计——使它能够应对更广泛的工作负载。随着 AI 推理逐步走向推理型、Agent 型和长上下文场景，通信需求也在发生变化：消息变得更小、更频繁，且对延迟极为敏感，每次集合通信的预算也更加紧张。
把网络视为一等系统约束、同时优化带宽、延迟和消息速率的架构，正适合应对这些新兴需求。MTIA 300 和 HCCL 所打下的基础，将成为 Meta 下一代 AI 芯片的基石。
了解更多关于 MTIA 300 的信息
如果想深入了解 MTIA 300 的硅片设计以及本文详述的工作，请阅读我们的论文：
- "MTIA 300: Meta's First Training Chip Featuring Built-in NICs and Collective Offloading Engines"（ISCA '26）
- "HCCL: Collective Communication for Meta Training and Inference Accelerators"（将于 SC26 发表）