大厂AI大模型训练传输协议拆解:谷歌 Falcon、AWS SRD、Meta 拥塞控制的三条路
公众号・基础架构师之路 | 2026-11-06 | AI 训练网络进阶・第 02 篇
导读
超大规模厂商最后都发现,标准 TCP 和标准 RoCE 在自己那套网络里不够用。
于是各走各的路:谷歌把可靠传输做进硬件,AWS 选了面向云的多路径数据报,Meta 则把标准 RoCEv2 深度工程化。
这一篇拆这三条路线,重点看它们背后共同的判断,以及普通团队能借鉴什么。
这篇文章拆解三条最具代表性的技术路线:谷歌 Falcon、AWS SRD,以及 Meta 在标准 RoCEv2 上的工程化路线。三者的实现形式不同,但底层设计逻辑高度一致。
文末配有一段动画视频,对比单路径与多路径在拥塞发生时的差异,建议读到最后,配合动画理解多路径传输的工作过程。
一、为什么超大规模厂商要自己写传输协议
标准 DCQCN 在企业级 RoCEv2 网络中已经能够满足多数需求,但在超大规模训练与存储网络中,存在几个难以回避的问题。
表 1 通用传输方案在超大规模场景的痛点
| 痛点 | 具体表现 | 对训练的影响 |
|---|---|---|
| 单路径依赖 | ECMP 按哈希为每条流固定一条路径 | 哈希不均时局部拥塞、其余路径空闲 |
| 长尾时延 | 个别路径抖动、排队形成慢包 | 拖慢整体 AllReduce 同步节奏 |
| 软件栈开销 | 重传、排序放在主机或内核 | 占用本可用于训练的 CPU |
| 多租户干扰 | 云上邻居流量波动频繁 | 性能稳定性下降 |
1.1 ECMP 的固有局限
ECMP(等价多路径)通过对报文头字段计算哈希,将一条流映射到某一条固定路径。这种方式在流数量足够多时整体上趋于均衡,但对单条流而言存在两个问题:
- 一条流始终绑定同一路径,无法感知该路径的实时拥塞;
- 当多条流的哈希结果集中到同一路径时,会出现哈希极化(hash polarization),导致链路负载不均。
表 2 ECMP 与多路径方案的差异
| 对比项 | ECMP | 多路径传输 |
|---|---|---|
| 路径选择 | 哈希固定 | 多路径分散 / 动态调整 |
| 单流抗拥塞 | 弱 | 强 |
| 对哈希不均的敏感 | 高 | 低 |
| 实现位置 | 交换机 | 网卡 / 传输层 |
1.2 大厂的共同解题方向
针对上述问题,超大规模厂商的方案呈现出共同特征:将传输层能力下沉到网卡硬件,并通过多路径、快速重传和主动拥塞控制来提升稳定性。
表 3 自研传输协议的共同能力
| 能力 | 作用 |
|---|---|
| 多路径 | 分散流量,避免单路径拥塞 |
| 硬件重传 | 降低可靠性机制对主机 CPU 的占用 |
| 乱序处理 | 缓解队头阻塞,降低尾时延 |
| 主动拥塞控制 | 基于 RTT/ECN 及早调节 |
二、谷歌 Falcon:把可靠传输和多路径做进硬件
Falcon 是谷歌于 2022 年公开的硬件级可靠、低时延数据中心传输协议,部署在其自研智能网卡上,服务于 Jupiter 网络下的存储、推荐和 TPU 训练等业务。
2.1 多路径包喷洒
Falcon 不再为一条流绑定单一路径,而是将数据包分散到多条等价路径上,这一机制称为包喷洒(packet spraying)。
单个数据包如果恰好经过拥塞路径,受影响的只是这一个包,而不是整条流,从而降低了单路径拥塞对整体传输的影响。
表 4 包喷洒与单路径的对比
| 对比项 | 单路径 | 包喷洒 |
|---|---|---|
| 流量分布 | 集中在一条路径 | 分散到多条路径 |
| 单包拥塞影响 | 波及整条流 | 仅影响单个包 |
| 对突发的容忍 | 较弱 | 较强 |
| 对乱序的要求 | 保序 | 需支持乱序重组 |
2.2 RTT 驱动的拥塞控制
Falcon 结合 RTT 测量与 ECN 信号判断拥塞,思路与 TIMELY 相近:通过时延变化及早识别排队,在网卡硬件中快速调节发送速率,而不是等待丢包。
2.3 硬件级可靠性与可选排序
确认、重传、超时等可靠性机制全部下沉到网卡硬件完成,不占用主机 CPU。同时,Falcon 将是否按序交付设计为可选项:
* 上层需要严格排序时提供有序交付;
* 可接受乱序的业务(如集合通信)不必为等待单个慢包而阻塞。
表 5 Falcon 的核心设计
| 设计 | 内容 | 价值 |
|---|---|---|
| 多路径包喷洒 | 数据包分散到多条路径 | 降低单路径风险 |
| RTT + ECN 拥塞控制 | 硬件快速调节 | 及早响应排队 |
| 硬件可靠性 | 重传确认在网卡完成 | 释放主机 CPU |
| 可选排序 | 按业务需要选择 | 减少不必要等待 |
2.4 Falcon 的协议分层
Falcon 并非单一协议,而是一套分层架构,自下而上大致分为三层。
表 6 Falcon 的协议分层
| 层次 | 名称 | 主要职责 |
|---|---|---|
| 底层 | Falcon 硬件 / 网卡层 | 报文收发、多路径喷洒、时间戳 |
| 中层 | 可靠传输层 | 确认、重传、乱序重组、拥塞控制 |
| 上层 | 消息层 | 面向应用的消息语义、可选排序 |
这种分层使硬件负责最需要速度的部分,而消息语义可以根据存储、推荐、训练等不同业务灵活适配。
2.5 报文确认与选择性重传
Falcon 在网卡侧维护发送与接收状态,采用类似选择性确认的机制:接收端通过 ACK 反馈已收到的报文范围,发送端只重传真正缺失的报文,而不必整体回退。
表 7 Falcon 的可靠性机制
| 机制 | 作用 | 相比传统方式的改进 |
|---|---|---|
| 选择性确认 | 反馈已接收范围 | 减少不必要重传 |
| 超时检测 | 识别丢失报文 | 硬件计时,粒度更细 |
| 快速重传 | 及时补传缺失报文 | 不等待慢启动恢复 |
| 乱序重组 | 重组多路径报文 | 支持包喷洒 |
2.6 主要解决的问题
Falcon 重点优化长尾时延。通过多路径分散风险和硬件快速重传,将少量慢包的影响降到最低,这正是大规模同步训练最关注的指标。
三、AWS SRD:面向云环境的多路径可靠数据报
SRD(Scalable Reliable Datagram,可扩展可靠数据报)是 AWS 为 EFA(Elastic Fabric Adapter,弹性结构适配器)设计的传输协议,用于支撑云上 HPC 和大模型训练。
3.1 基于多路径的动态选路
SRD 实时感知网络状态,在多条路径之间动态分配数据包。当某条路径出现拥塞或丢包时,后续流量被快速调度到健康路径,而不是固定在某一条 ECMP 路径上。
3.2 乱序交付
SRD 不保证数据包按发送顺序到达。传统协议为保证有序,前一个包丢失后,后续包都需要等待其重传,形成队头阻塞(head-of-line blocking)。SRD 将重排责任交给能够处理乱序的上层(如 NCCL),从而消除队头阻塞。
表 8 有序交付与乱序交付的对比
| 对比项 | 有序交付 | SRD 乱序交付 |
|---|---|---|
| 丢包影响 | 后续包等待重传 | 后续包继续处理 |
| 队头阻塞 | 存在 | 消除 |
| 排序责任 | 传输层 | 上层通信库 |
| 尾时延表现 | 受慢包影响大 | 更稳定 |
3.3 拥塞控制与快速重传
SRD 内置丢包检测、快速重传和拥塞控制,运行在用户态并绕过内核(OS bypass),基于 UDP 实现,既利用云网络的弹性,又避免内核协议栈开销。
表 9 SRD 的关键设计
| 设计 | 内容 | 价值 |
|---|---|---|
| 动态多路径 | 按网络状态调度路径 | 绕开拥塞和故障 |
| 乱序交付 | 不保证按序到达 | 消除队头阻塞 |
| 内置可靠性 | 丢包检测与快速重传 | 降低尾时延 |
| 用户态运行 | 基于 UDP、绕过内核 | 降低协议栈开销 |
3.4 与 EFA、NCCL 的集成
EFA 作为 SRD 的承载硬件,面向 HPC 与机器学习场景提供用户态网络访问能力。NCCL 等通信库通过 EFA 接口使用 SRD,由通信库负责多路径报文的重组,使上层集合通信能够直接获得多路径和乱序处理带来的收益。
3.5 路径健康监测
SRD 持续评估各条路径的健康状态,依据丢包、时延和拥塞信号调整流量分配。当某条路径质量下降时,其权重被降低,新报文优先调度到健康路径,路径恢复后再逐步恢复流量。
表 10 SRD 路径调度的判断依据
| 信号 | 含义 | 调度动作 |
|---|---|---|
| 丢包 | 路径可能拥塞或故障 | 降低该路径权重 |
| 时延升高 | 出现排队 | 减少新报文分配 |
| 信号恢复 | 路径回归正常 | 逐步恢复权重 |
| 多路径均衡 | 健康路径较多 | 分散发送 |
3.6 Libfabric 与上层接口
EFA 通过 Libfabric 这类开放网络编程接口向上层暴露能力,NCCL、应用框架通过标准接口调用 SRD,无需感知底层路径细节,便于在不同通信框架中复用。
3.7 设计哲学
SRD 的本质是为云上多租户、易抖动的环境做减法:不追求形式上整齐的有序流,而是用多路径和乱序交付换取整体高吞吐和稳定的尾时延。
四、Meta:不换协议,把标准 RoCEv2 深度工程化
与谷歌、AWS 自研协议不同,Meta 采用大规模标准 RoCEv2 加深度工程化的路线,其 AI 集群平台(如 Grand Teton)大量部署 RDMA over Ethernet。
4.1 DCQCN 的针对性调优
Meta 针对训练流量特征调整 ECN 标记和速率调节参数,使通用拥塞控制算法在大规模 incast 下表现更稳定。
4.2 端网协同
网卡的拥塞反应与交换机的队列管理、路由策略协同设计,而不是分别配置,避免端侧与网侧策略相互冲突。
4.3 快速故障检测与隔离
将链路和网卡故障的检测、切换时间缩短,减小单点故障对大规模训练任务的影响。
4.4 机柜级 Rail-optimized 组网
通过多轨(multi-rail)拓扑,让每张卡的多条链路分散连接到不同交换机,在物理拓扑层面就具备多路径效果。

表 11 Rail-optimized 多轨的特征
| 特征 | 说明 |
|---|---|
| 多链路分散 | 同一张卡的不同端口连接不同交换机 |
| 故障域隔离 | 单台交换机故障不影响全部链路 |
| 天然多路径 | 流量可在多个 rail 间分布 |
| 适配集合通信 | 与 NCCL 多网卡机制匹配 |
表 12 Meta 工程化路线的主要做法
| 做法 | 内容 |
|---|---|
| DCQCN 精调 | 适配训练流量的标记与速率参数 |
| 端网协同 | 网卡与交换机策略统一设计 |
| 故障快速切换 | 缩短检测与隔离时间 |
| 多轨组网 | 物理层提供多路径能力 |
4.5 大规模网络的工程特征
Meta 集群在网络层面强调高冗余、低收敛比和快速故障切换。大规模部署中,网络设计需要同时考虑拓扑容量、故障域划分和运维可观测性,而不仅仅是单条链路的速率。
表 13 大规模 RoCEv2 集群的工程关注点
| 关注点 | 具体内容 |
|---|---|
| 收敛比 | 尽量保持无阻塞或低收敛比 |
| 故障域 | 通过多轨划分,缩小故障影响范围 |
| 可观测性 | 监测队列、PFC、ECN 与重传计数 |
| 一致性 | 全网统一水标与固件策略 |
4.6 传输协议与集合通信的协同
多路径价值最终要通过集合通信算法体现。Ring、Tree 等 AllReduce 算法在多 rail 网卡上可以并行利用多条链路,配合乱序处理和快速重传,降低单条慢链路对整体迭代时间的影响。
表 14 集合通信对传输能力的利用
| 集合通信需求 | 依赖的传输能力 |
|---|---|
| 多链路并行 | 多轨 / 多路径 |
| 同步稳定 | 低尾时延、快速重传 |
| 跨机柜通信 | 无阻塞 Spine-Leaf |
| 故障容忍 | 快速检测与路径切换 |
4.7 路线价值
Meta 的实践表明,不一定要自研协议,把标准 RoCEv2 的拥塞控制、拓扑和故障工程做扎实,同样可以支撑超大规模训练。这条路线对企业用户的参考价值更高,因为它更贴近可直接采购的通用设备。
五、三条路线横向对比:改造层次与代价
表 15 三种方案横向对比
| 维度 | 谷歌 Falcon | AWS SRD | Meta 路线 |
|---|---|---|---|
| 协议基础 | 自研硬件传输 | 基于 UDP、用户态 | 标准 RoCEv2 |
| 多路径 | 包喷洒 | 动态多路径选路 | 多轨组网 + ECMP |
| 排序策略 | 排序可选 | 故意乱序交付 | 标准 RDMA 保序 |
| 拥塞信号 | RTT + ECN | 内置拥塞控制 | 精调 DCQCN |
| 可靠性位置 | 网卡硬件 | 网卡 / 用户态 | 网卡 + 端网协同 |
| 适用环境 | 自研数据中心 | 公有云多租户 | 通用 RoCEv2 集群 |
六、三条路线背后的共同规律:绕开哪一处瓶颈
表 16 共同规律归纳
| 规律 | 具体表现 | 目标 |
|---|---|---|
| 多路径化 | 多路径 / 多轨对抗拥塞和哈希不均 | 提升稳定性 |
| 可靠性下沉 | 重传、确认从 CPU 搬到网卡 | 释放主机算力 |
| 解耦排序 | 打破队头阻塞 | 降低尾时延 |
| 主动拥塞控制 | 基于 RTT/ECN 及早反应 | 避免被动丢包 |
长尾时延为何决定训练效率
理解这些协议的价值,需要先理解分布式训练的同步特性。在每一步迭代中,参与计算的所有加速器都需要在集合通信操作上完成同步,才能进入下一步。这意味着单个步骤的耗时,不由表现最好的加速器决定,而由最慢的那一个决定。即使绝大多数链路都很顺畅,只要有一条路径出现拥塞、抖动或短暂故障,整个集群都会在同步点等待,形成 “长尾时延”。
长尾时延的影响会随规模放大。参与同步的加速器越多,任意一个节点出现异常的概率就越高,慢节点拖累整体的机会也随之增加。这正是超大规模厂商格外重视尾时延的原因:平均带宽可以描述网络的理论水平,但 P99 甚至更高分位的时延,才真正决定有效训练时间。
传输协议层面的多项设计,本质上都在围绕长尾问题展开。多路径和包喷洒让流量不再集中在单条路径上,降低某条路径拥塞造成的拖慢;可靠性下沉和选择性重传缩短了故障恢复时间,避免一次丢包引发长时间等待;解耦排序和乱序交付则消除了队头阻塞,让后续数据不必为前面的延迟停留。
| 设计 | 针对的长尾来源 |
|---|---|
| 多路径 / 包喷洒 | 路径拥塞、哈希不均 |
| 硬件重传 | 丢包恢复慢 |
| 乱序交付 | 队头阻塞 |
| 快速故障检测 | 链路故障 |
从这个角度看,三条路线虽然实现方式不同,但目标一致:把异常情况下的性能波动压小,让大规模集群的实际算力更接近理论峰值。
七、对企业团队的实践建议:什么规模才值得自研
表 17 可落地的实践建议
| 方向 | 建议 | 说明 |
|---|---|---|
| 组网 | 优先 Rail-optimized 多轨拓扑 | 先获得多路径红利 |
| 网卡选型 | 关注硬件重传和拥塞控制能力 | 不只看标称带宽 |
| 通信库 | 理解 NCCL 多 rail 与乱序机制 | 配置可用网卡通道 |
| 现网优化 | 调实 DCQCN、ECN/PFC、故障切换 | 收益往往更直接 |
对于大多数企业团队,自研传输协议并不现实,但多轨组网、硬件卸载和主动拥塞控制的设计思想可以直接借鉴。在现有设备上把拥塞控制和故障切换调扎实,往往比追求更新的协议更有实际收益。
定制协议与标准 RoCEv2 的关系
概念澄清
需要厘清的是,大厂自研传输协议并不意味着抛弃以太网,而是在标准物理和链路基础之上,对传输层逻辑进行替换或增强。Falcon、SRD 等协议仍然运行在标准的高速以太网物理层之上,复用成熟的 SerDes 和交换设备,真正改变的是可靠性、多路径和拥塞控制的实现方式。
这种 “复用底层、定制上层” 的思路,对企业团队具有现实参考意义。它说明传输创新的价值集中在传输策略,而不是重新铺设物理网络。对大多数不具备自研协议能力的团队而言,在标准 RoCEv2 设备上把多轨拓扑、ECN/PFC 水标和故障切换调到最优,同样能获得其中大部分收益,只是缺少硬件级定制所带来的极限反馈速度。
| 层次 | 大厂做法 | 企业可借鉴部分 |
|---|---|---|
| 物理层 | 复用以太网 | 直接沿用标准设备 |
| 传输层 | 自研可靠性 / 多路径 | 用好厂商提供的卸载能力 |
| 拥塞控制 | 定制算法 | 调实标准 DCQCN/ECN |
| 组网 | 多轨 Rail-optimized | 直接复用拓扑设计 |
因此,理解大厂协议的目的不是照搬,而是看清每一项设计解决的具体问题,再回到自身条件下选择可落地的等价手段。
八、常见误区与术语表
表 18 常见误区
| 误区 | 正确认识 |
|---|---|
| 认为多路径只靠交换机即可 | 多路径效果依赖网卡与传输层协同 |
| 忽视乱序重组能力 | 多路径报文需要上层支持重组 |
| 只关注带宽不看尾时延 | 同步训练对尾时延更敏感 |
| 盲目照搬云厂商方案 | 需结合自身硬件与负载 |
表 19 主要术语
| 术语 | 含义 |
|---|---|
| ECMP | 等价多路径,按哈希选择路径 |
| 包喷洒 | 将数据包分散到多条路径 |
| 队头阻塞 | 前包阻塞导致后续包等待 |
| OS bypass | 绕过内核的用户态网络访问 |
| EFA | AWS 弹性结构适配器 |
| Multi-rail | 多轨组网,链路分散接入 |
| NCCL | 集合通信库 |
九、性能收益与选型决策:怎么算这笔账
9.1 多路径带来的性能收益
综合公开资料,多路径与硬件卸载在大规模网络中的收益主要体现在尾时延、吞吐稳定性和主机 CPU 占用三个方面,而非单纯的峰值带宽提升。
表 20 多路径与硬件卸载的主要收益
| 维度 | 收益方向 | 作用机制 |
|---|---|---|
| 尾时延(P99/P999) | 明显改善 | 多路径分散慢包、快速重传 |
| 吞吐稳定性 | 波动减小 | 动态绕开拥塞路径 |
| 主机 CPU | 占用下降 | 可靠性与传输下沉网卡 |
| 峰值带宽 | 取决于物理容量 | 多路径不改变物理带宽上限 |
能力边界
需要强调的是,多路径并不能突破物理网络的带宽上限,其价值在于让已有的链路容量被更充分、更均匀地利用,并减少个别慢路径对整体同步的拖累。具体收益幅度与网络规模、流量特征和实现质量相关,落地时应以自身压测数据为准,而不是直接引用外部测试数字。
9.2 不同环境的选型决策
企业在选择传输路线时,首先应明确自身所处的部署环境,再决定是直接采用云厂商能力、标准 RoCEv2,还是做更深度的定制。
表 21 按环境的选型建议
| 环境 | 推荐路线 | 主要考量 |
|---|---|---|
| 公有云多租户 | 直接使用云厂商 EFA/SRD 等能力 | 透明、免运维,适配云上 HPC |
| 自建数据中心(通用设备) | 标准 RoCEv2 + Rail-optimized + DCQCN 调优 | 可采购、可复制,参考 Meta 路线 |
| 自研芯片 / 智能网卡 | 硬件卸载 + 多路径定制 | 研发投入大,适合规模化厂商 |
| 混合云 | 云上云下分别适配,统一通信库 | 关注 NCCL 等上层一致性 |
9.3 部署前检查清单
在落地多路径与硬件卸载方案前,建议逐项确认以下内容,避免上线后才发现兼容性问题。
表 22 部署前检查清单
| 检查项 | 确认内容 |
|---|---|
| 网卡能力 | 是否支持多路径、硬件重传与拥塞控制 |
| 交换机 | ECN/PFC 水标能力及缓冲配置 |
| 拓扑 | 是否为多轨、收敛比是否满足要求 |
| 通信库 | NCCL 等是否正确识别多网卡通道 |
| 乱序重组 | 上层是否支持多路径报文重组 |
| 可观测性 | 队列、PFC、ECN、重传计数是否可采 |
| 固件版本 | 全网版本是否一致、是否经过验证 |

9.4 决策的基本逻辑
选型权衡
传输协议的选型本质上是成本、可控性和性能之间的权衡。对大多数企业而言,直接在可采购的标准 RoCEv2 设备上把多轨拓扑、ECN/PFC 水标和故障切换做扎实,是投入产出比最高的路径;只有在规模足够大、且具备自研软硬件能力时,深度定制传输协议才具有合理的经济性。
传输协议的演进趋势
综合三条路线,可以观察到几个明确的演进方向。其一是多路径从 “可选” 变为 “默认”,随着单条链路速率提升放缓,通过多条路径并行获取带宽和可靠性,成为更普遍的选择,负载在多条路径之间的分配也会更精细,从粗粒度的流级分担走向更细粒度的包级甚至子包级调度。
其二是可靠性和拥塞控制进一步向硬件下沉。主机 CPU 不再适合承担高频的确认、重传和速率调节,这些逻辑被越来越多地固化到网卡硬件中,以纳秒级的反馈速度响应网络变化,并释放主机算力用于实际计算。
其三是端网协同加深。单纯依靠网络设备或单纯依靠端点都难以最优,端点掌握流量的真实意图,网络设备掌握全局拥塞状态,两者通过更丰富的信息交换协同决策,例如把网络侧的队列占用、时延等信息及时反馈给端点,由端点调整发送策略。
| 趋势 | 表现 | 带来的收益 |
|---|---|---|
| 多路径默认化 | 更细粒度的流量调度 | 带宽与可靠性提升 |
| 能力硬件下沉 | 确认、重传、控制固化到网卡 | 反馈更快、释放主机 |
| 端网协同 | 端点与网络交换信息 | 更精准的拥塞决策 |
对企业团队而言,这些趋势给出的判断标准是:在评估下一代网卡和网络设备时,多路径能力、硬件卸载深度和端网协同接口,比单纯的峰值带宽更能反映设备的长期价值。
十、结语
从 Falcon 的包喷洒、SRD 的乱序交付,到 Meta 的 RoCEv2 工程化,大厂在传输协议上的竞争核心,不是谁的协议更新,而是谁能在超大规模下把尾时延和稳定性控制得更好。
下一篇预告:第 03 篇《多路径与自适应路由深度:从包喷洒到智能选路》,拆解多路径传输如何把单条流的风险分散到多条路径。
我是 PingMaster,深耕金融科技一线与 AI 基础架构。本系列持续连载,发送「系列」或「网络」获取完整文章列表,也欢迎私信交流。
欢迎在留言区讨论:在自身业务中,多路径与多轨组网的落地难点是什么,以及在尾时延优化方面有哪些实践经验。
你那边会考虑动传输层吗?还是先把现成 RoCE 的拥塞控制和拓扑调到位就够了?