← 文章 / AI技术
基础架构师之路 16天前 · 2026-11-06 12:25:14 · 17 阅读

大厂AI大模型训练传输协议拆解:谷歌 Falcon、AWS SRD、Meta 拥塞控制的三条路

公众号・基础架构师之路 | 2026-11-06 | AI 训练网络进阶・第 02 篇


导读

超大规模厂商最后都发现,标准 TCP 和标准 RoCE 在自己那套网络里不够用。

于是各走各的路:谷歌把可靠传输做进硬件,AWS 选了面向云的多路径数据报,Meta 则把标准 RoCEv2 深度工程化。

这一篇拆这三条路线,重点看它们背后共同的判断,以及普通团队能借鉴什么。

这篇文章拆解三条最具代表性的技术路线:谷歌 Falcon、AWS SRD,以及 Meta 在标准 RoCEv2 上的工程化路线。三者的实现形式不同,但底层设计逻辑高度一致。

文末配有一段动画视频,对比单路径与多路径在拥塞发生时的差异,建议读到最后,配合动画理解多路径传输的工作过程。

一、为什么超大规模厂商要自己写传输协议

标准 DCQCN 在企业级 RoCEv2 网络中已经能够满足多数需求,但在超大规模训练与存储网络中,存在几个难以回避的问题。

表 1 通用传输方案在超大规模场景的痛点


痛点具体表现对训练的影响
单路径依赖ECMP 按哈希为每条流固定一条路径哈希不均时局部拥塞、其余路径空闲
长尾时延个别路径抖动、排队形成慢包拖慢整体 AllReduce 同步节奏
软件栈开销重传、排序放在主机或内核占用本可用于训练的 CPU
多租户干扰云上邻居流量波动频繁性能稳定性下降

1.1 ECMP 的固有局限

ECMP(等价多路径)通过对报文头字段计算哈希,将一条流映射到某一条固定路径。这种方式在流数量足够多时整体上趋于均衡,但对单条流而言存在两个问题:

  1. 一条流始终绑定同一路径,无法感知该路径的实时拥塞;
  2. 当多条流的哈希结果集中到同一路径时,会出现哈希极化(hash polarization),导致链路负载不均。

表 2 ECMP 与多路径方案的差异


对比项ECMP多路径传输
路径选择哈希固定多路径分散 / 动态调整
单流抗拥塞弱强
对哈希不均的敏感高低
实现位置交换机网卡 / 传输层

1.2 大厂的共同解题方向

针对上述问题,超大规模厂商的方案呈现出共同特征:将传输层能力下沉到网卡硬件,并通过多路径、快速重传和主动拥塞控制来提升稳定性。

表 3 自研传输协议的共同能力


能力作用
多路径分散流量,避免单路径拥塞
硬件重传降低可靠性机制对主机 CPU 的占用
乱序处理缓解队头阻塞,降低尾时延
主动拥塞控制基于 RTT/ECN 及早调节

二、谷歌 Falcon:把可靠传输和多路径做进硬件

Falcon 是谷歌于 2022 年公开的硬件级可靠、低时延数据中心传输协议,部署在其自研智能网卡上,服务于 Jupiter 网络下的存储、推荐和 TPU 训练等业务。

2.1 多路径包喷洒

Falcon 不再为一条流绑定单一路径,而是将数据包分散到多条等价路径上,这一机制称为包喷洒(packet spraying)。

单个数据包如果恰好经过拥塞路径,受影响的只是这一个包,而不是整条流,从而降低了单路径拥塞对整体传输的影响。

表 4 包喷洒与单路径的对比


对比项单路径包喷洒
流量分布集中在一条路径分散到多条路径
单包拥塞影响波及整条流仅影响单个包
对突发的容忍较弱较强
对乱序的要求保序需支持乱序重组

2.2 RTT 驱动的拥塞控制

Falcon 结合 RTT 测量与 ECN 信号判断拥塞,思路与 TIMELY 相近:通过时延变化及早识别排队,在网卡硬件中快速调节发送速率,而不是等待丢包。

2.3 硬件级可靠性与可选排序

确认、重传、超时等可靠性机制全部下沉到网卡硬件完成,不占用主机 CPU。同时,Falcon 将是否按序交付设计为可选项:

* 上层需要严格排序时提供有序交付;

* 可接受乱序的业务(如集合通信)不必为等待单个慢包而阻塞。

表 5 Falcon 的核心设计


设计内容价值
多路径包喷洒数据包分散到多条路径降低单路径风险
RTT + ECN 拥塞控制硬件快速调节及早响应排队
硬件可靠性重传确认在网卡完成释放主机 CPU
可选排序按业务需要选择减少不必要等待

2.4 Falcon 的协议分层

Falcon 并非单一协议,而是一套分层架构,自下而上大致分为三层。

表 6 Falcon 的协议分层


层次名称主要职责
底层Falcon 硬件 / 网卡层报文收发、多路径喷洒、时间戳
中层可靠传输层确认、重传、乱序重组、拥塞控制
上层消息层面向应用的消息语义、可选排序

这种分层使硬件负责最需要速度的部分,而消息语义可以根据存储、推荐、训练等不同业务灵活适配。

2.5 报文确认与选择性重传

Falcon 在网卡侧维护发送与接收状态,采用类似选择性确认的机制:接收端通过 ACK 反馈已收到的报文范围,发送端只重传真正缺失的报文,而不必整体回退。

表 7 Falcon 的可靠性机制


机制作用相比传统方式的改进
选择性确认反馈已接收范围减少不必要重传
超时检测识别丢失报文硬件计时,粒度更细
快速重传及时补传缺失报文不等待慢启动恢复
乱序重组重组多路径报文支持包喷洒

2.6 主要解决的问题

Falcon 重点优化长尾时延。通过多路径分散风险和硬件快速重传,将少量慢包的影响降到最低,这正是大规模同步训练最关注的指标。

三、AWS SRD:面向云环境的多路径可靠数据报

SRD(Scalable Reliable Datagram,可扩展可靠数据报)是 AWS 为 EFA(Elastic Fabric Adapter,弹性结构适配器)设计的传输协议,用于支撑云上 HPC 和大模型训练。

3.1 基于多路径的动态选路

SRD 实时感知网络状态,在多条路径之间动态分配数据包。当某条路径出现拥塞或丢包时,后续流量被快速调度到健康路径,而不是固定在某一条 ECMP 路径上。

3.2 乱序交付

SRD 不保证数据包按发送顺序到达。传统协议为保证有序,前一个包丢失后,后续包都需要等待其重传,形成队头阻塞(head-of-line blocking)。SRD 将重排责任交给能够处理乱序的上层(如 NCCL),从而消除队头阻塞。

表 8 有序交付与乱序交付的对比


对比项有序交付SRD 乱序交付
丢包影响后续包等待重传后续包继续处理
队头阻塞存在消除
排序责任传输层上层通信库
尾时延表现受慢包影响大更稳定

3.3 拥塞控制与快速重传

SRD 内置丢包检测、快速重传和拥塞控制,运行在用户态并绕过内核(OS bypass),基于 UDP 实现,既利用云网络的弹性,又避免内核协议栈开销。

表 9 SRD 的关键设计


设计内容价值
动态多路径按网络状态调度路径绕开拥塞和故障
乱序交付不保证按序到达消除队头阻塞
内置可靠性丢包检测与快速重传降低尾时延
用户态运行基于 UDP、绕过内核降低协议栈开销

3.4 与 EFA、NCCL 的集成

EFA 作为 SRD 的承载硬件,面向 HPC 与机器学习场景提供用户态网络访问能力。NCCL 等通信库通过 EFA 接口使用 SRD,由通信库负责多路径报文的重组,使上层集合通信能够直接获得多路径和乱序处理带来的收益。

3.5 路径健康监测

SRD 持续评估各条路径的健康状态,依据丢包、时延和拥塞信号调整流量分配。当某条路径质量下降时,其权重被降低,新报文优先调度到健康路径,路径恢复后再逐步恢复流量。

表 10 SRD 路径调度的判断依据


信号含义调度动作
丢包路径可能拥塞或故障降低该路径权重
时延升高出现排队减少新报文分配
信号恢复路径回归正常逐步恢复权重
多路径均衡健康路径较多分散发送

3.6 Libfabric 与上层接口

EFA 通过 Libfabric 这类开放网络编程接口向上层暴露能力,NCCL、应用框架通过标准接口调用 SRD,无需感知底层路径细节,便于在不同通信框架中复用。

3.7 设计哲学

SRD 的本质是为云上多租户、易抖动的环境做减法:不追求形式上整齐的有序流,而是用多路径和乱序交付换取整体高吞吐和稳定的尾时延。

四、Meta:不换协议,把标准 RoCEv2 深度工程化

与谷歌、AWS 自研协议不同,Meta 采用大规模标准 RoCEv2 加深度工程化的路线,其 AI 集群平台(如 Grand Teton)大量部署 RDMA over Ethernet。

4.1 DCQCN 的针对性调优

Meta 针对训练流量特征调整 ECN 标记和速率调节参数,使通用拥塞控制算法在大规模 incast 下表现更稳定。

4.2 端网协同

网卡的拥塞反应与交换机的队列管理、路由策略协同设计,而不是分别配置,避免端侧与网侧策略相互冲突。

4.3 快速故障检测与隔离

将链路和网卡故障的检测、切换时间缩短,减小单点故障对大规模训练任务的影响。

4.4 机柜级 Rail-optimized 组网

通过多轨(multi-rail)拓扑,让每张卡的多条链路分散连接到不同交换机,在物理拓扑层面就具备多路径效果。

多轨 Spine-Leaf 组网:每张卡的多条链路分散到不同交换机

表 11 Rail-optimized 多轨的特征


特征说明
多链路分散同一张卡的不同端口连接不同交换机
故障域隔离单台交换机故障不影响全部链路
天然多路径流量可在多个 rail 间分布
适配集合通信与 NCCL 多网卡机制匹配

表 12 Meta 工程化路线的主要做法


做法内容
DCQCN 精调适配训练流量的标记与速率参数
端网协同网卡与交换机策略统一设计
故障快速切换缩短检测与隔离时间
多轨组网物理层提供多路径能力

4.5 大规模网络的工程特征

Meta 集群在网络层面强调高冗余、低收敛比和快速故障切换。大规模部署中,网络设计需要同时考虑拓扑容量、故障域划分和运维可观测性,而不仅仅是单条链路的速率。

表 13 大规模 RoCEv2 集群的工程关注点


关注点具体内容
收敛比尽量保持无阻塞或低收敛比
故障域通过多轨划分,缩小故障影响范围
可观测性监测队列、PFC、ECN 与重传计数
一致性全网统一水标与固件策略

4.6 传输协议与集合通信的协同

多路径价值最终要通过集合通信算法体现。Ring、Tree 等 AllReduce 算法在多 rail 网卡上可以并行利用多条链路,配合乱序处理和快速重传,降低单条慢链路对整体迭代时间的影响。

表 14 集合通信对传输能力的利用


集合通信需求依赖的传输能力
多链路并行多轨 / 多路径
同步稳定低尾时延、快速重传
跨机柜通信无阻塞 Spine-Leaf
故障容忍快速检测与路径切换

4.7 路线价值

Meta 的实践表明,不一定要自研协议,把标准 RoCEv2 的拥塞控制、拓扑和故障工程做扎实,同样可以支撑超大规模训练。这条路线对企业用户的参考价值更高,因为它更贴近可直接采购的通用设备。

五、三条路线横向对比:改造层次与代价

表 15 三种方案横向对比


维度谷歌 FalconAWS SRDMeta 路线
协议基础自研硬件传输基于 UDP、用户态标准 RoCEv2
多路径包喷洒动态多路径选路多轨组网 + ECMP
排序策略排序可选故意乱序交付标准 RDMA 保序
拥塞信号RTT + ECN内置拥塞控制精调 DCQCN
可靠性位置网卡硬件网卡 / 用户态网卡 + 端网协同
适用环境自研数据中心公有云多租户通用 RoCEv2 集群

六、三条路线背后的共同规律:绕开哪一处瓶颈

表 16 共同规律归纳


规律具体表现目标
多路径化多路径 / 多轨对抗拥塞和哈希不均提升稳定性
可靠性下沉重传、确认从 CPU 搬到网卡释放主机算力
解耦排序打破队头阻塞降低尾时延
主动拥塞控制基于 RTT/ECN 及早反应避免被动丢包

长尾时延为何决定训练效率

理解这些协议的价值,需要先理解分布式训练的同步特性。在每一步迭代中,参与计算的所有加速器都需要在集合通信操作上完成同步,才能进入下一步。这意味着单个步骤的耗时,不由表现最好的加速器决定,而由最慢的那一个决定。即使绝大多数链路都很顺畅,只要有一条路径出现拥塞、抖动或短暂故障,整个集群都会在同步点等待,形成 “长尾时延”。

长尾时延的影响会随规模放大。参与同步的加速器越多,任意一个节点出现异常的概率就越高,慢节点拖累整体的机会也随之增加。这正是超大规模厂商格外重视尾时延的原因:平均带宽可以描述网络的理论水平,但 P99 甚至更高分位的时延,才真正决定有效训练时间。

传输协议层面的多项设计,本质上都在围绕长尾问题展开。多路径和包喷洒让流量不再集中在单条路径上,降低某条路径拥塞造成的拖慢;可靠性下沉和选择性重传缩短了故障恢复时间,避免一次丢包引发长时间等待;解耦排序和乱序交付则消除了队头阻塞,让后续数据不必为前面的延迟停留。


设计针对的长尾来源
多路径 / 包喷洒路径拥塞、哈希不均
硬件重传丢包恢复慢
乱序交付队头阻塞
快速故障检测链路故障

从这个角度看,三条路线虽然实现方式不同,但目标一致:把异常情况下的性能波动压小,让大规模集群的实际算力更接近理论峰值。

七、对企业团队的实践建议:什么规模才值得自研

表 17 可落地的实践建议


方向建议说明
组网优先 Rail-optimized 多轨拓扑先获得多路径红利
网卡选型关注硬件重传和拥塞控制能力不只看标称带宽
通信库理解 NCCL 多 rail 与乱序机制配置可用网卡通道
现网优化调实 DCQCN、ECN/PFC、故障切换收益往往更直接

对于大多数企业团队,自研传输协议并不现实,但多轨组网、硬件卸载和主动拥塞控制的设计思想可以直接借鉴。在现有设备上把拥塞控制和故障切换调扎实,往往比追求更新的协议更有实际收益。

定制协议与标准 RoCEv2 的关系

概念澄清

需要厘清的是,大厂自研传输协议并不意味着抛弃以太网,而是在标准物理和链路基础之上,对传输层逻辑进行替换或增强。Falcon、SRD 等协议仍然运行在标准的高速以太网物理层之上,复用成熟的 SerDes 和交换设备,真正改变的是可靠性、多路径和拥塞控制的实现方式。

这种 “复用底层、定制上层” 的思路,对企业团队具有现实参考意义。它说明传输创新的价值集中在传输策略,而不是重新铺设物理网络。对大多数不具备自研协议能力的团队而言,在标准 RoCEv2 设备上把多轨拓扑、ECN/PFC 水标和故障切换调到最优,同样能获得其中大部分收益,只是缺少硬件级定制所带来的极限反馈速度。


层次大厂做法企业可借鉴部分
物理层复用以太网直接沿用标准设备
传输层自研可靠性 / 多路径用好厂商提供的卸载能力
拥塞控制定制算法调实标准 DCQCN/ECN
组网多轨 Rail-optimized直接复用拓扑设计

因此,理解大厂协议的目的不是照搬,而是看清每一项设计解决的具体问题,再回到自身条件下选择可落地的等价手段。

八、常见误区与术语表

表 18 常见误区


误区正确认识
认为多路径只靠交换机即可多路径效果依赖网卡与传输层协同
忽视乱序重组能力多路径报文需要上层支持重组
只关注带宽不看尾时延同步训练对尾时延更敏感
盲目照搬云厂商方案需结合自身硬件与负载

表 19 主要术语


术语含义
ECMP等价多路径,按哈希选择路径
包喷洒将数据包分散到多条路径
队头阻塞前包阻塞导致后续包等待
OS bypass绕过内核的用户态网络访问
EFAAWS 弹性结构适配器
Multi-rail多轨组网,链路分散接入
NCCL集合通信库

九、性能收益与选型决策:怎么算这笔账

9.1 多路径带来的性能收益

综合公开资料,多路径与硬件卸载在大规模网络中的收益主要体现在尾时延、吞吐稳定性和主机 CPU 占用三个方面,而非单纯的峰值带宽提升。

表 20 多路径与硬件卸载的主要收益


维度收益方向作用机制
尾时延(P99/P999)明显改善多路径分散慢包、快速重传
吞吐稳定性波动减小动态绕开拥塞路径
主机 CPU占用下降可靠性与传输下沉网卡
峰值带宽取决于物理容量多路径不改变物理带宽上限

能力边界

需要强调的是,多路径并不能突破物理网络的带宽上限,其价值在于让已有的链路容量被更充分、更均匀地利用,并减少个别慢路径对整体同步的拖累。具体收益幅度与网络规模、流量特征和实现质量相关,落地时应以自身压测数据为准,而不是直接引用外部测试数字。

9.2 不同环境的选型决策

企业在选择传输路线时,首先应明确自身所处的部署环境,再决定是直接采用云厂商能力、标准 RoCEv2,还是做更深度的定制。

表 21 按环境的选型建议


环境推荐路线主要考量
公有云多租户直接使用云厂商 EFA/SRD 等能力透明、免运维,适配云上 HPC
自建数据中心(通用设备)标准 RoCEv2 + Rail-optimized + DCQCN 调优可采购、可复制,参考 Meta 路线
自研芯片 / 智能网卡硬件卸载 + 多路径定制研发投入大,适合规模化厂商
混合云云上云下分别适配,统一通信库关注 NCCL 等上层一致性

9.3 部署前检查清单

在落地多路径与硬件卸载方案前,建议逐项确认以下内容,避免上线后才发现兼容性问题。

表 22 部署前检查清单


检查项确认内容
网卡能力是否支持多路径、硬件重传与拥塞控制
交换机ECN/PFC 水标能力及缓冲配置
拓扑是否为多轨、收敛比是否满足要求
通信库NCCL 等是否正确识别多网卡通道
乱序重组上层是否支持多路径报文重组
可观测性队列、PFC、ECN、重传计数是否可采
固件版本全网版本是否一致、是否经过验证
ConnectX-6 200G 网卡:承载多路径与硬件卸载的典型设备

9.4 决策的基本逻辑

选型权衡

传输协议的选型本质上是成本、可控性和性能之间的权衡。对大多数企业而言,直接在可采购的标准 RoCEv2 设备上把多轨拓扑、ECN/PFC 水标和故障切换做扎实,是投入产出比最高的路径;只有在规模足够大、且具备自研软硬件能力时,深度定制传输协议才具有合理的经济性。

传输协议的演进趋势

综合三条路线,可以观察到几个明确的演进方向。其一是多路径从 “可选” 变为 “默认”,随着单条链路速率提升放缓,通过多条路径并行获取带宽和可靠性,成为更普遍的选择,负载在多条路径之间的分配也会更精细,从粗粒度的流级分担走向更细粒度的包级甚至子包级调度。

其二是可靠性和拥塞控制进一步向硬件下沉。主机 CPU 不再适合承担高频的确认、重传和速率调节,这些逻辑被越来越多地固化到网卡硬件中,以纳秒级的反馈速度响应网络变化,并释放主机算力用于实际计算。

其三是端网协同加深。单纯依靠网络设备或单纯依靠端点都难以最优,端点掌握流量的真实意图,网络设备掌握全局拥塞状态,两者通过更丰富的信息交换协同决策,例如把网络侧的队列占用、时延等信息及时反馈给端点,由端点调整发送策略。


趋势表现带来的收益
多路径默认化更细粒度的流量调度带宽与可靠性提升
能力硬件下沉确认、重传、控制固化到网卡反馈更快、释放主机
端网协同端点与网络交换信息更精准的拥塞决策

对企业团队而言,这些趋势给出的判断标准是:在评估下一代网卡和网络设备时,多路径能力、硬件卸载深度和端网协同接口,比单纯的峰值带宽更能反映设备的长期价值。

十、结语

从 Falcon 的包喷洒、SRD 的乱序交付,到 Meta 的 RoCEv2 工程化,大厂在传输协议上的竞争核心,不是谁的协议更新,而是谁能在超大规模下把尾时延和稳定性控制得更好。

下一篇预告:第 03 篇《多路径与自适应路由深度:从包喷洒到智能选路》,拆解多路径传输如何把单条流的风险分散到多条路径。

我是 PingMaster,深耕金融科技一线与 AI 基础架构。本系列持续连载,发送「系列」或「网络」获取完整文章列表,也欢迎私信交流。

欢迎在留言区讨论:在自身业务中,多路径与多轨组网的落地难点是什么,以及在尾时延优化方面有哪些实践经验。


你那边会考虑动传输层吗?还是先把现成 RoCE 的拥塞控制和拓扑调到位就够了?

原始来源: 基础架构师之路 微信临时链接,可能已过期

评论 (0)