← 文章 / AI技术
NVIDIA 开发者博客 2026/10/13 · 2026-10-13 01:49:32 · 32 阅读

ReplaySSM:重新思考状态存储,加速混合模型解码

混合模型在少量注意力层之间穿插状态空间模型(SSM)层。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 都采用这种架构,其 SSM 层使用 Mamba-2、Gated DeltaNet(GDN)或 Kimi Delta Attention(KDA)。

SSM 层的设计目标就是加速解码:它用固定大小的状态取代随上下文长度增长的 KV cache。然而在实际服务的 batch 规模下,直到 100K token 的上下文长度,延迟瓶颈都可能出在 SSM 层而非注意力层上。此外,推测解码和量化这两种能有效加速注意力解码的技术,在 SSM 层上也变得复杂。

ReplaySSM 让 SSM 层重新成为快的部分。它把 SSM 状态表示为一个 checkpoint 加上一个近期输入的缓冲区,从而把输出计算与状态更新解耦,解决了当前 SSM 解码中的三大难题:状态数据传输、推测解码的回滚,以及量化状态中的误差累积。

ReplaySSM 是 NVIDIA 与普林斯顿大学 Dao AI Lab 的合作成果。论文 ReplaySSM: Cache SSM Inputs, Not State 详细阐述了这三大优势并给出了完整评测,已发布于 arXiv,代码在 GitHub 上。它已集成到 NVIDIA TensorRT-LLM、vLLM 和 FlashInfer 中,并在 GLM-5.3-Flash 和 Kimi-K3 的生产环境中实际运行。

Diagram comparing conventional SSM decoding, which updates and stores the full state every step, with ReplaySSM, which buffers inputs and updates the checkpoint when the buffer fills.
图 1。传统解码在每一步都需加载和存储完整状态。ReplaySSM 则缓存最近的输入,基于检查点和缓冲区计算输出,仅在缓冲区写满时更新检查点

SSM 层为何会成为解码瓶颈

以 NVIDIA Nemotron 3 Ultra 中使用的 Mamba-2 层为例,它通过以下递归公式解码单个 token:

$S_t = \alpha_t S_{t-1} + v_t k_t^\top, \qquad o_t = S_t q_t,$

其中 $S_t$ 是状态,$\alpha_t$ 是数据依赖的衰减系数,$v_t$、$k_t$ 和 $q_t$ 分别是 token 的输入。每步先从高带宽内存(HBM)加载 $S_{t-1}$,应用衰减并执行秩-1 更新,计算输出 $o_t = S_t q_t$,再将 $S_t$ 写回。GDN 和 KDA 额外引入了 delta-rule 修正,但其更新也可写成相同的外积形式,因此下文讨论同样适用于它们。

解码过程中,状态承担两项职责:一是读取以生成当前 token 输出,二是更新以得到下一 token 的状态。传统解码将二者合并执行:每步更新状态、读取输出并存储供下一步使用。由此带来的三重挑战皆源于这种融合。

三联图,展示 ReplaySSM 如何通过缓冲输入、基于指针的回滚和独立的检查点精度,分别解决状态内存流量、投机解码回滚和量化误差三大问题。
图 2。传统 SSM 解码的三大挑战及 ReplaySSM 的应对方案。左侧:在单块 NVIDIA Blackwell Ultra B300 GPU 上,以批大小 256 运行 Nemotron-3-Super-NVFP4 时的解码步延迟构成

状态内存流量

SSM 解码步骤需要加载和存储完整状态,但对状态本身几乎不做算术运算,因此内核性能受限于 HBM 带宽而非计算能力。在较大的服务批大小下,这使得 SSM 层而非注意力层成为解码步骤的主要耗时部分(直到 10 万 tokens 长度),如 Nemotron-3-Super-NVFP4 在单块 NVIDIA Blackwell Ultra B300 GPU 上以批大小 256 运行时所示(图 2,左侧)。

两大因素驱动了这一现象:

  • 层数:SSM 层数量是注意力层的五倍。
  • 状态大小:每层 FP32 状态占每个序列 4 MiB,而每个 FP8 KV 条目仅占每个 token 0.5 KiB,因此一层 SSM 的状态大小相当于 8K tokens 的注意力层 KV 缓存。

投机解码的回滚

投机解码(Speculative decoding)让草稿模型提出 T 个 token,目标模型一次前向完成验证,再回滚到最后一个被接受的 token。Attention 天然支持回滚——只需移动 KV cache 指针即可。但 SSM 一旦把草稿更新进自身状态,这种更新没有简单的逆操作,回滚就变得代价高昂。vLLM 等推理引擎的应对办法是在每个草稿 token 后都保存一份状态快照,回滚时选取与被接受前缀匹配的那一份。在内存受限的路径上,这意味着每步一次读、T 次写,而且快照还会挤占 GPU 显存中能容纳的请求数。结果是,投机解码对 Transformer 是稳定的提速手段,但在服务端批量规模下对 SSM 几乎没有帮助。

状态量化

量化后的状态既要产生输出,又是下一次更新的输入,舍入误差会随着递推每一步不断累积。KV cache 则没有这种循环:量化条目只被反复读取,从不写回自身,这就是 KV cache 能容忍比 SSM 状态更低精度的原因。例如 Qwen3.5-122B-A10B-NVFP4 的权重采用 NVIDIA NVFP4 4-bit 浮点格式,KV cache 用 FP8,而 SSM 状态仍是 FP32。

ReplaySSM 如何表示状态

SSM 递推可以在一个包含 h 个 token 的窗口上展开:

St=αtSt−1+vtkt⊤=γhSckpt+∑j=1hγj+1:hvjkj⊤,S_t = \alpha_t S_{t-1} + v_t k_t^\top = \gamma_h\, S_{\mathrm{ckpt}} + \sum_{j=1}^{h} \gamma_{j+1:h}\, v_j k_j^\top,

其中 SckptS_{\mathrm{ckpt}} 是窗口前的状态,γ\gamma 是累积衰减。传统解码沿左边逐步推进,ReplaySSM 则采用右边的形式:把状态表示为一个检查点加上一小段最近的输入记录(Mamba-2 的 αj\alpha_j、vjv_j、kjk_j)缓冲。

在大多数步骤(我们称为非冲刷步骤,non-flush)中,系统只是把当前输入追加进缓冲区,并基于检查点和缓冲区计算输出,不保存状态。当缓冲区写满 L 条记录时,触发一次冲刷步骤(flush):把缓冲的输入折叠进检查点,将新检查点一次性写入 HBM,然后清空缓冲区。输出与传统解码仅在浮点精度上有差异。ReplaySSM 的思路可以浓缩为三个问题:

1

ReplaySSM 做了什么?

它缓存近期的 SSM 输入,并将状态表示为一个检查点加上这些输入。

2

这项改动带来了什么变化?

它将输出计算与状态更新解耦:每一步都计算输出,而检查点仅在每个窗口更新一次。

3

实现了什么效果?

它降低了状态内存访问压力,简化了推测解码的回滚逻辑,并且支持低精度状态读取,避免其舍入误差通过递归更新传播扩散。

ReplaySSM 的评估方法

我们评估了来自两个系列的四个混合模型:带有 Mamba-2 层的 Nemotron 3 和带有 GDN 层的 Qwen3.5,规模从单张 NVIDIA H100 Tensor Core GPU 上的 4B 稠密模型,到单张 NVIDIA Blackwell Ultra B300 GPU 上的 120B 级混合专家(MoE)模型(见表 1)。我们在 vLLM 中实现了 ReplaySSM,并将其与 vLLM 自身在内核最佳启动配置下的表现进行了对比。

性能测试中,SSM 状态保持 FP32 精度(这些模型的默认精度),并使用窗口大小 L = 16,这是所有四个模型表现最佳的窗口设置。推测解码测试利用各模型的多 token 预测(MTP)头生成草稿 token。

模型SSM 层权重GPUSSM / 注意力层
Nemotron-3-Nano-4BMamba-2BF161×H10021 / 4
Nemotron-3-Super-120B-A12BMamba-2NVFP41×B30040 / 8
Qwen3.5-4BGDNBF161×H10024 / 8
Qwen3.5-122B-A10BGDNNVFP41×B30036 / 12
表 1. 评估模型及硬件配置。每个模型均在单张 GPU 上运行,未使用张量并行

收益一:降低状态内存访问压力

在 L 个 token 的窗口内,传统解码方案会对状态执行 L 次读取和 L 次写入。ReplaySSM 在每一步仍会读取 checkpoint,因为输出计算依赖于它,但仅在 flush 阶段写入一次状态。非 flush 步骤的核心任务是计算输出,只写入新输入记录(即若干向量,而非完整矩阵)。这使主要的状态数据流量大约减半。

在大批量服务场景下,内存带宽是传统 kernel 的性能瓶颈,因此降低状态内存流量能显著加速解码。但在 batch size 为 1 时,其他延迟源占主导地位,测试结果显示 ReplaySSM 在此情形下没有带来加速。当 batch size 为 256 时,kernel 运行速度提升 1.46× 至 1.80×,四个模型的解码步骤速度提升 1.20× 至 1.47×(见图 3)。由于 SSM 占单步计算的比例随 batch size 增加而增大,端到端的加速效果也随之提升。

柱状图:在 batch size 256 下,ReplaySSM 与经过调优的 vLLM 在四个模型上的性能对比。Kernel 加速倍率范围为 1.46× 至 1.80×;端到端加速倍率范围为 1.20× 至 1.47×。
图 3. 在 batch size 256 下,相对于经过调优的 vLLM 的标准解码加速比。Kernel 性能数据包含 flush 开销

优势 2:简化回滚,加速验证

在 speculative decoding 中,ReplaySSM 在验证阶段开始前,将全部 T 个 draft token 的输入追加到 input buffer,验证完成后通过推进 buffer 指针来提交已接受的前缀。与 KV cache 类似,指针之后的记录会被忽略,并在下一次追加时被覆盖。这种方式无需为每个 draft token 保存状态快照,也无需恢复状态(见图 2 中间部分)。由于 flush 仅将已提交的记录合并到 checkpoint 中,它无需等待确定的接受长度。

这种分离还带来另一个好处。传统解码每生成一个 token 都要同时产出两样东西——输出和更新后的状态,因为下一个 token 要用到这个状态。而 ReplaySSM 的非 flush 步骤只需产出输出,只算输出就意味着可以换一种计算方式。对于从零状态出发的一次更新,有 o=(vk⊤)q=v(k⊤q)o = (v k^\top)q = v(k^\top q)。左边的式子要先构建一个 dv×dkd_v \times d_k 的状态再读取它,右边的式子则算出一个标量去缩放向量,完全不需要构建状态。对 T 个 draft 和 h 条已提交记录,同样的思路可以写出下面的表达式:

O=SckptQD+V(W⊙(K⊤Q)),O = S_{\mathrm{ckpt}}\, Q D + V \bigl(W \odot (K^\top Q)\bigr),

其中 D 是各 draft 位置的累积衰减,W 是带因果掩码的衰减矩阵。我们称之为“只算输出”的求值方式。checkpoint 只需为全部 T 个查询使用一次,其余计算就是对缓存的 key、value 和 draft 查询做的两个小矩阵乘法。整个过程不构建任何中间状态,节省了片上内存和 FLOPs,而且这些计算还能借助 Tensor Cores 加速。此外,K⊤QK^\top Q 在同一组内的所有 value head 之间共享。这其实就是 prefill kernel 已经在用的 chunkwise 计算,只是把缓冲区和 draft 当作 chunk 而已。GDN 也可以采用这种形式。“只算输出”的求值方式同样适用于标准解码,但在验证阶段价值最大,因为那里每步的算术运算量会乘上 T 倍。

图 4 展示了在两个 120B 级模型上、T = 4 时,GSM8K 提示上的投机服务吞吐量。在 batch size 512 下,ReplaySSM 在接受长度相同的情况下,吞吐量分别是 vLLM 投机解码的 1.85 倍和 2.10 倍。

折线图,比较标准 vLLM、推测 vLLM 以及推测 ReplaySSM 在两个模型上的吞吐量。在批量大小为 512 时,ReplaySSM 的吞吐量分别达到推测 vLLM 的 1.85 倍和 2.10 倍。
图 4. 在 GSM8K 提示词下的推测服务吞吐量,T = 4, L = 16,FP32 状态,每个模型使用一块 B300 显卡

这一性能提升源于两个方面。

  • 验证速度更快:vLLM 的内核为每个 token 存储一个状态快照,因此其延迟随 T 增加而增长;当 T = 8 时,其延迟几乎是 vLLM 标准解码步骤的五倍。ReplaySSM 在大多数步骤中不写入状态,因此验证 8 个 token 所需时间大约等于一步标准解码(包含刷写操作,见图 5)。
  • 并发度更高:草稿状态快照会占用 GPU 内存,从而限制并发能力。传统推测解码在批量大小超过 128 后收益不再增长;在 Qwen3.5-122B-A10B-NVFP4 模型上,当批量大小达到 512 时,其性能甚至低于标准解码。相比之下,ReplaySSM 能随批量大小增加持续扩展性能。
柱状图,显示随着草稿长度增加验证延迟的变化。vLLM 的延迟急剧上升,而 ReplaySSM 验证 8 个 token 的时间大致相当于 vLLM 一步标准解码的时间。
图 5. 在 Nemotron-3-Super-NVFP4 上,批量大小为 256 时验证内核的延迟,相对于 vLLM 标准解码步骤(包含刷写操作)

优势 3:通过分离精度限制误差累积

低精度状态所需的字节数更少,从而在内存带宽限制内核性能的情况下降低延迟。在 Mamba-2 上,读取 NVFP4 状态时,非刷写内核的运行速度比读取 FP32 状态快 3.8 倍。

ReplaySSM 从两个方面改变了量化方式。首先,检查点改为每个窗口写入一次,而非每步写入一次,这意味着低精度检查点每 L 步只会被舍入一次。 Nemotron 3 Ultra 报告 探讨了这种周期性检查点方法。虽然它降低了舍入频率,但舍入误差仍会进入后续的更新中。

其次,非冲刷步骤仅读取状态以计算输出,而冲刷步骤则更新用于后续状态更新的检查点。这两项任务可以使用不同的精度。我们保留一个高精度检查点用于递归计算,并维护一个低精度副本用于非冲刷读取。冲刷操作从高精度检查点开始,合并缓冲区输入,并将结果独立转换为两种格式。由于低精度副本从不被读回递归过程,其舍入误差仅影响当前窗口的输出,不会沿递归传播。在冲刷时额外写入低精度副本,减少了非冲刷步骤中需要读取的数据量。接受、回滚和缓冲区管理保持不变(图 2 右侧)。

图 6 测量了输出误差,即生成长度达 128K 个 token 时,与 PG-19 文本上强制教师输入(teacher forcing)下的 FP32 状态解码相比的 Kullback–Leibler(KL)散度。共享的 FP8 或 NVFP4 检查点会随长度累积误差。保持递归部分为 FP32 可消除大部分误差增长:在 Qwen3.5-4B 模型生成 128K 个 token 时,NVFP4 读取配合 FP32 递归计算将 KL 散度从 0.136 降低至 0.0038。剩余的误差是读取误差,它不会随长度增长。

带有随机舍入(SR)的 FP16 递归计算能紧密跟踪 FP32,因此半精度递归检查点就足够了。对读取副本进行更好的量化,例如沿状态和通道维度使用独立的缩放因子,可以进一步削减剩余的读取误差。

Qwen3.5-4B 的输出 KL 散度随生成长度的变化。共享精度 FP16+SR 接近 FP32;共享 FP8 和 NVFP4 的误差累积比读取与递归分开设置精度时更多。
图 6. Qwen3.5-4B(L = 16)上传统 FP32 状态解码的输出 KL 散度。为输出计算和递归更新这两项工作分别设置精度,可以消除大部分累积误差

我们还验证了 KL 差距是否会体现在下游准确率上。表 2 展示了 GPQA-Diamond 的结果,这是三项评测中生成序列最长的一个。共享 NVFP4 checkpoint 在四个模型上会损失 3 到 31 个百分点的准确率;改用 NVFP4 读取搭配 FP16 或 FP8 递归则能挽回大部分损失,让四个模型中的三个保持在 FP32 约 2 个百分点以内。

GPQA-Diamond,相对 FP32 的变化(百分点)FP32 准确率共享 NVFP4 checkpointNVFP4 读取 + FP16+SR 递归NVFP4 读取 + FP8+SR 递归
Nemotron-3-Nano-4B56.7−31.3−6.7−5.6
Nemotron-3-Super-NVFP479.3−12.5−1.4−1.4
Qwen3.5-4B76.3−3.2+0.7+1.5
Qwen3.5-122B-A10B-NVFP482.7−5.2−2.0−1.7
表 2. 采用 NVFP4 读取 checkpoint 时的 GPQA-Diamond 准确率,以相对各模型 FP32 参考值的变化表示。共享 checkpoint 使用随机舍入,标准解码,L = 16

图 7 展示了 GPQA-Diamond 上准确率损失随生成长度的变化情况。在三项评测中:

  • GPQA-Diamond:在 Nemotron-3-Super-NVFP4 上,共享检查点(shared checkpoint)在短生成任务中与 FP32 精度保持一致,但随着生成长度的增加,两者逐渐偏离。而独立精度(separate-precision)配置在整个过程中都保持在 FP32 附近。
  • MMLU-Pro 和 Math-L5:这两个基准的生成内容通常比 GPQA-Diamond 更短。四个模型中有三个在使用共享 NVFP4 检查点时,精度损失不超过 3 个百分点;而独立检查点配置的平均表现与 FP32 的差距在 0.5 个百分点以内。

论文提供了上述三项基准测试及长输入 RULER 测试的结果。

折线图,展示 GPQA-Diamond 在不同生成长度四分位区间内的精度对比。独立精度配置紧贴 FP32 精度,而共享 NVFP4 检查点在长生成时精度下降。
图 7. Nemotron-3-Super-NVFP4 上,基于 FP32 参考生成长度四分位的 GPQA-Diamond 精度

开始使用 ReplaySSM

ReplaySSM 已正式投入生产环境。GLM-5.3-Flash 已启用 ReplaySSM 提供服务,Z.ai 的基础设施报告详细描述了将其集成至 KDA 解码内核的过程。Kimi-K3 在其 KDA 层中缓存草稿令牌的 SSM 输入用于验证,并引用了作为并行方案的 ReplaySSM。此外,ReplaySSM 还集成了 TensorRT-LLM、vLLM、SGLang 和 FlashInfer 等开源推理框架。

欲了解更多信息,请查阅以下资源:

原始来源: NVIDIA 开发者博客

评论 (0)