← 文章 / AI技术
HuggingFace博客 22天前 · 2026-10-31 06:42:11 · 21 阅读

PyTorch 2.15:MPS 后端引入 FP8 支持,LLM 解码性能大幅提升

如果你在 Mac 上跑模型,或者把 MPS 当作主要的计算加速工具,PyTorch 2.15 有不少值得期待的更新:MPS 上支持了 FP8,语言模型的解码通过 linear 层和 softmax 获得了更快的路径,新的 Metal kernel 还优化了音频、视频和训练工作流中一些开销高得惊人的环节。

先简单介绍一下我们:我们是 Hugging Face 的 PyTorch 团队。我们持续向 PyTorch 贡献代码,其中一个重点方向就是 MPS 后端,目标是让 Mac 成为运行和训练 PyTorch 模型的一等公民。2026 年初的时候,在 MPS 上哪怕跑一个小模型,也常常要绕开各种不支持的算子、性能断崖和诡异的内存增长。于是我们把 Hugging Face Hub 上的真实模型(涵盖语言、图像、视频)在 MPS 上跑一遍,找出短板,然后在 PyTorch 上游修复——而且越来越多地直接用专门的 Metal kernel 替换 MPSGraph。这篇文章的大部分内容正是这项工作的成果,感谢 PyTorch 维护者和社区贡献者们的通力合作。

要点速览

  • Mac 支持 FP8:用 float8_e4m3fn 存储数值,空间只需 BF16 的一半,还能使用 scaled 矩阵乘法以及 CUDA/CPU 上已支持的其他所有算子!
  • MoE 模型解码比 2.14 快 5–6.5 倍:得益于原生的 grouped matmul 配合专门的解码路径、更少的 GPU-CPU 同步以及更快的 top-k 路由,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。
  • 所有 LLM 的单 token 耗时更低:单行 linear 层改用专门的矩阵-向量 kernel,词表上的 softmax 快了约 8 倍。
  • 更多线性代数运算跑在 GPU 上:复数 LU 分解和三角矩阵求解、更快的小矩阵求逆,以及更快的 QR 分解。
  • 音频、视频和训练也照顾到了:卷积、padding、dropout、interpolation 反向传播和归约操作都有了更快的路径。Wan2.2 的视频 VAE 解码峰值内存从 270 GiB 降到了 8 GiB。
  • Python 侧控制力更强:公开了 MPS streams,事件计时也更可靠。
  • 系统要求更新:MPS 现在需要 macOS 15 或更高版本;PyTorch 2.15 需要 Python 3.11 或更高版本。
  • 2.16 抢先看:attention 全面迁移到 Metal,更多 MPSGraph 转 Metal 的工作,以及更快的 LLM 解码。

对你意味着什么

如果你在 Mac 上使用 transformers、diffusers 或 ComfyUI 等工具运行模型,以下是 2.15 版本在实际使用中的具体变化:

  • 本地 LLM 速度大幅提升。 Mixture-of-experts(混合专家)模型在 2.15 中的解码速度比 2.14 快 5–6.5 倍:在 M3 Ultra 配合 torch.compile 下,Qwen3.6-35B-A3B 的吞吐量从 9.4 tokens/s 提升至 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 tokens/s 提升至 123.6 tokens/s。稠密模型也从中受益,得益于更快速的线性层和用于采样的 8 倍加速 softmax。(详情)
  • 视频生成内存占用大幅降低。 使用 Wan2.2 的分块 VAE 解码视频时,驱动内存占用从之前的 270 GiB 峰值降至现在的约 8 GiB。(详情)
  • 修复 Qwen-Image-2.1 的图像编辑准确性问题。 在 2.14 中,Qwen-Image-2.1 的 VAE 编码器在 MPS 上会静默损坏图像,导致图像编辑工作流失败(ComfyUI 中已报告)。该相同的 padding 修改解决了此问题:编解码往返的 PSNR 从 10.06 dB 提升至 29.95 dB,与 CPU 表现一致。
  • Mac 支持 FP8 权重。 FP8 张量占用的内存仅为 BF16 的一半,且 F.scaled_mm 可直接在 GPU 上对其进行乘法运算。(详情)

目录

快速入门

你需要一台搭载 Apple silicon 芯片的 Mac,且系统为 macOS 15 或更高版本,Python 为 3.11 或更高版本(参见 2.15 兼容性矩阵)。如果系统版本过旧或没有 Metal GPU,MPS 可用性检查现在会告知具体原因。

要在独立环境中试用该候选版本:

uv pip install torch==2.15.0 --index-url https://download.pytorch.org/whl/test/cpu

FP8 登陆 MPS

FP8 为 Mac 提供了另一种节省内存的方式。PyTorch 2.15 在 MPS 上增加了 torch.float8_e4m3fn 张量支持:每个值仅占一个字节,存储空间是 FP16 或 BF16 的一半。

你可以使用 F.scaled_mm 对这些张量进行乘法运算,该函数支持按张量和按行两种缩放方式。下面是一个每张量使用一个缩放系数的小示例:

import torch
import torch.nn.functional as F

def quantize_fp8(x):
    limit = torch.finfo(torch.float8_e4m3fn).max
    scale = x.abs().amax().clamp_min(1e-12) / limit
    return (x / scale).to(torch.float8_e4m3fn), scale

x = torch.randn(1, 1024, device="mps", dtype=torch.float32)
weight = torch.randn(1024, 1024, device="mps", dtype=torch.float32)
x_fp8, x_scale = quantize_fp8(x)
w_fp8, w_scale = quantize_fp8(weight)

y = F.scaled_mm(
    x_fp8,
    w_fp8.t(),
    scale_a=x_scale,
    scale_recipe_a=F.ScalingType.TensorWise,
    scale_b=w_scale,
    scale_recipe_b=F.ScalingType.TensorWise,
    output_dtype=torch.bfloat16,
)
print(y.shape, y.dtype)

更快的语言模型解码

每个 LLM 都有预填充(prefill)和解码(decode)两个阶段。在解码期间,每个新 token 作为单行通过模型,因此大型矩阵乘法变成了矩阵向量乘积。PyTorch 2.15 加速了该步骤中占主导的两种层:稠密线性层和混合专家(mixture-of-experts)层。

线性层

MPS 自 2.14 起就为 torch.mm 提供了 GEMV 内核,但 F.linear 仍需经过 MPSGraph。PyTorch 2.15 把二者接到了 F.linear,因此解码时常见的 [1, 1, hidden_size] 输入可以直接使用这些内核,符合条件的 bias 加法也会被融合进来。在来自真实模型的 96 种 BF16 层形状上,几何平均加速达到 1.23 倍。提升最明显的是小型投影,比如 MoE 模型中的门控——旧路径几乎闲置了大部分内存带宽。大型层和 LM head 本来就已接近带宽瓶颈,所以基本维持在 1 倍左右。

MoE 层

MoE 层会把不同数量的 token 分发给各个 expert。分组矩阵乘法能在一次操作中处理这些大小不一的分组,2.15 为 MPS 带来了原生实现。

在 2.14 中,分组矩阵乘法需要把分组偏移量复制到 CPU,再逐组循环。新的 Metal 内核直接在 GPU 上读取偏移量,可用时调用 Metal Performance Primitives,否则走单独的 Metal 路径。针对解码时常见的小分组,还有专用内核。

例如,64 个 token 可以分成 16、32、16 三组:

import torch
import torch.nn.functional as F

tokens = torch.randn(64, 64, device="mps", dtype=torch.bfloat16)
weights = torch.randn(3, 128, 64, device="mps", dtype=torch.bfloat16)
ends = torch.tensor([16, 48, 64], device="mps", dtype=torch.int32)

out = F.grouped_mm(tokens, weights.transpose(-2, -1), offs=ends)
print(out.shape)  # torch.Size([64, 128])

解码内核的收益直接体现在 token 吞吐量上。在 M3 Ultra 上配合 torch.compile,MoE 模型的每秒生成 token 数提升约 1.3 倍:

线性代数提速

复数运算

处理复数张量变得更加便捷。现在,complex64 类型的LU 分解、LU 求解以及三角求解均可在 MPS 上运行。这同时也解锁了基于这些操作构建的功能及梯度计算,例如复数行列式。以下是一个直接在 GPU 上求解的小型方程组示例:

import torch

a = torch.randn(8, 8, device="mps", dtype=torch.complex64)
a = a + 8 * torch.eye(8, device="mps", dtype=torch.complex64)
b = torch.randn(8, 2, device="mps", dtype=torch.complex64)

lu, pivots = torch.linalg.lu_factor(a)
x = torch.linalg.lu_solve(lu, pivots, b)
print((a @ x - b).abs().max().item())

小矩阵与大尺度求解

小矩阵也拥有了高性能的内核实现。针对相机几何与图像变换,批量大小不超过 4 × 4 的 FP32 矩阵现可通过单个 Metal 内核完成求逆,该内核集成了分解与求解步骤。更大规模的计算也受到了关注:QR 分解采用了分块更新机制,而三角求解则将大部分计算转化为高效的矩阵乘法。

Gated DeltaNet 工作负载针对至少包含八个右端项的 16 × 16、32 × 32 及 64 × 64 FP32 三角方程组批次获得了专用快速路径。

SVD 在数值极端情况下的鲁棒性也得到提升。它现在能正确处理极小的奇异值、极大或极小的输入量级,以及使用 full_matrices=True 时的基补全操作。这些改进使得伪逆和最小二乘法的计算结果更加可靠。

卷积、填充与训练

音频模型、视频解码器和训练循环各有其高开销的操作。本次发布为其中多项操作提供了新的 Metal 执行路径:

操作 2.15 版本的变更内容
conv1d 前向传播 采用专用 kernel 替代 MPSGraph,并为短输出增加了 im2col 加矩阵乘数的路径。适用于音频和流式模型形状。
常量填充 迁移至 Metal kernel,修复了分块视频 VAE 解码中驱动内存持续增长的问题(下文详述)。
反射填充与复制填充 新增 Metal 实现,速度更快且修复了反向传播的正确性问题。
非原地 dropout nn.Dropout 和 F.dropout 现在使用现有的融合 kernel。
上采样反向传播 使用 Metal gather kernel 替代 MPSGraph 的 resize 梯度路径。
Channels-last conv2d 反向传播 保持高效的 channels-last 路径,避免使用代价高昂的 strided access 的 NCHW 图。

Softmax 与归约运算

2.15 版本中 Token 采样速度也得到提升。softmax 和 log_softmax 现在运行在专用 Metal kernel 上,大词表受益最为明显:对 [1, 128256] 大小的 logits 行执行 FP32 softmax,耗时从 57 µs 降至 7 µs,比 MPSGraph 版本快约 8 倍。这一加速效果在其他常见词表大小上同样成立:

FP32 softmax 在五种词表大小(128,256 到 201,088)下单行 logits 耗时的柱状图。MPSGraph 耗时 50 到 74 微秒;Metal kernel 耗时 7 到 10 微秒,加速比为 7.1 倍到 8.0 倍。

视频解码的内存占用大幅降低

本次发布最亮眼的结果之一来自常量填充(constant-padding)的改动。在 Wan-AI/Wan2.2-TI2V-5B-Diffusers 中,一次完整的 28 块 VAE 解码会触发 8,764 次 padding 调用。将 padding 改为在 Metal 上执行后,驱动内存峰值从约 270 GiB 骤降至 8 GiB:

Stacked bar chart of peak driver memory during the Wan2.2 tiled VAE decode. With MPSGraph padding, 8.07 GiB of allocator-reserved memory plus 262 GiB outside the allocator gives 270.1 GiB; with Metal padding the total is 8.1 GiB.

内存指标 MPSGraph padding Metal padding
当前张量分配峰值 4.422 GiB 4.095 GiB
分配器预留内存峰值 8.070 GiB 8.070 GiB
驱动内存总峰值 270.135 GiB 8.108 GiB

MPS streams 带来更多控制能力

现在可以直接在 Python 中选择用哪个 MPS stream 来执行任务。torch.mps.Stream 和 torch.mps.stream 上下文管理器提供了相应接口,而 Tensor.record_stream 则让分配器能够跟踪张量在另一个 stream 上的使用情况。

下面这个小示例演示了如何把任务发送到单独的 stream,并在读取结果前进行同步:

import torch

x = torch.randn(1024, device="mps")
torch.mps.synchronize()
worker = torch.mps.Stream()

with torch.mps.stream(worker):
    y = x.square()
    x.record_stream(worker)

del x
worker.synchronize()
print(y.cpu().shape)

更多算子已支持 MPS

又有多个操作现在支持在 MPS 上运行: torch.frexp、torch.logspace、torch.take 和 Tensor.put_、torch.heaviside、torch.special.laguerre_polynomial_l 以及 无符号整数比较。目前 logspace 尚不支持多元素的整型或布尔型输出。

Attention(注意力机制)也修复了一个正确性问题:MPS 中 scaled dot-product attention 的数学实现现在能正确处理 batch 和 head 的广播机制。

PyTorch 2.16 前瞻

2.16 的开发工作已全面展开。以下部分变更已合入 main 分支,可在 nightly 版本中获取;其余仍在代码审查阶段,发布前细节可能会有调整。

更快的 LLM 解码速度

当模型的解码路径中不再包含任何 MPSGraph 操作时,CPU 完成所有内核的编码后,GPU 才开始处理 token。PyTorch 2.16 每 16 个内核提交一次 command buffer,使得 GPU 可以在 CPU 继续编码剩余内核的同时开始工作。对于编译后的 BF16 解码(2048 token 上下文):

模型 优化前 优化后 变化
LFM2.5-8B-A1B 108.8 tokens/s 126.0 tokens/s +16%
Qwen3.6-35B-A3B 52.9 tokens/s 62.8 tokens/s +19%
Qwen3.8-27B 12.1 tokens/s 12.6 tokens/s +4%

Attention 完全运行在 Metal 上

Scaled dot-product attention is dropping MPSGraph completely: every shape will run on Metal kernels, with dedicated vector kernels for decoding and Metal Performance Primitives for half-precision prefill on newer macOS versions. The shapes that used to fall back to MPSGraph benefit the most. On an M5 Pro, decoding with grouped-query attention (32 query heads, 8 KV heads, head dim 80, 4K context) drops from 465 µs to 65 µs, and a 4K × 4K prefill with head dim 40 goes from 42 ms to 6 ms.

更多操作从 MPSGraph 迁移至 Metal

脱离 MPSGraph 的进程仍在继续。Batch norm 的 前向 和 反向 实现正在推进中,而 MSE 损失(在小规模输入下最快可提速 12 倍)、std_mean 与 var_mean(最快提速 4 倍)以及 bincount 已合并落地。其中 bincount 的改进最为显著:当大多数值落入同一个桶时,统计 400 万整数的耗时从 6.8 秒缩短至 0.5 毫秒。

更小的安装包

捆绑的 shader 默认将 为 Metal 3.1 构建,仅对确实需要的内核编译 Metal 4 版本。这将 libtorch_cpu.dylib 缩小约 25%,从 384 MiB 减至 287 MiB,并为支持更快矩阵乘法及原生 FP8 矩阵乘法的 Metal 4.1 shader 奠定基础。

总结

PyTorch 2.15 为 Mac 带来了 FP8 支持,加速了密集模型与 MoE 模型的 LLM 解码,增加了更多 GPU 端线性代数运算,并将大量操作从 MPSGraph 迁移至专用 Metal 内核。快去体验这个候选版本吧!

后续计划

  • 更多 MPS 支持:2.16 版本将让注意力机制完全运行在 Metal 上,并继续将操作从 MPSGraph 中迁移出去。
  • torch.compile:我们正在努力消除图断裂,使更多模型能够端到端编译。
  • 你的想法:你还希望我们在 PyTorch 上做什么?如果有什么地方慢了、缺了或坏了——不管是在 MPS 还是其他地方——欢迎在 GitHub 上提交 issue 告诉我们。

特别感谢 Nikita Shulga、Kurt Mohler 和 Aaron Gokaslan 审阅了本次的大部分工作,也感谢所有为本版本 MPS 做出贡献的开发者。

原始来源: HuggingFace博客

评论 (0)