Google TPU 现支持 Meta 数据中心，通过 PyTorch 原生引擎实现 AI 推理

Google的张量处理器（TPU）——其定制 AI 芯片——如今已通过一个全新的 PyTorch 原生 SGLang 推理引擎版本，在 Meta（广泛使用的 PyTorch AI 框架的创建者）中提供生产级 AI 服务，这一消息已在 Google 开发者博客上宣布。与此同时，另一款广泛使用的推理引擎 vLLM 的对应版本也被宣布开源。

此前，这两款引擎都依赖 Google 自有的 JAX AI 框架在 TPU 上运行。新版本使 TPU 硬件成为 PyTorch 的本土选项，且基本无需重写代码。

Go deeper with TH Premium: AI and data centers

Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 表示，"SGLang-TorchTPU 如今已在 Meta 投入生产使用"，这得益于"Meta、Google 和 SGLang 团队之间的紧密三方合作"。该团队隶属于 RadixArk，一家由 SGLang 创建者成立的初创公司，其团队曾与 Google 和 Meta 共同构建该引擎。他表示，该引擎为 Meta 提供了"一个非常成熟的、PyTorch 原生的服务栈"。

Meta PyTorch 工程总监 Jana van Greunen 在 Google 的 TorchTPU 博文中补充道，Meta "不能被单一硬件架构所限制"，而 TorchTPU "使我们能够将 PyTorch 工作负载部署到 Google TPU 上"。Google 表示，TorchTPU 是与其 PyTorch 团队共同开发的。

这并非 Meta 首次尝试使用 TPU。Google 称旧的 PyTorch 到 TPU 的桥梁 PyTorch/XLA 是新 TorchTPU 的"前身"。SemiAnalysis 去年报道，Meta 的研究团队在 2020 至 2023 年间通过该桥梁使用 TPU，但在 Meta 取消相关合同后便停止使用。Google 推广 PyTorch-on-TPU 主要目标便是 Meta，因为 Meta 不愿迁移到 JAX。

尽管尚不清楚 Meta 的生产级 TPU 具体部署在何处，但据报道，去年进行的谈判涉及 2026 年租用 Google Cloud TPU 以及 2027 年直接采购。此外，Meta 随后被报道签署了一份多年期租赁协议。

突发新闻🚨🚨：今日 Meta 确认，其已在生产环境中运行 TPU 进行推理。这对 CUDA 的护城河意味着什么？ 关注我们公开通讯的读者对此并不感到意外，因为我们在 2025 年 11 月 28 日就曾公开撰文指出，Meta 是 TPU 的客户，并且有大量工程师正致力于 TPU 开发。我们的加速器供应链模型中包含了 Meta 采购 TPU 的详细信息！2026 年 10 月 21 日

这项公告发布于 Amazon 宣布在 PyTorch 大会上开源 TorchNeuron 之后一天。TorchNeuron 是 Amazon 专为自家 Trainium2 和 Trainium3 芯片开发的 PyTorch 原生后端。这两项举措似乎都旨在削弱 Nvidia 的软件锁定。