Transformers 是 HuggingFace 开源的机器学习模型定义与训练框架，覆盖文本、视觉、音频及多模态任务，提供统一的 API 调用数千个预训练 SOTA 模型。其核心优势在于模型即插即用、Pipeline 抽象简洁易上手，并依托 Hub 生态实现模型与数据集的快速加载与共享。广泛适用于学术研究、工业落地及快速原型开发，是当下 NLP 与多模态领域最主流的开发框架之一。
搭配玩法
4Transformers + AWS Trainium 实例+ 8颗Trainium2芯片(32个NeuronCore)+ TRL+ TorchNeuron+ torch.compile
用标准TRL SFT脚本在Trainium上微调Qwen3-8B，TP4×FSDP8共32进程
Neuron成为PyTorch原生设备后，直接用与其他加速器相同的库和分布式原语训练，无需专用训练器。
✓ 无需专用训练器或模型分叉✓ 检查点与Neuron无关，可推送到Hub ✕ 需禁用自动动态形状✕ 需手动关闭异步权重加载
Transformers + TPU+ Kernels+ Tokamax+ Pallas
加载 Hub 上的 TPU kernel 提升 MoE 模型解码速度
TPU kernel 用 Pallas 编写，可精细控制底层硬件；注册到 Transformers 后替换专家计算实现
✓ batch 64 时解码速度提升 21.✓ 批次越大收益越显著
通过原生后端让 Transformers、Diffusers 等模型直接在 TPU 上加载运行
以前只能走 torch_xla，怪癖多、易触发图重编译；原生后端让 TPU 成为普通设备，照常写 PyTorch 代码
✓ 模型放到 tpu 设备即可运行✓ 代码不变，无需单独 TPU 分支 ✕ 96.5% 测试通过，尚未全绿
Transformers + Trainium2 实例+ TorchNeuron+ torch-neuronx+ AWS Trainium
Transformers 模型借助 TorchNeuron 在 Trainium 上直接运行推理
TorchNeuron 是 Trainium 的原生 PyTorch 后端，使 Transformers 建模代码无需修改即可运行
✓ 模型无需修改即可运行✓ Hub 上模型理论上都能跑 ✕ 仅测试适配 4 个 Trainium2 ✕ PASS 结果不含吞吐量信息
产品简介
Transformers 是 HuggingFace 开源的机器学习模型定义与训练框架，覆盖文本、视觉、音频及多模态任务，提供统一的 API 调用数千个预训练 SOTA 模型。其核心优势在于模型即插即用、Pipeline 抽象简洁易上手，并依托 Hub 生态实现模型与数据集的快速加载与共享。广泛适用于学术研究、工业落地及快速原型开发，是当下 NLP 与多模态领域最主流的开发框架之一。