进阶 ray.io 2026-11-20 06:00:47 · 4 阅读

第8章 Ray Train:可扩展的分布式模型训练

Ray Train:可扩展的模型训练

Ray Train 是一个可扩展的机器学习库,支持分布式训练与微调。你可以用它将模型训练代码从单机扩展到云端集群,同时屏蔽底层分布式计算的复杂性。无论模型有多大、数据量有多大,Ray Train 都是分布式训练最简方案。

Ray Train 对多种框架提供了支持:

- PyTorch 生态 - PyTorch - PyTorch Lightning - Hugging Face Transformers - Hugging Face Accelerate - DeepSpeed - 更多框架 - TensorFlow - Keras - Horovod - XGBoost - LightGBM

安装 Ray Train

安装 Ray Train 只需运行:

``` $ pip install -U "ray[train]" ```

如需了解更多关于安装 Ray 及其库的内容,请参阅 Installing Ray。

入门

- 概览 了解 Ray Train 分布式训练的核心概念。 学习基础

- PyTorch 使用 Ray Train 和 PyTorch 开始分布式模型训练。 使用 Ray Train 搭配 PyTorch 试试

- PyTorch Lightning 使用 Ray Train 和 Lightning 开始分布式模型训练。 使用 Ray Train 搭配 Lightning 试试

- Hugging Face Transformers 使用 Ray Train 和 Transformers 开始分布式模型训练。 使用 Ray Train 搭配 Transformers 试试

- JAX 使用 Ray Train 和 JAX 开始分布式模型训练。 使用 Ray Train 搭配 JAX 试试

了解更多

- 更多框架 没找到你用的框架?查看这些指南。 使用 Ray Train 搭配其他框架试试

- 用户指南 获取 Ray Train 常见训练任务的实操步骤。 阅读操作指南

- 教程 覆盖从计算机视觉到推荐系统等多种机器学习工作负载的动手教程。 跟做教程

- 示例 浏览针对不同使用场景的端到端代码示例。 通过示例学习

- API 查阅 API 参考,获取 Ray Train 接口的完整说明。 阅读 API 参考

评论 (0)