进阶 ray.io 2026-11-20 06:00:47 · 4 阅读

第7章 Ray Data:面向 AI 工作负载的可扩展数据处理

Ray Data:面向 AI 工作负载的可扩展数据处理#

Ray Data 是构建于 Ray 之上的可扩展数据处理库,专为 AI 工作负载设计。它提供了灵活且高性能的 API,支持批推理、数据预处理以及机器学习训练中的数据加载等常见操作。与其他分布式数据系统不同,Ray Data 具备流式执行引擎,能够高效处理大规模数据集,并在 CPU 和 GPU 工作负载上保持高资源利用率。

快速入门#

首先,请安装 Ray Data。有关安装 Ray 及其库的更多详情,请参阅“安装 Ray”: $ pip install -U 'ray[data]'

以下是使用 Ray Data 执行简单批文本分类任务的示例: import ray import pandas as pd

class ClassificationModel: def __init__(self): from transformers import pipeline self.pipe = pipeline("text-classification")

def __call__(self, batch: pd.DataFrame): results = self.pipe(list(batch["text"])) result_df = pd.DataFrame(results) return pd.concat([batch, result_df], axis=1)

ds = ray.data.read_text("s3://anonymous@ray-example-data/sms_spam_collection_subset.txt") ds = ds.map_batches( ClassificationModel, compute=ray.data.ActorPoolStrategy(size=2), batch_size=64, batch_format="pandas" # num_gpus=1 # 这将设置为每个 worker 分配 1 个 GPU ) ds.show(limit=1)

{'text': 'ham\tGo until jurong point, crazy.. Available only in bugis n great world la e buffet... Cine there got amore wat...', 'label': 'NEGATIVE', 'score': 0.9935141801834106}

为何选择 Ray Data?#

现代 AI 工作负载主要围绕深度学习模型展开,这类模型计算密集,通常依赖 GPU 等专用硬件。与 CPU 不同,GPU 的内存通常较少,调度语义不同,且运行成本高昂。传统的数据处理流水线系统往往无法充分利用此类资源。 Ray Data 将 AI 工作负载视为一等公民,并提供若干关键优势:

深度学习更快更省钱:Ray Data 在 CPU 预处理和 GPU 推理/训练任务之间流式传输数据,通过保持 GPU 处于活跃状态来最大化资源利用率并降低成本。 框架友好:Ray Data 与常见 AI 框架(vLLM、PyTorch、HuggingFace、TensorFlow)以及主流云服务商(AWS、GCP、Azure)提供高性能的一级集成。 支持多模态数据:Ray Data 利用 Apache Arrow 和 Pandas,支持 ML 工作负载中使用的多种数据格式,如 Parquet、Lance、图像、JSON、CSV、音频、视频等。 默认可扩展:基于 Ray 构建,支持跨包含不同 CPU 和 GPU 机器的异构集群自动扩展。代码无需修改即可在一台机器上运行,也能扩展到处理数百 TB 数据的数百个节点。

深入了解#

快速入门

通过简单示例开始使用 Ray Data。

快速入门

核心概念

了解 Ray Data 背后的核心概念,包括 Dataset 及其用法。

核心概念

用户指南

学习如何使用 Ray Data,涵盖从基础用法到端到端指南的内容。

学习如何使用 Ray Data

示例

查找使用 Ray Data 的简单及大规模扩展示例。

Ray Data 示例

API

获取有关 Ray Data API 的更深入信息。

阅读 API 参考

Ray Data 案例研究#

使用 Ray Data 进行训练数据摄入

Pinterest 使用 Ray Data 进行模型训练的最后一步数据处理 DoorDash 利用 Ray Data 提升模型训练效率 Instacart 基于 Ray Data 构建分布式机器学习模型训练

使用 Ray Data 进行批推理

ByteDance 使用 Ray Data 将多模态 LLM 的离线推理扩展至 200 TB Spotify 基于 Ray Data 构建用于批推理的新 ML 平台 Sewer AI 使用 Ray Data 将视频物体检测速度提升 3 倍

评论 (0)