第3章 Ray 框架概览
第3章 概览 Ray 是一个用于扩展机器学习和 Python 应用的开源统一框架。它提供了并行处理的计算层,让你无需成为分布式系统专家。Ray 通过以下组件,将运行分布式单个工作流和端到端机器学习工作流的复杂度降至最低:
* 可扩展库,涵盖数据预处理、分布式训练、超参数调优、强化学习和模型服务等常见机器学习任务。 * Python 风格的分布式计算原语,用于并行化和扩展 Python 应用。 * 集成与工具,便于将 Ray 集群与现有工具和基础设施(如 Kubernetes、AWS、GCP 和 Azure)集成并部署。
对于数据科学家和机器学习从业者,Ray 让你无需基础设施专业知识即可扩展任务:
* 轻松地在多个节点和 GPU 之间并行化并分配机器学习工作负载。 * 利用原生且可扩展的集成,借助机器学习生态系统。
对于机器学习平台构建者和机器学习工程师,Ray 提供:
* 计算抽象,用于构建可扩展且稳健的机器学习平台。 * 统一的机器学习 API,简化了入职流程,并方便与更广泛的机器学习生态系统集成。 * 通过让同一套 Python 代码从笔记本到大型集群无缝扩展,减少了开发与生产之间的摩擦。
对于分布式系统工程师,Ray 自动处理关键流程:
* 编排:管理分布式系统的各个组件。 * 调度:协调任务的执行时间和地点。 * 容错:确保任务在不可避免的故障点发生时也能完成。 * 自动扩缩容:根据动态需求调整分配的资源数量。
Ray 能做什么 以下是个人、组织和公司利用 Ray 构建 AI 应用的一些常见机器学习工作负载:
* 在 CPU 和 GPU 上进行批量推理 * 模型服务 * 大模型的分布式训练 * 并行超参数调优实验 * 强化学习 * 机器学习平台
Ray 框架 Ray 库栈 - 用于机器学习工作负载的统一工具包。
Ray 的统一计算框架由三层组成:
* Ray AI 库:一套开源的、Python 语言、面向特定领域的库,为机器学习工程师、数据科学家和研究人员提供用于机器学习应用的可扩展且统一的工具包。 * Ray Core:一个开源的、Python 语言的、通用分布式计算库,使机器学习工程师和 Python 开发人员能够扩展 Python 应用并加速机器学习工作负载。 * Ray 集群:一组连接到公共 Ray 头节点的 worker 节点。Ray 集群可以是固定大小的,也可以根据运行在集群上的应用请求的资源进行自动扩缩容。
扩展机器学习工作负载 使用分布式数据处理、模型训练、调优、强化学习、模型服务等库工具包构建机器学习应用。
Ray AI 库
构建分布式应用 使用简单且灵活的 API 构建和运行分布式应用。 几乎无需或零代码更改即可将单机代码并行化。
Ray Core
部署大规模工作负载 在 AWS、GCP、Azure 或本地部署工作负载。 使用 Ray 集群管理器在现有的 Kubernetes、YARN 或 Slurm 集群上运行 Ray。
Ray 集群
Ray 的五种原生库各自分发特定的机器学习任务:
* Data:在训练、调优和预测过程中,提供可扩展且框架无关的数据加载和转换。 * Train:具备容错能力的分布式多节点和多核模型训练,可与主流训练库集成。 * Tune:可扩展的超参数调优,以优化模型性能。 * Serve:可扩展且可编程的服务,用于部署模型进行在线推理,支持可选的微批量(microbatching)以提升性能。 * RLlib:可扩展的分布式强化学习工作负载。
Ray 的库同时面向数据科学家和机器学习工程师。对于数据科学家,这些库可用于扩展单个工作负载和端到端机器学习应用。对于机器学习工程师,这些库提供了可扩展的平台抽象,便于轻松接入和集成更广泛机器学习生态系统中的工具。 对于自定义应用,Ray Core 库让 Python 开发人员能够轻松构建可扩展的分布式系统,可运行在笔记本、集群、云或 Kubernetes 上。它是 Ray AI 库和第三方集成(Ray 生态系统)的基石。 Ray 运行在任何机器、集群、云提供商和 Kubernetes 上,并拥有日益增长的社区集成生态系统。