第6章 什么是 Ray Core?
什么是 Ray Core?
Ray Core 是一个功能强大的分布式计算框架,提供了一组基本原语(任务、Actor 和对象),用于构建和扩展分布式应用程序。本指南将通过简单示例介绍这些核心概念,展示如何将 Python 函数和类转化为分布式的 Ray 任务与 Actor,以及如何高效处理 Ray 对象。
注意 Ray 已推出实验性 API,支持通过 GLOO、NCCL、NIXL 或用户自定义传输方式转移对象,作为默认共享内存 + gRPC 对象存储的替代方案。详见 Ray 直接传输 部分。
# 入门指南 首先,使用 `pip install -U ray` 安装 Ray。更多安装选项请参阅《安装 Ray》。
第一步是导入并初始化 Ray: `import ray`
`ray.init()`
注意 除非显式调用 `ray.init()`,否则首次使用 Ray 远程 API 时,系统会自动以无参数模式隐式调用 `ray.init()`。
# 运行任务 任务是并化 Python 函数在 Ray 集群上执行的最简单方式。创建任务的方法如下:
* 使用 `@ray.remote` 装饰函数,标记其应远程执行 * 通过 `.remote()` 调用该函数,而非普通函数调用 * 使用 `ray.get()` 从返回的未来(Ray 对象引用)中获取结果
以下是一个简单示例: `# 定义求平方任务`
`@ray.remote` `def square(x):` ` return x * x`
`# 启动四个并行的平方任务`
`futures = [square.remote(i) for i in range(4)]`
`# 获取结果`
`print(ray.get(futures))` `# 输出 -> [0, 1, 4, 9]`
# 调用 Actor 任务是无状态的,而 Ray Actor 允许你创建有状态的工作进程,使其在方法调用之间保持内部状态。实例化 Ray Actor 时:
* Ray 会在集群某处启动一个专用的工作进程 * Actor 的方法在该特定进程上运行,可以访问和修改其状态 * Actor 按接收顺序串行执行方法调用,从而保证一致性
以下是一个简单的计数器示例: `# 定义 Counter Actor`
`@ray.remote` `class Counter:` ` def __init__(self):` ` self.i = 0`
` def get(self):` ` return self.i`
` def incr(self, value):` ` self.i += value`
`# 创建 Counter Actor`
`c = Counter.remote()`
`# 向 Actor 提交调用。这些调用是异步的,但会在远程 Actor 进程中按提交顺序执行`
`for _ in range(10):` ` c.incr.remote(1)`
`# 获取 Actor 的最终状态`
`print(ray.get(c.get.remote()))` `# 输出 -> 10`
上述示例展示了 Actor 的基本用法。若需查看结合任务与 Actor 的更完整示例,请参阅蒙特卡洛法估算 π 示例。
# 传递对象 Ray 的分布式对象存储能高效管理集群中的数据。在 Ray 中操作对象主要有三种方式:
* 隐式创建:当任务和 Actor 返回值时,值会自动存入 Ray 分布式对象存储,并返回稍后可检索的对象引用。 * 显式创建:使用 `ray.put()` 直接将对象放入存储。 * 传递引用:可以将对象引用传递给其他任务或 Actor,从而避免不必要的数据复制,并支持延迟执行。
以下示例展示了这些技术: `import numpy as np`
`# 定义一个对矩阵求和的任务`
`@ray.remote` `def sum_matrix(matrix):` ` return np.sum(matrix)`
`# 使用字面量值作为参数调用任务`
`print(ray.get(sum_matrix.remote(np.ones((100, 100)))))` `# 输出 -> 10000.0`
`# 将大数组放入对象存储`
`matrix_ref = ray.put(np.ones((1000, 1000)))`
`# 使用对象引用作为参数调用任务`
`print(ray.get(sum_matrix.remote(matrix_ref)))` `# 输出 -> 1000000.0`
下一步
提示 如需监控应用程序的性能和资源使用情况,请查阅 Ray 仪表盘。
你可以以强大的方式组合 Ray 的简单原语,表达几乎任何分布式计算模式。若需深入了解 Ray 的核心概念,请探索以下用户指南:
[使用远程函数(任务)]
[使用远程类(Actor)]
[处理 Ray 对象]