进阶 ray.io 2026-11-20 06:00:47 · 4 阅读

第5章 RLlib:企业级可扩展强化学习实战

第5章 RLlib:企业级可扩展强化学习

RLlib 是一个开源的强化学习(RL)库。它支持生产级、可扩展且具备容错能力的强化学习任务,并为广泛的工业应用场景提供简洁统一的 API。

无论是训练多智能体策略、利用历史离线数据,还是连接外部模拟器,RLlib 都能覆盖各类自主决策场景,助你快速启动实验。

众多行业领导者已在不同垂直领域将 RLlib 应用于生产环境,涵盖游戏、机器人、金融、气候与工业控制、制造与物流、汽车以及船舶设计等。

60 秒上手 RLlib

只需几步,即可在笔记本电脑上运行首个 RLlib 任务。安装 RLlib 和 PyTorch: pip install "ray[rllib]" torch

注意 若要运行 Atari 或 MuJoCo 示例,请安装以下额外软件包: pip install "gymnasium[atari,accept-rom-license,mujoco]"

现在开始编写 RLlib 代码所需的准备工作就齐备了。本示例在 Taxi 环境中运行 PPO 算法。首先,创建算法配置。该配置定义了强化学习环境以及算法所需的其他设置。 from ray.rllib.algorithms.ppo import PPOConfig from ray.rllib.connectors.env_to_module import FlattenObservations

# 配置算法。 config = ( PPOConfig() .environment("Taxi-v3") .env_runners( num_env_runners=2, # 观察值离散(整数) -> 需要扁平化(独热编码)。 env_to_module_connector=lambda env: FlattenObservations(), ) .evaluation(evaluation_num_env_runners=1) )

接下来,构建算法并训练两个迭代。一次训练迭代包括由 EnvRunner 代理并行分布式地收集样本,计算所收集数据的损失函数,以及执行模型更新步骤。 from pprint import pprint

# 构建算法。 algo = config.build_algo()

# 训练 2 个迭代 ... for _ in range(2): pprint(algo.train())

在脚本末尾,评估已训练的算法并释放其资源: # ... 并评估该算法。 pprint(algo.evaluate())

# 释放算法资源(如 EnvRunners 和 Learners 等远程代理)。 algo.stop()

你可以使用任何 Farama-Foundation Gymnasium 注册的环境作为 env 参数。 在 config.env_runners() 中,你可以指定并行 EnvRunner 代理的数量,这些代理从环境中收集样本,此外还有众多其他设置。 你还可以通过 RLlib 的 DefaultModelConfig 更改神经网络架构,并通过 config.evaluation() 方法为评估 EnvRunner 代理设置独立的配置。 若要深入了解 RLlib 训练 API,请参阅 RLlib Python API。若想了解训练后的动作推理循环示例,请参阅此示例脚本。 若要快速预览 RLlib 支持的算法和环境,请展开以下下拉菜单。

RLlib 算法

在线策略

PPO (Proximal Policy Optimization)

离线策略

SAC (Soft Actor Critic)

DQN/Rainbow (Deep Q Networks)

高吞吐架构

APPO (Asynchronous Proximal Policy Optimization)

IMPALA (Importance Weighted Actor-Learner Architecture)

基于模型的 RL

DreamerV3

离线 RL 与模仿学习

BC (Behavior Cloning)

CQL (Conservative Q-Learning)

MARWIL (Advantage Re-Weighted Imitation Learning)

RLlib 环境

Farama-Foundation 环境

gymnasium pip install "gymnasium[atari,accept-rom-license,mujoco]"

config.environment("CartPole-v1") # 经典控制 config.environment("ale_py:ALE/Pong-v5") # Atari config.environment("Hopper-v5") # MuJoCo

PettingZoo pip install "pettingzoo[all]"

from ray.tune.registry import register_env from ray.rllib.env.wrappers.pettingzoo_env import PettingZooEnv from pettingzoo.sisl import waterworld_v4 register_env("env", lambda _: PettingZooEnv(waterworld_v4.env())) config.environment("env")

RLlib 多智能体

RLlib MultiAgentEnv API from ray.rllib.examples.envs.classes.multi_agent import MultiAgentCartPole from ray import tune tune.register_env("env", lambda cfg: MultiAgentCartPole(cfg)) config.environment("env", env_config={"num_agents": 2}) config.multi_agent( policies={"p0", "p1"}, policy_mapping_fn=lambda aid, *a, kw: f"p{aid}", )

为何选择 RLlib?

可扩展且具备容错能力 RLlib 任务沿两个维度进行扩展:

EnvRunner 代理的数量。通过 config.env_runners(num_env_runners=...) 设置此参数,以扩展模拟器数据收集步骤的速度。该 EnvRunner 维度具备完全的容错能力。你可以在不稳定的或频繁停滞的自定义环境中进行训练,甚至可以将所有 EnvRunner 代理放置在 spot 机器上。 用于多 GPU 训练的 Learner 代理数量。通过 config.learners(num_learners=...) 设置此参数。通常将其设置为可用 GPU 的数量,同时设置 config.learners(num_gpus_per_learner=1)。如果没有 GPU,则可以使用此设置在 CPU 上进行 DDP 风格的学习。

多智能体强化学习 (MARL) RLlib 原生支持多智能体强化学习 (MARL),因此你可以运行任何复杂的配置。

独立多智能体学习:每个智能体收集数据以更新其策略网络,并将其他智能体视为环境的一部分。这是默认设置。 协作训练:训练一组共享同一策略及其参数的智能体,或为部分智能体提供独立的策略网络。你可以共享整个团队或团队部分的价值函数,从而优化全局或局部目标。 对抗训练:让智能体相互竞争。使用自我博弈或基于联赛的自我博弈,通过难度递增的阶段训练它们。 上述情况的任意组合。你可以训练任意大小的团队与其他团队对抗,其中每个团队内的智能体拥有各自的子目标,且中立智能体不参与竞争。

离线 RL 与行为克隆 RLlib 集成了 Ray Data,用于离线强化学习和行为克隆 (BC) 任务中的大规模数据摄入。 请参阅经过调优的基本行为克隆示例,或使用 BC 预训练策略并用在线 PPO 进行微调的示例。

外部 Env 客户端支持 RLlib 通过自定义 EnvRunner 逻辑支持外部连接的 RL 环境。除了 RLlib 内部拥有的 Gymnasium 环境外,你还可以连接外部的、通过 TCP 连接的环境,这些环境可以独立行动,甚至可以通过 ONNX 等方式运行自己的动作推理。 有关示例,请参阅 RLlib 作为外部环境 TCP 客户端服务器。

了解更多

RLlib 核心概念

学习 RLlib 的核心概念,如算法、环境、模型和学习器。

核心概念

RL 环境

开始使用 RLlib 支持的环境,例如 Farama Foundation 的 Gymnasium、PettingZoo 以及用于向量化和多智能体环境的自定义格式。

环境

模型 (RLModule)

学习如何配置 RLlib 的默认模型,并通过 RLModule API 实现自定义模型,这些 API 支持使用 PyTorch 构建任意架构、复杂的多模型配置以及代理间共享组件的多智能体模型。

模型 (RLModule)

算法

查看 RLlib 提供的在线策略和离线策略训练、离线和基于模型的 RL、多智能体 RL 等强化学习算法。

算法

自定义 RLlib

RLlib 提供了自定义实验和生产训练工作流程各环节的 API。例如,你可以使用 Farama Foundation 的 Gymnasium 或 DeepMind 的 OpenSpiel 用 Python 编写自己的环境,提供自定义的 PyTorch 模型,编写自己的优化器设置和损失定义,或者定义自定义的探索行为。

RLlib 的 API 堆栈:基于 Ray 构建,RLlib 提供现成的分布式、容错算法和损失函数、PyTorch 默认模型、多 GPU 训练以及多智能体支持。你通过子类化现有的抽象来定制实验。#

引用 RLlib

如果 RLlib 有助于你的学术研究,Ray RLlib 团队鼓励你引用以下论文: @inproceedings{liang2021rllib, title={{RLlib} Flow: Distributed Reinforcement Learning is a Dataflow Problem}, author={ Wu, Zhanghao and Liang, Eric and Luo, Michael and Mika, Sven and Gonzalez, Joseph E. and Stoica, Ion }, booktitle={Conference on Neural Information Processing Systems ({NeurIPS})}, year={2021}, url={https://proceedings.neurips.cc/paper/2021/file/2bce32ed409f5ebcee2a7b417ad9beed-Paper.pdf} }

@inproceedings{liang2018rllib, title={{RLlib}: Abstractions for Distributed Reinforcement Learning}, author={ Eric Liang and Richard Liaw and Robert Nishihara and Philipp Moritz and Roy Fox and Ken Goldberg and Joseph E. Gonzalez and Michael I. Jordan and Ion Stoica, }, booktitle = {International Conference on Machine Learning ({ICML})}, year={2018}, url={https://arxiv.org/pdf/1712.09381} }

评论 (0)