英语 | 简体中文

PARL 是一个灵活且高效的强化学习框架。

• 关于 PARL
  • 特性
  • 抽象概念
    • 模型
    • 算法
    • 智能体
  • 并行化
• 安装：
  • 依赖项
• 快速入门
• 示例
• Waymax-RL（2025年更新，GPU强化学习自动驾驶）
• xparl 安全性
  • 安全注意事项

关于 PARL

特性

可复现性。我们提供了能够稳定复现许多有影响力的强化学习算法结果的算法。

大规模。支持使用数千个 CPU 和多块 GPU 进行高性能并行训练。

可重用性。仓库中提供的算法可以通过定义前向网络直接适配到新任务上，训练机制将自动构建。

可扩展性。通过继承框架中的抽象类，可以快速构建新算法。

抽象概念

PARL 的目标是构建用于训练复杂任务的智能体。PARL 引入的主要递归式抽象概念如下：

模型

Model 被抽象为构建前向网络，该网络以状态作为输入，定义策略网络或价值网络。

算法

Algorithm 描述了更新 Model 中参数的机制，通常至少包含一个模型。

智能体

Agent 是环境与算法之间的数据桥梁，负责与外部环境进行数据输入输出，并在数据进入训练流程之前对其进行预处理。

注：有关基类的更多信息，请参阅我们的教程和API 文档。

并行化

PARL 提供了一个简洁的分布式训练 API，用户只需添加一个装饰器即可将代码转换为并行版本。有关并行训练 API 的更多信息，请参阅我们的文档。
以下是一个“Hello World”示例，展示了利用外部计算资源是多么简单。

#============Agent.py=================
@parl.remote_class
class Agent(object):

    def say_hello(self):
        print("Hello World!")

    def sum(self, a, b):
        return a+b

parl.connect('localhost:8037')
agent = Agent()
agent.say_hello()
ans = agent.sum(1,5) # 它在远程运行，不消耗任何本地计算资源

使用外部计算资源的两个步骤：

1. 首先使用 parl.remote_class 装饰一个类，之后它将被转换为可以在其他 CPU 或机器上运行的新类。
2. 在创建对象之前调用 parl.connect 初始化并行通信。调用这些对象的任何方法都不会消耗本地计算资源，因为它们是在其他地方执行的。

如图所示，真正的演员（橙色圆圈）正在 CPU 集群上运行，而学习者（蓝色圆圈）则在本地 GPU 上运行，同时有几个远程演员（带有虚线边框的黄色圆圈）。

对于用户来说，他们可以像编写多线程代码一样简单地编写代码，但这些演员会消耗远程资源。我们还提供了诸如 IMPALA、A2C 等并行化算法的示例。更多使用细节请参考这些示例。

安装：

依赖项

• Python 3.6+（Python 3.8+ 更适合分布式训练）。
• paddlepaddle>=2.3.1 (可选, 如果您只想单独使用与并行化相关的 API）

pip install parl

详细安装指南（持续更新）

快速入门

以下是帮助您开始的几点：

• 教程：如何解决 Cartpole 问题。
• Xparl 使用方法：如何使用 xparl 设置集群并进行并行计算。
• 进阶教程：创建自定义算法。
• API 文档

对于不太了解强化学习的初学者，我们还提供了一门入门课程：（ 视频 | 代码 )

示例

• 快速入门
• DQN
• ES
• DDPG
• A2C
• TD3
• SAC
• QMIX
• MADDPG
• PPO
• CQL
• IMPALA
• NIPS2018假肢挑战赛冠军方案
• NIPS2019学会移动挑战赛冠军方案
• NIPS2020学习运行电网挑战赛冠军方案

Waymax-RL（2025年更新，GPU强化学习自动驾驶）

• 用于 Waymax 自动驾驶模拟的端到端 GPU 强化学习。
  完整文档和说明：waymax_rl/README.md

xparl 安全性

xparl 提供跨多台机器集群的多进程并行计算，类似于 Python 内置的单机多进程模块。这意味着在客户端编写代码后，你可以在集群中的任何一台机器上执行任意代码，例如从其他机器获取数据、添加或删除文件等。

这种行为是设计使然，因为强化学习环境种类繁多，env_wrapper 需要具备执行任何可能操作的能力。xparl 通过 pickle 实现这一功能（与 ray 类似）。与大多数情况下可能被视为安全漏洞的 pickle 不同，在这里它却是不可或缺的核心特性。

安全性考量

由于可以执行任意代码，用户必须确保集群的安全性：

• 请勿允许不受信任的机器加入集群。
• 请勿将 xparl 的端口暴露于公共互联网，也不应允许不受信任的用户访问集群。
• 请勿在集群上执行不受信任的代码。

PARL 快速上手指南

PARL 是一个灵活且高效的强化学习框架，支持大规模并行训练和多种经典算法的快速复现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.6+（分布式训练推荐使用 Python 3.8+）
• 核心依赖：
  • PaddlePaddle：版本需 >= 2.3.1。
    • 注：如果您仅需使用并行化 API (xparl) 而不涉及具体算法模型，此项可选。
  • 国内加速：建议通过国内镜像源安装 PaddlePaddle 以获得更快的下载速度。

    python -m pip install paddlepaddle==2.3.1 -i https://mirror.baidu.com/pypi/simple
    

    (具体版本请根据您的 CUDA/cuDNN 环境参考 PaddlePaddle 官网安装指引)

安装步骤

使用 pip 直接安装 PARL：

pip install parl

如需查看详细安装指南或处理特定依赖问题，可参考官方文档中的 详细安装指南。

基本使用

1. 快速运行示例 (CartPole)

PARL 提供了丰富的算法示例。以下是解决经典 CartPole 问题的最小化流程概念（具体代码请参考 examples/QuickStart/ 或官方教程）：

通常包含三个核心抽象类的实现：

1. Model：定义前向网络（策略网络或价值网络）。
2. Algorithm：定义参数更新机制。
3. Agent：作为环境与算法之间的数据桥梁，负责数据预处理。

您可以直接访问 入门教程 获取完整的 CartPole 求解代码。

2. 分布式并行训练 (Hello World)

PARL 的最大特色之一是极简的分布式编程接口。只需添加装饰器即可将本地代码转换为跨机器并行执行的任务。

以下示例展示了如何利用外部计算资源：

#============Agent.py=================
import parl

@parl.remote_class
class Agent(object):

    def say_hello(self):
        print("Hello World!")

    def sum(self, a, b):
        return a+b

# 连接集群服务
parl.connect('localhost:8037')

# 实例化远程类
agent = Agent()

# 调用方法（将在远程 CPU/机器上执行，不消耗本地资源）
agent.say_hello()
ans = agent.sum(1,5) 

使用步骤说明：

1. 使用 @parl.remote_class 装饰类，使其具备远程执行能力。
2. 调用 parl.connect() 初始化并行通信。
3. 创建对象并调用方法，实际计算将在集群节点上运行。

更多并行算法示例（如 IMPALA, A2C）请查看 examples/ 目录。

---

更多高级用法、自定义算法开发及 API 详情，请访问 PARL 中文文档。