arXiv上的论文 | 在线演示（浏览器） | 文档 | 动物园 | 工作室

基准测试

快速入门

克隆此仓库，然后构建一个Zoo示例：

g++ -std=c++17 -O3 -ffast-math -I include src/rl/zoo/l2f/sac.cpp

运行./a.out 1337（数字为种子），然后运行./tools/serve.sh以可视化结果。打开http://localhost:8000并进入ExTrack UI，即可观看四旋翼飞行。

• macOS: 追加-framework Accelerate -DRL_TOOLS_BACKEND_ENABLE_ACCELERATE以实现快速训练（M3约4秒）
• Ubuntu: 使用apt install libopenblas-dev并追加-lopenblas -DRL_TOOLS_BACKEND_ENABLE_OPENBLAS（Zen 5约6秒）。

算法

算法	示例
TD3	摆杆, 赛车, MuJoCo Ant-v4, 双连杆倒立摆
PPO	摆杆, 赛车, MuJoCo Ant-v4（CPU）, MuJoCo Ant-v4（CUDA）
多智能体PPO	瓶颈
SAC	摆杆（CPU）, 摆杆（CUDA）, 双连杆倒立摆

基于RLtools的项目

• 几秒钟学会飞行：GitHub / arXiv / YouTube / IEEE Spectrum
• 面向电机延迟的四旋翼数据驱动系统辨识 GitHub / arXiv / YouTube / 项目页面

开始使用

⚠️ 注意: 请参阅文档中的入门指南以获取更详细的指导

如需开始实现您自己的环境，请参考rl-tools/example

文档

文档可在 docs.rl.tools 上找到，由 C++ 笔记本组成。你也可以在本地运行它们进行尝试：

docker run -p 8888:8888 rltools/documentation

运行 Docker 容器后，在浏览器中打开 CLI 中显示的链接（http://127.0.0.1:8888/...），尽情探索吧！

章节	交互式笔记本
概述	-
入门	-
容器
多分派
深度学习
CPU 加速
MNIST 分类
深度强化学习
循环接口
自定义环境
Python 接口

Python 接口

我们提供了通过 PyPI（pip 包索引）发布的 rltools Python 绑定。请注意，与原生 RLtools 环境相比，使用 Python Gym 环境会显著降低训练速度。

pip install rltools gymnasium

用法：

from rltools import SAC
import gymnasium as gym
from gymnasium.wrappers import RescaleAction

seed = 0xf00d
def env_factory():
    env = gym.make("Pendulum-v1")
    env = RescaleAction(env, -1, 1)
    env.reset(seed=seed)
    return env

sac = SAC(env_factory)
state = sac.State(seed)

finished = False
while not finished:
    finished = state.step()

更多详细信息请参阅 Python 接口文档，以及仓库 rl-tools/python-interface。

嵌入式平台

推理与训练

• iOS
• teensy

推理

• Crazyflie
• ESP32
• PX4

命名规范

我们对变量/实例、函数以及命名空间使用 snake_case，而对结构体/类则使用 PascalCase。此外，编译时常量采用全大写的 SNAKE_CASE。

引用

在学术工作中使用 RLtools 时，请使用以下 BibTeX 格式的引用文献：

@article{eschmann_rltools_2024,
  author  = {Jonas Eschmann and Dario Albani and Giuseppe Loianno},
  title   = {RLtools: A Fast, Portable Deep Reinforcement Learning Library for Continuous Control},
  journal = {Journal of Machine Learning Research},
  year    = {2024},
  volume  = {25},
  number  = {301},
  pages   = {1--19},
  url     = {http://jmlr.org/papers/v25/25-0248.html}
}

rl-tools 快速上手指南

rl-tools 是一个高性能的 C++ 强化学习库，专为低延迟推理和嵌入式部署设计，支持在 MacBook、Linux 服务器甚至微控制器上高效运行。

环境准备

系统要求

• 操作系统: macOS (推荐 M1/M2/M3) 或 Linux (Ubuntu 等)
• 编译器: 支持 C++17 标准的编译器 (如 g++ 或 clang++)
• 硬件:
  • 训练：现代 CPU 或 NVIDIA GPU (可选 CUDA 加速)
  • 推理：支持在微控制器上运行

前置依赖

根据操作系统安装相应的数学库以加速计算：

• macOS:
  • 无需额外安装，系统自带 Accelerate 框架。
• Ubuntu / Linux:
  • 安装 OpenBLAS:

    sudo apt install libopenblas-dev
    

安装步骤

rl-tools 是一个头文件库（Header-only），无需传统的 make install 过程。只需克隆仓库即可使用。

git clone https://github.com/rl-tools/rl-tools.git
cd rl-tools

基本使用

以下示例演示如何编译并运行一个预置的强化学习案例（四旋翼飞行器 "Learning to Fly"），并在浏览器中可视化结果。

1. 编译示例代码

进入项目目录，使用 g++ 编译 Zoo 中的示例代码。

通用命令:

g++ -std=c++17 -O3 -ffast-math -I include src/rl/zoo/l2f/sac.cpp

针对特定平台的优化编译（推荐）:

• macOS (利用 Accelerate 框架加速):

  g++ -std=c++17 -O3 -ffast-math -I include src/rl/zoo/l2f/sac.cpp -framework Accelerate -DRL_TOOLS_BACKEND_ENABLE_ACCELERATE
  

  注：在 M3 芯片上训练仅需约 4 秒。

• Ubuntu (利用 OpenBLAS 加速):

  g++ -std=c++17 -O3 -ffast-math -I include src/rl/zoo/l2f/sac.cpp -lopenblas -DRL_TOOLS_BACKEND_ENABLE_OPENBLAS
  

  注：在 Zen 5 架构上训练仅需约 6 秒。

2. 运行训练程序

编译成功后，运行生成的可执行文件（默认为 a.out），并传入一个随机种子（例如 1337）：

./a.out 1337

程序将开始训练，并在终端输出训练进度。

3. 可视化结果

保持训练程序运行（或训练完成后），打开另一个终端窗口，运行提供的服务脚本来启动本地 Web 服务器：

./tools/serve.sh

然后在浏览器中访问：

http://localhost:8000

导航至 ExTrack UI 界面，即可实时观看训练好的四旋翼飞行器飞行效果。

更多算法示例

rl-tools 内置了多种主流强化学习算法的实现，您可以参考 src/rl/environments 目录下的源码进行修改和实验：

算法	典型应用场景示例
TD3	倒立摆 (Pendulum), 赛车 (Racing Car), MuJoCo Ant, Acrobot
PPO	倒立摆，赛车，MuJoCo Ant (支持 CPU 和 CUDA)
SAC	倒立摆 (支持 CPU 和 CUDA), Acrobot
Multi-Agent PPO	多智能体瓶颈测试 (Bottleneck)

如需深入开发自定义环境，建议参考官方示例仓库 rl-tools/example 或查阅 在线文档。