Stable Baselines3 强化学习 (RL) 教程

这是为 2019 年法国国家机器人研究日（Journées Nationales de la Recherche en Robotique 2019）提供的 Stable-Baselines 强化学习教程。

网站：https://jnrr2019.loria.fr/

幻灯片：https://araffin.github.io/slides/rl-tuto-jnrr19/#/

Stable-Baselines3 仓库：https://github.com/DLR-RM/stable-baselines3

文档：https://stable-baselines3.readthedocs.io/en/master/

RL Baselines3 Zoo：https://github.com/DLR-RM/rl-baselines3-zoo

本教程由 Edward Beeching、Ashley Hill 和 Antonin Raffin 创建

内容

1. 入门 Colab 笔记本
2. Gym 包装器，模型保存与加载 Colab 笔记本
3. 多进程处理 Colab 笔记本
4. 回调函数 (Callbacks) 与超参数调优 Colab 笔记本
5. 创建自定义 Gym 环境 Colab 笔记本

附加内容

RL Baselines3 Zoo：Colab 笔记本

贡献者

我们要感谢我们的贡献者：@rbahumi @stefanbschneider

rl-tutorial-jnrr19 快速上手指南

本工具是基于 Stable-Baselines3 的强化学习教程集合，专为机器人研究及算法实践设计。通过一系列 Jupyter Notebook 引导用户快速掌握 RL 核心概念与实现。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: 建议 3.7 及以上
• 硬件要求:
  • CPU 可运行基础示例
  • 推荐使用 NVIDIA GPU 以加速训练（需安装 CUDA 支持）
• 依赖库: PyTorch, Gymnasium (Gym), NumPy 等（安装 Stable-Baselines3 时会自动处理）

安装步骤

1. 配置国内镜像源（推荐）

为了提升下载速度，建议使用清华源进行包安装：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装核心库 Stable-Baselines3

pip install stable-baselines3[extra]

3. 克隆教程仓库

git clone https://github.com/araffin/rl-tutorial-jnrr19.git
cd rl-tutorial-jnrr19

提示: 若不想本地配置环境，可直接使用官方提供的 Google Colab 链接运行教程。

基本使用

方式一：使用 Google Colab（最快上手）

无需本地安装，直接点击链接在云端运行第一个入门教程：

• 1_getting_started.ipynb

方式二：本地运行示例

安装完成后，可在本地启动 Jupyter Notebook 查看完整教程目录：

jupyter notebook

打开 1_getting_started.ipynb 即可开始学习。

最小化代码示例

若需直接在 Python 脚本中测试，以下为基于 Stable-Baselines3 的简单 PPO 训练示例：

import gymnasium as gym
from stable_baselines3 import PPO
from stable_baselines3.common.env_util import make_vec_env

# 创建环境
env = make_vec_env('CartPole-v1', n_envs=1)

# 初始化模型
model = PPO("MlpPolicy", env, verbose=1)

# 训练
model.learn(total_timesteps=10000)

# 保存模型
model.save("ppo_cartpole")

# 加载并测试
model = PPO.load("ppo_cartpole")
obs = env.reset()
for i in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, rewards, dones, info = env.step(action)
    env.render()
    if dones:
        obs = env.reset()

---

更多资源:

• Stable-Baselines3 文档
• RL Baselines3 Zoo