状态： 维护中（预计包含错误修复和小幅更新）

欢迎来到“深度强化学习中的Spinning Up”！

这是由OpenAI制作的一份教育资料，旨在帮助您更轻松地学习深度强化学习（deep RL）。

对于不熟悉这一领域的人来说：强化学习（RL）是一种通过试错来训练智能体完成任务的机器学习方法。而“深度强化学习”则指将强化学习与深度学习相结合的技术。

本模块包含多种实用资源，包括：

• 一份简短的介绍，涵盖强化学习的相关术语、算法类型及基础理论；
• 一篇关于如何成长为一名强化学习研究者的文章；
• 一份按主题分类的重要论文精选列表；
• 一个文档详尽的代码仓库，其中包含关键算法的简短、独立实现；
• 以及若干作为热身的练习。

立即访问spinningup.openai.com开始学习吧！

引用“Spinning Up”

如果您在研究中引用或使用“Spinning Up”，请按如下方式引用：

@article{SpinningUp2018,
    author = {Achiam, Joshua},
    title = {{Spinning Up in Deep Reinforcement Learning}},
    year = {2018}
}

Spinning Up 中文快速上手指南

环境准备

• 系统：Linux / macOS（Windows 需 WSL2）
• Python：3.6–3.8（推荐 3.8）
• 依赖：OpenMPI（仅 PPO 需要）

  # Ubuntu / Debian
  sudo apt-get update && sudo apt-get install -y libopenmpi-dev
  # macOS
  brew install open-mpi
  

安装步骤

1. 创建虚拟环境

   python3 -m venv spinningup-env
   source spinningup-env/bin/activate
   

2. 安装 Spinning Up（国内镜像加速）

   pip install -U pip -i https://pypi.tuna.tsinghua.edu.cn/simple
   git clone https://github.com/openai/spinningup.git
   cd spinningup
   pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证安装

   python -c "import spinup; print('OK')"
   

基本使用

运行 10 万步的 PPO 训练示例（CartPole-v1）：

python -m spinup.run ppo --env CartPole-v1 --exp_name hello --steps 100000

训练完成后查看结果：

python -m spinup.run test_policy data/hello/hello_s0
tensorboard --logdir data/hello

浏览器打开 http://localhost:6006 查看训练曲线。