PPO x Family 决策智能入门公开课

欢迎来到 PPO x Family 系列决策智能入门公开课。该系列将深入理解深度强化学习算法 PPO ，灵活运用一个 PPO 算法解决几乎所有常见的决策智能应用 ，帮助一切对于深度强化学习技术有好奇心的人，轻便且高效地制作应用原型，了解和学习最强大最易用的 PPO Family .

P.S. 路过记得点个 star ，2022年12月起持续更新中~

新闻

• 2025.03.13: ❗️❗️通知：课程作业数据集及其他相关附加材料现已更新至 HuggingFace
• 2023.06.07: PPO x Family 第八章（突破智能体终极界限）及课程大作业将在十月下旬正式上线
• 2023.06.01: [bilibili] PPO x Family 第七章（挖掘黑科技）正式上线
• 2023.04.06: [bilibili] PPO x Family 第六章（统筹多智能体）正式上线
• 2023.03.09: [bilibili] PPO x Family 第五章（探索时序建模）正式上线
• 2023.02.23: [bilibili] PPO x Family 第四章（解密稀疏奖励空间）正式上线
• 2023.01.16: [bilibili] PPO x Family 第三章（表征多模态观察空间）正式上线
• 2022.12.23: [bilibili] PPO x Family 第二章（解构复杂动作空间）正式上线
• 2022.12.23: PPO x Family ”算法-代码“ 注解文档网站上线 传送门
• 2022.12.08: [bilibili] PPO x Family 第一章（开启决策AI探索之旅）正式上线
• 2022.12.06: [bilibili] PPO x Family 第一章微课视频：4分钟带你快速入门强化学习的万能钥匙
• 2022.12.05: [PaperWeekly] 给你一个 PPO × Family 课程，撑起整个决策 AI 宇宙
• 2022.12.01: [bilibili] PPO x Family 课程品牌宣传视频
• 2022.11.30: [机器之心] 集中一点，演化无限：PPO × Family决策智能入门公开课即日开讲
• 2022.11.30: [中国计算机学会CCF] 【CCF科普群星计划】决策智能入门公开课开课啦

课程大纲

内容导航

章节（视频课）	算法理论资料	补充资料	习题	代码样例	应用样例
第一章：开启决策AI探索之旅	课程PPT 课程文字稿	微课视频 策略梯度 A2C TRPO 符号表 QA总结	习题 习题题解	PG算法示例 A2C算法示例 PPO算法示例	应用混剪
第二章：解构复杂动作空间	课程PPT 课程文字稿	重参数化 PPO&DDPG HyAR QA总结	习题 习题题解	离散动作示例 连续动作示例 混合动作示例 应用训练代码	火箭回收等
第三章：表征多模态动作空间	课程PPT 课程文字稿	表征学习 PPG 不变性 QA总结	习题 习题题解	编码方法示例 Wrapper示例 计算图示例 应用训练代码	软体机器人等
第四章：解密稀疏奖励空间	课程PPT 课程文字稿	逆强化学习 行为克隆BC QA总结	习题 习题题解	ICM好奇心奖励 RND好奇心奖励 Pop-Art示例 价值缩放 应用训练代码	自动驾驶等
第五章：探索时序建模	课程PPT	随机性策略 RWKV Belief MDP QA总结	习题 习题题解	LSTM示例 GTrXL示例 应用训练代码	记忆型决策
第六章：统筹多智能体	课程PPT	HAPPO ACE 值分解 QA总结	习题 习题题解	IndependentPG MAPG MAPPO [HAPPO] 应用训练代码	多智能体协作
第七章：挖掘黑科技	课程PPT	Adv 估计 PPO off 版 Entropy QA总结	习题 习题题解	GAE Recompute 梯度裁剪 正交初始化 Dual Clip Value Clip 应用训练代码	学术基准环境
第八章：突破终极界限		LLM RLHF		语言模型 RL 环境

课程特点

一个算法解决万千应用 视频传送门

算法理论和代码实现一一对应 网站传送门

项目结构

.
├── LICENSE
├── assets                       --> 相关图片素材（转载请注明来源）
├── chapter2_action              --> 课程第二章相关内容
└── chapter1_overview            --> 课程第一章相关内容
    ├── chapter1_manuscript.pdf  --> 课程第一章文字稿（对于PPT的补充说明）
    ├── chapter1_lecture.pdf     --> 课程第一章PPT
    ├── chapter1_qa.pdf          --> 课程第一章答疑文稿
    ├── chapter1_homework.pdf    --> 课程第一章习题作业
    ├── chapter1_hw_solution.pdf   --> 课程第一章习题作业题解
    ├── chapter1_supp_trpo.pdf          --> 课程第一章补充材料（算法理论推导等）
    └── chapter1_demo_code.py    --> 课程第一章相关代码实现

课程答疑和反馈

• 常见问题FAQ：传送门
• 小助手微信号：ding314assist
• Slack：OpenDILab
• GitHub Issue区：链接
• B站账号：OpenDILab
• 知乎账号：DILab决策实验室
• Youtube：OpenDILab
• 邮箱：opendilab@pjlab.org.cn

License

PPOxFamily 根据 Apache 2.0 许可证发布。

PPOxFamily 快速上手指南

PPOxFamily 是一套基于深度强化学习算法 PPO 的决策智能入门公开课与代码库，旨在通过一个核心算法解决各类常见的决策智能应用。本指南将帮助你快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 18.04+)、macOS 或 Windows (需配置 WSL2)
• Python 版本：Python 3.7 - 3.9
• 硬件要求：
  • CPU：用于基础算法学习与小规模实验
  • GPU (可选但推荐)：NVIDIA GPU + CUDA 驱动，用于加速深度神经网络训练
• 前置依赖：
  • git：用于克隆代码仓库
  • pip 或 conda：用于管理 Python 包

安装步骤

1. 克隆项目仓库

首先从 GitHub 获取源代码（国内用户若访问缓慢，可尝试使用镜像源或代理）：

git clone https://github.com/opendilab/PPOxFamily.git
cd PPOxFamily

2. 创建虚拟环境

推荐使用 conda 创建独立的虚拟环境以避免依赖冲突：

conda create -n ppof python=3.8
conda activate ppof

3. 安装依赖包

项目依赖主要包括 PyTorch、Gym 等强化学习常用库。建议使用国内镜像源加速安装：

# 使用清华源安装基础依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 如果 requirements.txt 未包含所有必要组件，手动安装核心库
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install gymnasium[all] matplotlib numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：具体的 requirements.txt 内容请以仓库根目录文件为准。若遇到 Gym 版本兼容性问题，请参考各章节示例代码顶部的导入说明。

基本使用

PPOxFamily 的核心在于通过不同的章节示例来学习如何适配各种场景。以下以第一章：开启决策AI探索之旅中的基础 PPO 算法为例，演示如何运行一个简单的训练脚本。

运行基础 PPO 示例

进入第一章目录并运行提供的中文注释示例代码：

cd chapter1_overview
python ppo_zh.py

该脚本通常会执行以下流程：

1. 初始化一个简单的 Gym 环境（如 CartPole-v1）。
2. 构建 PPO 策略网络与价值网络。
3. 进行多轮交互与模型更新。
4. 输出训练过程中的奖励变化日志。

运行特定场景应用

如果你希望直接体验更复杂的应用（如第二章的连续动作控制），可以运行对应的应用演示代码：

# 确保在项目根目录
cd chapter2_action
python chapter2_application_demo.py

查看课程资料与习题

除了代码运行，建议配合仓库中的文档进行学习：

• 理论资料：查看各章节文件夹下的 *_lecture.pdf (PPT) 和 *_manuscript.pdf (文字稿)。
• 代码注解：关键算法文件（如 ppo_zh.py）内部包含详细的中文注释，适合边读代码边学习。
• 进阶资源：最新的数据集与附加材料已更新至 HuggingFace，可根据课程进度下载。

通过以上步骤，你即可本地复现 PPOxFamily 的核心算法，并开始探索决策智能的奥秘。