【深度强化学习课程】(https://huggingface.co/deep-rl-course/unit0/introduction)

我们与 Hugging Face 🤗 联合推出了全新的免费深度强化学习课程。

👉 立即注册 http://eepurl.com/h1pElX

👉 课程链接：https://huggingface.co/deep-rl-course/unit0/introduction

📚 课程大纲：https://simoninithomas.github.io/deep-rl-course/

在这门更新后的免费课程中，你将：

• 📖 从理论到实践系统学习深度强化学习。
• 🧑‍💻 学会使用知名的深度强化学习库，如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。
• 🤖 在独特环境中训练智能体，包括 SnowballFight、Huggy 小狗 🐶、MineRL（Minecraft ⛏️）、VizDoom（Doom），以及经典环境如 Space Invaders 和 PyBullet。
• 💾 只需一行代码即可将训练好的智能体发布到 Hugging Face Hub，同时也能从社区下载强大的预训练智能体。
• 🏆 参与挑战赛，与其他团队的智能体进行对比评估，还能与自己训练的 AI 对战。 还有更多内容等着你！

Deep Reinforcement Learning Course 快速上手指南

本指南基于 Hugging Face 推出的免费深度强化学习课程，帮助开发者快速掌握理论并上手主流 RL 库（如 Stable Baselines3、CleanRL 等）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+)、macOS 或 Windows (建议使用 WSL2)
• Python 版本：Python 3.8 - 3.10
• 硬件要求：
  • CPU：用于基础练习
  • GPU (NVIDIA)：推荐用于训练复杂环境（如 VizDoom, MineRL），需安装 CUDA 驱动
• 前置依赖：
  • Git
  • pip 包管理器
  • (可选) Conda/Mamba 用于管理虚拟环境

国内加速建议：推荐使用清华源或阿里源加速 Python 包下载。

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

建议使用虚拟环境进行隔离安装。以下是基于 pip 的标准安装流程：

1. 创建并激活虚拟环境

   python -m venv rl-course-env
   source rl-course-env/bin/activate  # Windows 用户请使用: rl-course-env\Scripts\activate
   

2. 安装核心强化学习库 本课程主要涉及 Stable Baselines3 及相关扩展库：

   pip install stable-baselines3[extra] rl-baselines3-zoo sample-factory clean-rl
   

3. 安装特定环境依赖 根据课程中想要尝试的环境，安装对应的模拟器：

   # 安装经典游戏环境 (Atari)
   pip install gymnasium[atari] gymnasium[accept-rom-license]
   
   # 安装物理仿真环境 (PyBullet)
   pip install pybullet
   
   # 安装 Minecraft 环境 (MineRL) - 需额外配置 Java，详见官方文档
   pip install minerl
   
   # 安装 Hugging Face Hub 客户端 (用于上传/下载模型)
   pip install huggingface_hub
   

4. 验证安装 运行以下 Python 代码检查库是否可用：

   import stable_baselines3
   import gymnasium
   print(f"Stable-Baselines3 version: {stable_baselines3.__version__}")
   print("Environment setup successful!")
   

基本使用

以下示例展示如何使用 Stable Baselines3 在经典的 CartPole 环境中训练一个 PPO 智能体，这是课程中最基础的入门实践。

1. 创建训练脚本 (train.py)：

   import gymnasium as gym
   from stable_baselines3 import PPO
   
   # 1. 创建环境
   env = gym.make("CartPole-v1")
   
   # 2. 初始化 PPO 算法 (MlpPolicy 适用于向量观测空间)
   model = PPO("MlpPolicy", env, verbose=1)
   
   # 3. 训练智能体 (总时间步数为 10,000)
   model.learn(total_timesteps=10000)
   
   # 4. 保存模型到本地
   model.save("ppo_cartpole")
   
   print("Training completed and model saved.")
   

2. 运行训练：

   python train.py
   

3. 上传模型至 Hugging Face Hub (可选)： 课程特色支持一键上传模型。登录 Hub 后，可使用以下代码将训练好的模型分享给社区：

   from huggingface_hub import HfApi
   
   api = HfApi()
   # 请将 <your-username> 替换为您的 HF 用户名
   api.upload_folder(
       folder_path="./",
       repo_id="<your-username>/ppo-cartpole-demo",
       repo_type="model"
   )
   

完成上述步骤后，您已成功运行了第一个深度强化学习实验，并可访问课程网站深入学习更复杂的场景（如 SnowballFight、Doom 等）。