【Hugging Face 深度强化学习课程 🤗 (v2.0)】(https://huggingface.co/deep-rl-course/unit0/introduction)

如果你喜欢这门课程，请不要犹豫，⭐ 给这个仓库加星标吧。这对我们很有帮助 🤗。

本仓库包含了深度强化学习课程的 mdx 文件和笔记本。课程官网在此：https://huggingface.co/deep-rl-course/unit0/introduction?fw=pt

• 课程大纲 📚：https://simoninithomas.github.io/deep-rl-course

• 课程内容 📚：https://huggingface.co/deep-rl-course/unit0/introduction?fw=pt

• 立即报名 ➡️➡️➡️ http://eepurl.com/ic5ZUD

课程维护通知 🚧

请注意，这门深度强化学习课程目前已处于低维护状态。不过，它仍然是学习深度强化学习理论与实践的绝佳资源。

请留意以下几点：

• 第7单元（AI 对 AI）：该功能目前无法正常使用。不过，你仍然可以训练你的智能体进行足球比赛，并观察其表现。

• 排行榜：排行榜已不再运行。

除上述两点外，所有理论内容和实践练习均可正常使用，对学习依然有效。

如果你在动手实践过程中遇到任何问题，请查看 Issues 栏目，社区成员已经提供了一些解决 bug 的方案。

引用本项目

如需在出版物中引用本仓库，请使用以下 BibTeX 格式：

@misc{deep-rl-course,
  author = {Simonini, Thomas 和 Sanseviero, Omar},
  title = {Hugging Face 深度强化学习课程},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/huggingface/deep-rl-class}},
}

Deep-RL-Class 快速上手指南

本指南基于 Hugging Face 深度强化学习课程（v2.0）仓库，帮助开发者快速搭建环境并开始学习。

注意：该课程目前处于低维护状态，但理论内容与大部分实践练习依然有效。部分功能（如 Unit 7 的 AI 对战和排行榜）已不可用，但不影响核心学习流程。如遇代码问题，建议查阅仓库 Issue 区获取社区解决方案。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.8 或更高版本
• 硬件建议：虽然基础练习可在 CPU 上运行，但建议使用带有 CUDA 支持的 NVIDIA GPU 以加速训练。
• 前置知识：具备基础的 Python 编程能力，了解 PyTorch 基础更佳。

安装步骤

推荐使用 conda 或 venv 创建独立的虚拟环境。以下以 pip 为例进行安装。

1. 克隆仓库 获取课程代码和 Notebook 文件：

   git clone https://github.com/huggingface/deep-rl-class.git
   cd deep-rl-class
   

2. 安装依赖 进入项目目录后，安装课程所需的 Python 包。国内用户可使用清华源或阿里源加速下载：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：如果 requirements.txt 未包含所有特定单元所需的库，请参考具体单元 Notebook 顶部的安装指令。通常还需要安装 gymnasium 和相关环境渲染库（如 swig 用于 Box2D）。

3. 验证安装 尝试导入核心库以确保环境正常：

   python -c "import torch; import gymnasium; print('Environment ready!')"
   

基本使用

本课程主要通过 Jupyter Notebook 进行交互式学习。

1. 启动 Jupyter Lab 在项目根目录下运行：

   jupyter lab
   

   浏览器将自动打开并显示文件目录。

2. 开始第一个单元

   • 导航至 unit0 或 unit1 文件夹。
   • 打开对应的 .ipynb 文件（例如 unit1/introduction.ipynb）。
   • 按照 Notebook 中的说明，逐个单元格（Cell）运行代码。

3. 运行简单示例 大多数单元包含一个完整的训练循环示例。您通常只需按顺序执行以下步骤：

   • 初始化环境 (env = gymnasium.make(...))
   • 定义代理/模型 (Agent/Model)
   • 运行训练循环
   • 观察结果或渲染画面

   例如，在支持渲染的环境中，运行训练代码后您将看到智能体（Agent）的学习过程演示。

访问完整课程网站： 如需查看详细的理论讲解和更多资源，请访问：https://huggingface.co/deep-rl-course/unit0/introduction?fw=pt