深度强化学习实战

来自 Manning, Inc 出版的《深度强化学习实战》一书中的代码片段。

项目组织方式

代码片段、清单和项目均嵌入在按章节组织的 Jupyter Notebook 中。有关安装 Jupyter Notebook 的说明，请访问 http://jupyter.org/install。

我们将在各个章节文件夹中保留原始的 Jupyter Notebook。当发现勘误时，我们会更新“Errata”文件夹中的笔记本，这些笔记本是纠正错误后最新版本。不过，我们仍保留原始的 Jupyter Notebook，以与书中代码片段保持一致。

环境要求

为了运行其中许多项目，您至少需要 NumPy 库和 PyTorch。

pip install -r requirements.txt

特别说明

在第 9 个笔记本中，第 15 个单元格出现了一个问题。您可以按照 Farama-Foundation/MAgent2#14 中 @scottmayberry 的指示来解决这个问题。具体做法是将 https://github.com/Farama-Foundation/MAgent2/tree/main/magent2 中的所有文件和文件夹复制到本地文件夹 /lib/python3.X/site-packages/magent2（如果您的操作系统不是 Linux，则路径可能有所不同）。感谢 donlaiq 提供的解决方案。

参与贡献

如果您在运行示例时遇到任何问题，请提交一个问题。如果您发现书中存在错别字或其他错误，请编辑 Errata.md 文件并创建一个拉取请求。

DeepReinforcementLearningInAction 快速上手指南

本指南基于 Manning 出版社《Deep Reinforcement Learning in Action》一书的配套代码库，帮助开发者快速搭建环境并运行深度强化学习示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上版本
• 核心依赖：
  • NumPy：用于数值计算
  • PyTorch：用于深度学习模型构建
• 运行工具：Jupyter Notebooks，所有代码片段和项目均以此格式组织。

提示：国内用户安装 PyTorch 时，建议访问 PyTorch 官网 选择对应的 CUDA 版本获取国内镜像安装命令，或使用清华源加速安装。

安装步骤

1. 克隆项目代码 首先将仓库克隆到本地：

   git clone https://github.com/DeepReinforcementLearning/DeepReinforcementLearningInAction.git
   cd DeepReinforcementLearningInAction
   

2. 创建虚拟环境（推荐） 为避免依赖冲突，建议创建独立的虚拟环境：

   python -m venv venv
   # Linux/macOS
   source venv/bin/activate
   # Windows
   venv\Scripts\activate
   

3. 安装依赖包 使用项目提供的 requirements.txt 一键安装所需库。国内用户可指定清华源加速下载：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 特殊配置（仅针对 Notebook 9） 如果您计划运行第 9 章的内容，需修复 MAgent2 的相关问题。请将 MAgent2 源码 中的所有文件和文件夹复制到您的虚拟环境站点包目录中：

   • 目标路径示例：<venv_folder>/lib/python3.X/site-packages/magent2
   • 请根据实际操作系统和 Python 版本调整路径。

基本使用

本项目按书籍章节组织，每个章节对应一个 Jupyter Notebook 文件。

1. 启动 Jupyter Notebook 在项目根目录下运行：

   jupyter notebook
   

2. 选择示例运行 浏览器会自动打开界面，进入对应的章节文件夹（例如 Chapter_01），点击 .ipynb 文件即可打开。

3. 执行代码

   • 依次选中单元格（Cell）。
   • 按下 Shift + Enter 运行当前单元格并跳转至下一行。
   • 按照书中流程逐步执行，即可观察深度强化学习算法的运行结果。

注意：若发现代码运行错误，请优先检查 Errata 文件夹下的笔记本，该文件夹包含了已修正的最新版本代码。