自主学习库：用于构建强化学习智能体的 PyTorch 库

autonomous-learning-library 是一个面向对象的深度强化学习（DRL）库，专为 PyTorch 设计。 该库的目标是提供快速构建和评估新型强化学习智能体所需的组件，同时为现代 DRL 算法提供高质量的参考实现。 完整的文档可在以下网址找到：https://autonomous-learning-library.readthedocs.io。

用于构建新智能体的工具

autonomous-learning-library 的主要目标是通过提供通用的构建和评估工具，促进新型强化学习智能体的快速开发，例如：

• 一个灵活的 Approximation 函数 API，集成了目标网络、梯度裁剪、学习率调度、模型检查点保存、多头网络、损失缩放、日志记录等功能。
• 多种经验回放缓冲区，包括优先级经验回放（PER）、广义优势估计（GAE）等。
• 基于 torch 的 Environment 接口，通过省去 numpy 中间层来简化智能体的实现。
• 用于复现标准基准测试的常用包装器和智能体增强功能。
• 集成 Slurm，以运行大规模实验。
• 绘图和日志记录工具，包括与 tensorboard 的集成以及生成常见图表的实用程序。

有关 autonomous-learning-library 提供的功能的完整描述，请参阅 文档 指南。 此外，我们还提供了一个 示例项目，展示了构建新智能体的最佳实践。

高质量的参考实现

autonomous-learning-library 将强化学习智能体分为两个模块：all.agents 提供了许多常见算法的灵活、高层次实现，这些实现可以适应新的问题和环境；而 all.presets 则提供了针对特定环境集合优化的这些智能体的具体实例，包括 Atari 游戏、经典控制任务以及 MuJoCo/Pybullet 机器人仿真。以下是一些基准测试结果，显示其性能与已发表的结果相当：

截至今日，all 包含以下深度强化学习算法的实现：

• 优势演员-评论家（A2C）
• 分类 DQN（C51）
• 深度确定性策略梯度（DDPG）
• 深度 Q 学习（DQN）及其扩展
• 近端策略优化（PPO）
• 彩虹（Rainbow）
• 软演员-评论家（SAC）

它还包含以下“纯”智能体的实现，这些智能体可作为有用的基线，并且表现可能超出预期：

• 纯演员-评论家
• 纯策略梯度
• 纯 Q 学习
• 纯 Sarsa

安装

首先，您需要安装最新版本的 PyTorch（>1.3），以及 Tensorboard。 然后，您可以使用 PyPI 安装核心 autonomous-learning-library：

pip install autonomous-learning-library

您还可以通过以下命令安装所有附加组件（如 Gym 环境）：

pip install autonomous-learning-library[all]

最后，您也可以直接从本仓库安装，并包含开发依赖项：

git clone https://github.com/cpnota/autonomous-learning-library.git
cd autonomous-learning-library
pip install -e .[dev]

运行预设

如果您只想试用一些酷炫的智能体，该库包含若干脚本来实现这一目的：

all-atari Breakout a2c

您可以使用以下命令查看训练进度：

tensorboard --logdir runs

然后在浏览器中打开 http://localhost:6006。 模型完全训练完成后，您可以使用以下命令观看训练好的模型进行游戏：

all-watch-atari Breakout "runs/a2c_[id]/preset.pt"

其中 id 是您特定运行的标识符，您可以通过 Tab 键补全或查看 runs 目录来找到它。 autonomous-learning-library 还包含适用于经典控制和 PyBullet 环境的预设及脚本。

如果您想测试自己的智能体，则需要定义自己的脚本。 一些示例可以在 examples 文件夹中找到。 有关如何构建您自己的智能体的信息，请参阅 文档！

注释

此库由位于 马萨诸塞大学阿默斯特分校 的 自主学习实验室（ALL）开发。 它由 Chris Nota (@cpnota) 编写，目前仍由他维护。 本仓库中表达或暗示的观点并不一定反映 ALL 的观点。

引用自主学习库

我们建议采用以下引用格式：

@misc{nota2020autonomous,
  author = {Nota, Chris},
  title = {The Autonomous Learning Library},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/cpnota/autonomous-learning-library}},
}

Autonomous Learning Library 快速上手指南

autonomous-learning-library (ALL) 是一个基于 PyTorch 的面向对象深度强化学习（DRL）库。它旨在帮助开发者快速构建和评估新型强化学习智能体，并提供现代 DRL 算法的高质量参考实现（如 A2C, PPO, SAC, Rainbow 等）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • PyTorch (版本 > 1.3)
  • Tensorboard (用于可视化训练过程)
• 可选依赖：如需运行 Atari、MuJoCo 或 PyBullet 等基准测试，需安装相应的 Gym 环境包。

国内加速提示：建议使用国内镜像源加速 PyTorch 和 pip 包的安装，以获得更快的下载速度。

安装步骤

您可以选择通过 PyPI 直接安装，或从源码安装以获取最新开发功能。

方式一：通过 PyPI 安装（推荐）

安装核心库：

pip install autonomous-learning-library -i https://pypi.tuna.tsinghua.edu.cn/simple

安装包含所有额外依赖（如 Gym 环境）的完整版本：

pip install autonomous-learning-library[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（适合开发者）

如果您需要修改源码或使用开发版依赖：

git clone https://github.com/cpnota/autonomous-learning-library.git
cd autonomous-learning-library
pip install -e .[dev] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 运行预置算法示例

库中内置了针对 Atari、经典控制任务和机器人仿真环境的预置脚本。以下是在 Atari 的 Breakout 游戏中运行 A2C 算法的示例：

all-atari Breakout a2c

2. 监控训练进度

在另一个终端窗口中启动 TensorBoard 来实时查看训练曲线和日志：

tensorboard --logdir runs

随后在浏览器中访问 http://localhost:6006 即可看到可视化界面。

3. 观看训练好的模型

当模型训练完成后（检查点文件位于 runs 目录下），可以使用以下命令观看智能体玩游戏：

all-watch-atari Breakout "runs/a2c_[id]/preset.pt"

注意：请将 [id] 替换为您实际运行的实验 ID（可通过 Tab 键自动补全或在 runs 目录中查找）。

4. 开发自定义智能体

若要构建自己的智能体，请参考 examples 文件夹中的示例脚本，并查阅 官方文档 了解 Approximation API、内存缓冲区及环境接口的详细用法。