多巴胺

入门指南 | 文档 | 基准结果 | 变更日志

Dopamine 是一个用于快速原型化强化学习算法的研究框架。它的目标是提供一个小型、易于理解的代码库，使用户能够自由地尝试各种大胆的想法（即探索性研究）。

我们的设计原则是：

• 易于实验：让新用户能够轻松运行基准实验。
• 灵活开发：让新用户能够方便地尝试新的研究思路。
• 简洁可靠：提供经过实战检验的少数几种算法实现。
• 可复现：促进实验结果的可复现性。特别是，我们的设置遵循了 Machado 等人 (2018) 的建议。

Dopamine 支持以下使用 JAX 实现的智能体：

• DQN ([Mnih 等人, 2015])(dqn)
• C51 ([Bellemare 等人, 2017])(c51)
• Rainbow ([Hessel 等人, 2018])(rainbow)
• IQN ([Dabney 等人, 2018])(iqn)
• SAC ([Haarnoja 等人, 2018])(sac)
• PPO ([Schulman 等人, 2017])(ppo)

有关可用智能体的更多信息，请参阅 文档。

这些智能体中的许多也有 TensorFlow（旧版）实现，不过新添加的智能体很可能仅支持 JAX。

本项目并非 Google 官方产品。

入门指南

我们提供了用于使用 Dopamine 的 Docker 容器。使用说明请见 这里。

此外，也可以从源码安装 Dopamine（推荐方式）或通过 pip 安装。无论采用哪种方式，都请继续阅读先决条件部分。

先决条件

Dopamine 支持 Atari 环境和 Mujoco 环境。在安装 Dopamine 之前，请先安装您打算使用的环境：

Atari

1. 这些环境现在应该已经包含在 ale_py 中。
2. 您可能需要手动执行一些步骤来正确安装 baselines，具体请参阅 说明。

Mujoco

1. 请在此处安装 Mujoco 并获取许可证：https://github.com/openai/mujoco-py#install-mujoco。
2. 运行 pip install mujoco-py（我们建议使用 虚拟环境）。

从源码安装

使用 Dopamine 最常见的方式是从源码安装并直接修改源代码：

git clone https://github.com/google/dopamine

克隆完成后，安装依赖项：

pip install -r dopamine/requirements.txt

Dopamine 同时支持 TensorFlow（旧版）和 JAX（当前维护中）的智能体。有关安装 TensorFlow 的更多信息，请参阅 TensorFlow 文档。

注意：我们建议在使用 Dopamine 时使用 虚拟环境。

使用 pip 安装

注意：我们强烈建议大多数用户从源码安装。

使用 pip 安装虽然简单，但 Dopamine 的设计初衷是允许直接修改代码。因此，我们仍推荐从源码安装以进行自定义实验。

pip install dopamine-rl

运行测试

您可以从 Dopamine 根目录运行以下命令来测试安装是否成功：

export PYTHONPATH=$PYTHONPATH:$PWD
python -m tests.dopamine.atari_init_test

后续步骤

请参阅 文档 以获取更多关于训练智能体的信息。

我们为每个 Dopamine 智体提供了 基准实现。

此外，我们还提供了一组 Colaboratory 笔记本，演示如何使用 Dopamine。

参考文献

Bellemare 等人，《街机学习环境：通用智能体的评估平台》。人工智能研究杂志，2013 年。

Machado 等人，《重访街机学习环境：通用智能体的评估协议与开放问题》，人工智能研究杂志，2018 年。

Hessel 等人，《Rainbow：结合深度强化学习的多项改进》。AAAI 人工智能会议论文集，2018 年。

Mnih 等人，《通过深度强化学习实现人类水平控制》。自然杂志，2015 年。

Schaul 等人，《优先级经验回放》。国际学习表征会议论文集，2016 年。

Haarnoja 等人，《软演员-评论家算法及其应用》，arXiv 预印本 arXiv:1812.05905，2018 年。

Schulman 等人，《近端策略优化算法》。

致谢

如果您在工作中使用了 Dopamine，我们恳请您引用我们的 白皮书。以下是一个 BibTeX 条目的示例：

@article{castro18dopamine,
  author    = {Pablo Samuel Castro and
               Subhodeep Moitra and
               Carles Gelada and
               Saurabh Kumar and
               Marc G. Bellemare},
  title     = {Dopamine: {A} {R}esearch {F}ramework for {D}eep {R}einforcement {L}earning},
  year      = {2018},
  url       = {http://arxiv.org/abs/1812.06110},
  archivePrefix = {arXiv}
}

Dopamine 快速上手指南

Dopamine 是一个用于强化学习算法快速原型设计的科研框架，旨在提供一个轻量、易读的代码库，方便研究人员自由实验各种创新想法。它支持多种经典算法（如 DQN, Rainbow, SAC, PPO 等），主要基于 JAX 实现（部分旧算法支持 TensorFlow）。

环境准备

在开始之前，请确保您的系统满足以下要求，并根据需要安装对应的仿真环境。

系统要求

• Python: 推荐 Python 3.8+
• 虚拟环境: 强烈建议使用 virtualenv 或 conda 创建独立的开发环境。
• 深度学习框架:
  • JAX (推荐，活跃维护)
  • TensorFlow (遗留支持，仅部分旧算法)

前置依赖：仿真环境

Dopamine 主要支持 Atari 和 MuJoCo 环境，请在安装 Dopamine 前先配置好所需的环境。

1. Atari 环境

Atari 环境通常随 ale_py 包提供：

pip install ale-py
# 可能需要手动配置 baselines，参考：https://github.com/openai/baselines

2. MuJoCo 环境

需要获取许可证并安装：

1. 访问 MuJoCo 官网 下载并获取 License。
2. 安装 python 绑定：

pip install mujoco-py

国内加速提示：如果下载依赖较慢，建议使用国内镜像源（如清华源或阿里源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

推荐从源码安装，以便直接修改代码进行实验。

方法一：从源码安装（推荐）

1. 克隆仓库：

   git clone https://github.com/google/dopamine
   cd dopamine
   

2. 安装依赖：

   pip install -r dopamine/requirements.txt
   

   注：若需使用 TensorFlow 版本，请额外参考 TensorFlow 安装文档。

3. 验证安装： 在项目根目录运行以下命令测试是否安装成功：

   export PYTHONPATH=$PYTHONPATH:$PWD
   python -m tests.dopamine.atari_init_test
   

方法二：使用 Pip 安装

适用于仅需调用库功能而不修改源码的场景：

pip install dopamine-rl

基本使用

安装完成后，您可以参考官方提供的 Colab 笔记本或文档开始训练代理。以下是最基础的使用流程概述：

1. 选择算法与环境： Dopamine 内置了多种基于 JAX 的算法实现，包括：

   • DQN, C51, Rainbow, IQN (离散动作空间)
   • SAC, PPO (连续动作空间)

2. 运行实验： 通常通过修改配置文件或直接调用 Python 脚本启动训练。您可以查看 dopamine/colab 目录下的示例笔记本来了解具体的 API 调用方式。

   例如，在代码中初始化一个 agent 的典型逻辑（伪代码示意）：

   from dopamine.agents.jax import dqn_agent
   # 配置 agent 参数并实例化
   agent = dqn_agent.DQNAgent(config=config, environment=env)
   

3. 查阅基准结果与文档：

   • 详细文档: Dopamine Docs
   • 基准测试结果: Baseline Results
   • 示例代码: Colaboratory Notebooks

引用说明：如果您在研究工作中使用了 Dopamine，请引用其白皮书：

@article{castro18dopamine,
  author    = {Pablo Samuel Castro and Subhodeep Moitra and Carles Gelada and Saurabh Kumar and Marc G. Bellemare},
  title     = {Dopamine: {A} {R}esearch {F}ramework for {D}eep {R}einforcement {L}earning},
  year      = {2018},
  url       = {http://arxiv.org/abs/1812.06110},
  archivePrefix = {arXiv}
}