带有重要性加权执行者-学习者架构的可扩展分布式深度强化学习

本仓库包含“重要性加权执行者-学习者架构”的实现，以及一个动态批处理模块。这并非 Google 官方支持的产品。

有关该架构的详细描述，请参阅我们的论文。如果您在工作中使用了本仓库中的代码，请引用该论文。

Bibtex

@inproceedings{impala2018,
  title={IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures},
  author={Espeholt, Lasse and Soyer, Hubert and Munos, Remi and Simonyan, Karen and Mnih, Volodymir and Ward, Tom and Doron, Yotam and Firoiu, Vlad and Harley, Tim and Dunning, Iain and others},
  booktitle={Proceedings of the International Conference on Machine Learning (ICML)},
  year={2018}
}

运行代码

先决条件

TensorFlow >=1.9.0-dev20180530，环境DeepMind Lab，以及神经网络库DeepMind Sonnet。尽管我们在此次发布中使用了DeepMind Lab，但该智能体已成功应用于其他领域，例如Atari、Street View，并被修改用于生成图像。

我们提供了一个Dockerfile，作为运行代码所需先决条件和命令的参考。

单机单关卡训练

在 explore_goal_locations_small 上进行训练。大多数实验在经过 10 亿帧后，平均每个episode的回报应达到约 200 或 250。

python experiment.py --num_actors=48 --batch_size=32

请根据运行机器的规模调整执行者的数量（即环境的数量）和批大小。单个执行者（包括 DeepMind Lab）大约需要几百 MB 的内存。

在 DMLab-30 上进行分布式训练

在完整的 DMLab-30 上进行训练。在 10 次使用不同随机种子但超参数完全相同的实验中，我们观察到不同种子下（--seed=[seed]）的上限为 50 的人类归一化训练分数介于 45 到 50 之间。测试分数通常会低约 2%。

学习者

python experiment.py --job_name=learner --task=0 --num_actors=150 \
    --level_name=dmlab30 --batch_size=32 --entropy_cost=0.0033391318945337044 \
    --learning_rate=0.00031866995608948655 \
    --total_environment_frames=10000000000 --reward_clipping=soft_asymmetric

执行者

for i in $(seq 0 149); do
  python experiment.py --job_name=actor --task=$i \
      --num_actors=150 --level_name=dmlab30 --dataset_path=[...] &
done;
wait

测试分数

python experiment.py --mode=test --level_name=dmlab30 --dataset_path=[...] \
    --test_num_episodes=10

scalable_agent 快速上手指南

环境准备

在开始之前，请确保您的系统满足以下前置依赖要求：

• 操作系统: Linux (推荐，官方提供 Dockerfile 参考)
• Python 版本: 兼容 TensorFlow 1.9+ 的版本
• 核心依赖:
  • TensorFlow >= 1.9.0-dev20180530
  • DeepMind Lab: 强化学习环境
  • DeepMind Sonnet: 神经网络库
• 硬件资源:
  • 单个 Actor（包含 DeepMind Lab 环境）约需几百 MB 内存。
  • 请根据机器配置调整 Actor 数量（--num_actors）和批次大小（--batch_size）。

提示: 项目根目录包含 Dockerfile，可作为安装环境和运行命令的权威参考。国内开发者若遇到 GitHub 克隆或依赖下载缓慢问题，建议配置国内镜像源或使用代理加速。

安装步骤

由于依赖项较为复杂（特别是 DeepMind Lab 需要编译），强烈建议使用官方提供的 Docker 环境或参照 Dockerfile 进行安装。

1. 克隆代码库:

   git clone https://github.com/deepmind/scalable_agent.git
   cd scalable_agent
   

2. 安装依赖: 请确保已安装 TensorFlow、Sonnet 和 DeepMind Lab。若使用 pip 安装 Python 包：

   pip install tensorflow>=1.9.0
   pip install dm-sonnet
   # DeepMind Lab 需要从源码编译安装，请参考其官方 GitHub 文档
   

基本使用

以下示例展示如何在单机上对单个关卡进行训练。

单机单关卡训练

此命令将在 explore_goal_locations_small 关卡上启动训练。默认配置下，经过 10 亿帧（1B frames）的训练后，平均回合回报通常在 200 到 250 之间。

python experiment.py --num_actors=48 --batch_size=32

参数调整建议:

• --num_actors: 调整并发环境数量。数值越大，数据采集越快，但内存消耗也越高。
• --batch_size: 调整批次大小，需匹配机器算力。

进阶：分布式训练 (DMLab-30)

若需在多台机器或大规模单机上进行分布式训练（例如 DMLab-30 全套关卡），需分别启动 Learner（学习者）和 Actors（执行者）。

1. 启动 Learner:

python experiment.py --job_name=learner --task=0 --num_actors=150 \
    --level_name=dmlab30 --batch_size=32 --entropy_cost=0.0033391318945337044 \
    --learning_rate=0.00031866995608948655 \
    --total_environment_frames=10000000000 --reward_clipping=soft_asymmetric

2. 启动 Actors (循环启动 150 个进程):

for i in $(seq 0 149); do
  python experiment.py --job_name=actor --task=$i \
      --num_actors=150 --level_name=dmlab30 --dataset_path=[...] &
done;
wait

3. 测试评估: 训练完成后，可使用以下命令评估模型得分：

python experiment.py --mode=test --level_name=dmlab30 --dataset_path=[...] \
    --test_num_episodes=10

注意: 分布式训练中，请确保所有节点网络互通，并根据实际路径替换 [...] 中的数据集路径。