从梦想中学习控制

丹尼雅尔·哈夫纳、蒂莫西·利利克拉普、吉米·巴、穆罕默德·诺鲁齐

注： 这是原始实现。若要在 Dreamer 的基础上进行开发，我们推荐使用较新的 Dreamer in TensorFlow 2 实现。它在复现原有结果的同时，显著更简单且速度更快。

Dreamer 是一种强化学习智能体，其相关工作发表于论文《从梦想中学习控制：通过潜在想象学习行为》paper。Dreamer 仅依靠潜在空间中的想象，便能从图像中学习长时程的行为策略。为此，它会将价值估计沿着由已训练的世界模型所生成的紧凑潜在空间中想象出的轨迹进行反向传播。与强大的无模型算法相比，Dreamer 在视觉控制任务上所需的交互回合数要少得多。

如果您觉得这份开源代码对您的研究有所帮助，请在论文中引用如下：

@article{hafner2019dreamer,
  title={Dream to Control: Learning Behaviors by Latent Imagination},
  author={Hafner, Danijar and Lillicrap, Timothy and Ba, Jimmy and Norouzi, Mohammad},
  journal={arXiv preprint arXiv:1912.01603},
  year={2019}
}

方法

Dreamer 从过往经验中学习一个能够对未来进行预测的世界模型。随后，它在该模型的紧凑潜在空间中分别学习动作模型和价值模型。其中，价值模型通过优化想象轨迹上的贝尔曼一致性来更新参数；而动作模型则通过将价值估计的解析梯度沿想象轨迹反向传播，以最大化价值预测。当与环境交互时，Dreamer 直接执行动作模型所给出的动作。

更多信息请参阅：

• 项目官网
• PDF 论文

使用说明

要训练一个智能体，首先安装依赖项，然后运行以下命令之一：

python3 -m dreamer.scripts.train --logdir ./logdir/debug \
  --params '{defaults: [dreamer, debug], tasks: [dummy]}' \
  --num_runs 1000 --resume_runs False

python3 -m dreamer.scripts.train --logdir ./logdir/control \
  --params '{defaults: [dreamer], tasks: [walker_run]}'

python3 -m dreamer.scripts.train --logdir ./logdir/atari \
  --params '{defaults: [dreamer, pcont, discrete, atari], tasks: [atari_boxing]}'

python3 -m dreamer.scripts.train --logdir ./logdir/dmlab \
  --params '{defaults: [dreamer, discrete], tasks: [dmlab_collect]}'

可用的任务列表位于 scripts/tasks.py 中。超参数配置则可在 scripts/configs.py 中找到。

提示：

• 可以将 debug 添加到默认配置列表中，以使用较小的配置并更快地进入开发阶段。
• 添加 --resume_runs False 和 --num_runs 1000 标志，可自动创建唯一的日志目录。
• 若要训练不使用价值函数的基线模型，可在参数中添加 value_head: False。
• 若要训练 PlaNet 模型，可在参数中加入 train_planner: cem, test_planner: cem, planner_objective: reward, action_head: False, value_head: False, imagination_horizon: 0。

依赖项

该代码已在 Ubuntu 18 系统下测试通过，并使用了以下软件包：tensorflow-gpu==1.13.1、tensorflow_probability==0.6.0、dm_control（推荐使用 egl 渲染选项 rendering）、gym、imageio、matplotlib、ruamel.yaml、scikit-image、scipy。

免责声明：本项目并非 Google 官方产品。

Dreamer 快速上手指南

注意：此仓库为 Dreamer 的原始实现（基于 TensorFlow 1）。如需更简单、快速且能复现结果的版本，推荐使用新的 Dreamer in TensorFlow 2 实现。

Dreamer 是一种强化学习智能体，仅通过潜在空间中的“想象”从图像中学习长视野行为。它通过学习的世界模型在紧凑的潜在空间中反向传播价值估计，从而用比无模型代理少得多的episode解决视觉控制任务。

环境准备

系统要求

• 操作系统：Ubuntu 18（代码在此环境下测试通过）
• Python：Python 3

前置依赖

请确保安装以下 Python 包及系统级依赖：

• tensorflow-gpu==1.13.1
• tensorflow_probability==0.6.0
• dm_control（推荐启用 egl 渲染选项以加速渲染）
• gym
• imageio
• matplotlib
• ruamel.yaml
• scikit-image
• scipy

提示：国内用户建议使用清华源或阿里源加速 pip 安装，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/danijar/dreamer.git
   cd dreamer
   

2. 安装依赖包：

   pip install tensorflow-gpu==1.13.1 tensorflow_probability==0.6.0 dm_control gym imageio matplotlib ruamel.yaml scikit-image scipy
   

   注：dm_control 可能需要额外的系统级 OpenGL/EGL 依赖，请参考其官方文档进行配置。

基本使用

训练智能体时，需指定日志目录 (--logdir) 和参数配置 (--params)。以下是几种常见场景的运行命令：

1. 调试模式（推荐开发时使用）

使用较小的配置和虚拟任务，快速验证代码逻辑。

python3 -m dreamer.scripts.train --logdir ./logdir/debug \
  --params '{defaults: [dreamer, debug], tasks: [dummy]}' \
  --num_runs 1000 --resume_runs False

2. 标准控制任务（Walker Run）

在 DeepMind Control Suite 的 walker_run 任务上进行训练。

python3 -m dreamer.scripts.train --logdir ./logdir/control \
  --params '{defaults: [dreamer], tasks: [walker_run]}'

3. Atari 游戏（Boxing）

在 Atari 环境的 boxing 任务上进行训练（需离散动作空间配置）。

python3 -m dreamer.scripts.train --logdir ./logdir/atari \
  --params '{defaults: [dreamer, pcont, discrete, atari], tasks: [atari_boxing]}'

4. DMLab 任务（Collect）

在 DMLab 环境的 collect 任务上进行训练。

python3 -m dreamer.scripts.train --logdir ./logdir/dmlab \
  --params '{defaults: [dreamer, discrete], tasks: [dmlab_collect]}'

实用技巧

• 自动管理日志目录：添加 --resume_runs False 和 --num_runs 1000 标志可自动生成唯一的日志目录，避免覆盖旧数据。
• 查看可用任务：所有支持的任务列表位于 `scripts/tasks.py。
• 查看超参数：所有默认超参数配置位于 scripts/configs.py。