梦想到控制

注意： 请查看 DreamerV2 的代码，它同时支持 Atari 和 DMControl 环境。

在 TensorFlow 2 中快速且简单的 Dreamer 智能体实现。

如果您觉得这段代码有用，请在您的论文中引用：

@article{hafner2019dreamer,
  title={Dream to Control: Learning Behaviors by Latent Imagination},
  author={Hafner, Danijar and Lillicrap, Timothy and Ba, Jimmy and Norouzi, Mohammad},
  journal={arXiv preprint arXiv:1912.01603},
  year={2019}
}

方法

Dreamer 学习一个世界模型，在紧凑的特征空间中进行未来预测。基于想象的特征序列，它学习策略和状态价值函数。价值梯度会通过多步预测反向传播，从而高效地学习长期视野下的策略。

• 项目网站
• 研究论文
• 官方实现（TensorFlow 1）

使用说明

安装依赖：

pip3 install --user tensorflow-gpu==2.2.0
pip3 install --user tensorflow_probability
pip3 install --user git+git://github.com/deepmind/dm_control.git
pip3 install --user pandas
pip3 install --user matplotlib

训练智能体：

python3 dreamer.py --logdir ./logdir/dmc_walker_walk/dreamer/1 --task dmc_walker_walk

生成图表：

python3 plotting.py --indir ./logdir --outdir ./plots --xaxis step --yaxis test/return --bins 3e4

查看图表和 GIF 动画：

tensorboard --logdir ./logdir

Dreamer 快速上手指南

Dreamer 是一个基于 TensorFlow 2 的高效强化学习智能体实现，它通过学习世界模型在潜在特征空间中进行预测，并利用“想象”出的特征序列来训练策略和价值函数。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需通过 WSL 运行）
• Python 版本：推荐 Python 3.6 - 3.8
• GPU 支持：建议使用 NVIDIA GPU 并安装对应的 CUDA 驱动以加速训练
• 依赖库：需要安装 TensorFlow 2.2.0、TensorFlow Probability、DeepMind Control Suite 等

提示：国内用户安装 dm_control 或其他大型依赖时若遇到网络问题，可尝试配置 pip 国内镜像源（如清华源、阿里源）加速下载。

安装步骤

请使用以下命令依次安装所需依赖。为提升下载速度，建议先配置 pip 镜像源：

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

然后执行安装命令：

pip3 install --user tensorflow-gpu==2.2.0
pip3 install --user tensorflow_probability
pip3 install --user git+git://github.com/deepmind/dm_control.git
pip3 install --user pandas
pip3 install --user matplotlib

克隆或下载 Dreamer 代码仓库后，进入项目目录即可开始使用。

基本使用

1. 训练智能体

以下命令将在 dmc_walker_walk 任务上启动 Dreamer 智能体的训练，日志将保存在指定目录：

python3 dreamer.py --logdir ./logdir/dmc_walker_walk/dreamer/1 --task dmc_walker_walk

2. 生成训练曲线图

训练完成后，可使用以下脚本生成回报（return）随步数变化的图表：

python3 plotting.py --indir ./logdir --outdir ./plots --xaxis step --yaxis test/return --bins 3e4

3. 可视化监控

使用 TensorBoard 实时查看训练过程中的损失、奖励及生成的 GIF 演示：

tensorboard --logdir ./logdir

随后在浏览器中访问 http://localhost:6006 即可查看可视化面板。