dreamerv3-torch

[!IMPORTANT] 重要通知：过时的实现

该代码库是在DreamerV3重大更新前实现的，未包含这些更新，因此导致本仓库中存在多个GitHub Issues。

现在我们维护了一个~5x更快（约5倍快）的PyTorch DreamerV3复现版本，作为新仓库的一部分：r2dreamer。请参考该仓库获取最新的DreamerV3基准测试，同时提供R2-Dreamer（ICLR 2026）的PyTorch实现。

Pytorch实现的Mastering Diverse Domains through World Models。DreamerV3（世界模型算法）是一个可扩展的算法，在固定超参数下在各种领域中优于先前方法。

使用说明

方法1：手动安装

使用Python 3.11获取依赖：

pip install -r requirements.txt

在DMC Vision上运行训练：

python3 dreamer.py --configs dmc_vision --task dmc_walker_walk --logdir ./logdir/dmc_walker_walk

监控结果：

tensorboard --logdir ./logdir

要设置Atari或Minecraft环境，请查看位于env/setup_scripts的脚本。

方法2：Docker

请参考Dockerfile中的说明，它们已包含在内。

基准测试

目前可用于测试的基准如下：

环境	观测类型	动作类型	预算	描述
DMC Proprio	状态	连续	500K	DeepMind Control Suite低维输入环境
DMC Vision	图像	连续	1M	DeepMind Control Suite高维图像输入环境
Atari 100k	图像	离散	400K	26个Atari游戏
Crafter	图像	离散	1M	评估智能体多样化能力的生存环境
Minecraft	图像和状态	离散	100M	广阔的3D开放世界
Memory Maze	图像	离散	100M	评估RL智能体长期记忆的3D迷宫

结果

DMC Proprio

DMC Vision

Atari 100k

Crafter

故障排除

AttributeError: 'NoneType' object has no attribute 'glGetError' 如果在运行DMC任务时遇到此OpenGL相关错误，通常是由无头渲染环境设置引起的。请参考此讨论/问题获取解决方案。

致谢

该代码主要受以下工作启发：

• danijar的Dreamer-v3 jax实现：https://github.com/danijar/dreamerv3
• danijar的Dreamer-v2 tensorflow实现：https://github.com/danijar/dreamerv2
• jsikyoon的Dreamer-v2 pytorch实现：https://github.com/jsikyoon/dreamer-torch
• RajGhugare19的Dreamer-v2 pytorch实现：https://github.com/RajGhugare19/dreamerv2
• denisyarats的DrQ-v2原始实现：https://github.com/facebookresearch/drqv2

dreamerv3-torch 快速上手指南

环境准备

• 系统要求：Python 3.11
• 前置依赖：
  • 安装PyTorch（推荐使用PyTorch官方国内镜像）
  • 安装CUDA工具包（如需GPU加速）

---

安装步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/NM512/dreamerv3-torch.git
   cd dreamerv3-torch
   

2. 安装依赖（推荐使用国内镜像加速）：

   pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

---

基本使用

最简训练示例（DMC Vision任务）

python3 dreamer.py --configs dmc_vision --task dmc_walker_walk --logdir ./logdir/dmc_walker_walk

• 监控训练结果：
  启动TensorBoard查看日志（默认保存路径为./logdir）：

  tensorboard --logdir ./logdir
  

---

注意：如需测试其他环境（如Atari/Minecraft），请参考envs/setup_scripts中的脚本配置。