MuZero General

基于 Google DeepMind 的 论文（Schrittwieser 等人，2019 年 11 月）及其配套 伪代码 的、带有注释且已 文档化 的 MuZero 实现。该实现旨在轻松适配各类游戏或强化学习环境（如 gym）。您只需添加一个包含超参数和游戏类的 游戏文件 即可。请参阅 文档 和 示例。此实现主要用于教育目的。
MuZero 解说视频

MuZero 是一种用于棋类游戏（象棋、围棋等）和 Atari 游戏的最先进强化学习算法。它是 AlphaZero 的后继者，但无需任何关于环境底层动态的知识。MuZero 学习环境模型，并使用仅包含预测奖励、价值、策略和转移所需有用信息的内部表示。MuZero 也与 价值预测网络 非常接近。详情请参阅 工作原理。

特性

• 在 PyTorch 中使用残差网络和全连接网络
• 多线程/异步/集群 支持，通过 Ray 实现
• 训练和自我对弈的多 GPU 支持
• TensorBoard 实时监控
• 模型权重在检查点自动保存
• 单人和双人模式
• 带有注释并已 文档化
• 易于适配新游戏
• 包含棋类游戏、Gym 和 Atari 游戏的 示例（详见 已实现游戏列表）
• 提供 预训练权重
• Windows 支持（实验性 / 变通方案：使用 Google Colab 中的 笔记本）

进一步改进

以下是一些可能值得添加但未在 MuZero 论文中提及的功能。我们欢迎贡献和其他想法。

• 超参数搜索
• 连续动作空间
• 理解所学模型的工具
• 批量 MCTS
• 支持超过两名玩家的游戏

演示

所有性能指标均在 TensorBoard 中实时跟踪和显示：

Lunar Lander 测试：

已实现的游戏

• Cartpole （使用全连接网络测试）
• Lunar Lander （使用全连接网络以确定性模式测试）
• Gridworld （使用全连接网络测试）
• Tic-tac-toe （使用全连接网络和残差网络测试）
• Connect4 （使用残差网络进行了初步测试）
• Gomoku
• Twenty-One / Blackjack （使用残差网络测试）
• Atari Breakout

测试在 Ubuntu 系统上进行，配备 16 GB 内存、Intel i7 处理器和 GTX 1050Ti Max-Q 显卡。我们确保模型能够取得进展并达到一定的水平，证明其确实有所学习。不过，我们并未系统性地达到人类水平。对于某些环境，我们发现经过一段时间后会出现退化现象。目前提出的配置显然并非最优，我们也尚未专注于超参数的优化。欢迎大家提供帮助。

代码结构

网络概览：

开始使用

安装

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

运行

python muzero.py

要查看训练结果，请在另一个终端中运行：

tensorboard --logdir ./results

配置

您可以通过编辑 games 文件夹 中相应文件中的 MuZeroConfig 类来调整各游戏的配置。

相关工作

• EfficientZero（Weirui Ye、Shaohuai Liu、Thanard Kurutach、Pieter Abbeel、Yang Gao）
• Sampled MuZero（Thomas Hubert、Julian Schrittwieser、Ioannis Antonoglou、Mohammadamin Barekatain、Simon Schmitt、David Silver）

作者

• Werner Duvaud
• Aurèle Hainaut
• Paul Lenoir
• 贡献者

如果您希望在出版物中引用此仓库（主分支），请使用以下 BibTeX 格式：

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = {\url{https://github.com/werner-duvaud/muzero-general}},
}

参与贡献

• GitHub Issues：用于报告 bug。
• Pull Requests：用于提交代码贡献。
• Discord 服务器：用于讨论开发相关事宜或解答一般性问题。

MuZero General 快速上手指南

MuZero General 是基于 Google DeepMind 论文实现的 MuZero 算法开源项目，旨在用于教育目的，并支持轻松适配各类游戏或强化学习环境（如 Gym、Atari 等）。

环境准备

• 操作系统：Linux, macOS (Windows 支持尚在实验中，建议通过 Google Colab 笔记本运行)
• Python 版本：>= 3.6
• 核心依赖：PyTorch, Ray, TensorBoard
• 硬件建议：支持单卡或多卡 GPU 训练（测试环境参考：Ubuntu, 16GB RAM, GTX 1050Ti）

安装步骤

1. 克隆仓库

   git clone https://github.com/werner-duvaud/muzero-general.git
   cd muzero-general
   

2. 安装依赖 注：若需加速下载，可配置国内 pip 镜像源（如清华源）。

   # 使用默认源
   pip install -r requirements.lock
   
   # 或使用国内镜像源（推荐）
   pip install -r requirements.lock -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 启动训练

运行主程序开始训练（默认使用 Cartpole 等示例游戏）：

python muzero.py

2. 实时监控

打开一个新的终端窗口，启动 TensorBoard 以实时查看训练指标和模型性能：

tensorboard --logdir ./results

随后在浏览器中访问显示的本地地址（通常为 http://localhost:6006）。

3. 自定义游戏配置

若要适配新游戏或调整超参数，请编辑 games 文件夹下对应游戏的 MuZeroConfig 类。例如修改 games/cartpole.py 中的配置即可改变 Cartpole 的训练行为。