关于

基于AlphaGo Zero方法的黑白棋强化学习。

@mokemokechicken 的训练历史请参见挑战历史。

如果您能分享自己的成果，欢迎将其发布到性能报告中。

环境

• Python 3.6.3
• tensorflow-gpu: 1.3.0 (+)
  • tensorflow==1.3.0 也可以，但速度非常慢。在使用 play_gui 时，CPU 版本的 TensorFlow 就足够快了。
• Keras: 2.0.8 (+)

模块

强化学习

这个 AlphaGo Zero 实现由三个工作进程组成：self、opt 和 eval。

• self 是自我对弈进程，通过使用最佳模型进行自我对弈来生成训练数据。
• opt 是训练进程，用于训练模型并生成下一代模型。
• eval 是评估进程，用于评估下一代模型是否优于当前的最佳模型。如果更好，则替换最佳模型。
  • 如果 config.play.use_newest_next_generation_model = True，则此进程将不再需要。（这是 AlphaZero 方法）

评估

为了评估，您可以使用最佳模型与之对弈。

• play_gui 是使用 wxPython 与最佳模型对战的游戏界面。

数据

• data/model/model_best_*: 最佳模型。
• data/model/next_generation/*: 下一代模型。
• data/play_data/play_*.json: 生成的训练数据。
• logs/main.log: 日志文件。

如果您想从头开始训练模型，请删除上述目录。

使用方法

设置

安装库

pip install -r requirements.txt

使用 Anaconda 安装库

cp requirements.txt conda-requirements.txt

• 注释掉 jedi、Keras、parso、python-dotenv、tensorflow-tensorboard、wxPython 等库的行。
• 将 ipython-genutils、jupyter-*、prompt-toolkit 等库中的 - 替换为 _。

conda env create -f environment.yml
source activate reversi-a0
conda install --yes --file conda-requirements.txt

如果您想使用 GPU，

pip install tensorflow-gpu

设置环境变量

创建 .env 文件，并写入以下内容：

KERAS_BACKEND=tensorflow

Windows 设置

本说明由 @GCRhoads 提供，感谢！

必需：64位 Windows

此步骤已在 Windows 8.1 上验证。尚未在其他版本上测试。

注意：Windows 路径名使用反斜杠而非正斜杠。

1. 如有必要，将“src\reversi_zero\agent\player.py”文件的第一行修改为： from asyncio.futures import Future

2. 安装 64 位版本的 Python 3.5（32 位版本不满足要求）。您有两种选择：

   • 直接下载页面
   • 推荐使用包含 Python 3.5 的 Anaconda 安装说明

注意: 由于某种原因，Python 3.5 和 Anaconda 都会被安装在一个隐藏文件夹中。要访问它们，您需要首先进入控制面板，选择文件夹选项，在“查看”选项卡中，点击“高级设置”部分中“显示隐藏的文件、文件夹或驱动器”旁边的圆圈。Anaconda 会安装在 C:\ProgramData\Anaconda3\ 目录下。而直接下载的 Python 则会安装在 (我认为是) C:\Users\<您的用户名>\AppData\Local\Program\Python\ 目录中。

3. 安装 Visual C++ 2015 构建工具。 您可以安装完整的 Visual Studio 2015 版本（而不是微软试图强加给您的 2017 版本），但这将是一个庞大的下载和安装过程，其中大部分内容您并不需要。下载 Visual C++ 构建工具。双击下载的文件以运行安装程序。

4. 将所有 f-string 替换为 string.format()。 该项目的 Python 源代码大量使用了 f-string，这是 Python 3.6 才引入的新特性。由于我们需要的是 Python 3.5（Windows 版本的 TensorFlow 要求），请使用编辑器的搜索功能找到每一个 f-string 的用法，并将其替换为 string.format()。

5. 安装所需的库。 无论是从 Anaconda 提示符还是从您放置本项目的顶级文件夹中的命令窗口，输入以下命令：

pip install -r requirements.txt

6. 安装 TensorFlow

如果您拥有与 TensorFlow 兼容的 GPU（请参阅 TensorFlow 官网上的兼容列表），那么安装 GPU 版本将使代码运行得更快。要安装 GPU 版本，请在 Anaconda 提示符或命令窗口中输入以下命令：

pip3 install --upgrade tensorflow-gpu

如果您没有兼容的 GPU，则只能使用较慢的仅 CPU 版本。要安装此版本，请在 Anaconda 提示符或命令窗口中输入以下命令：

pip3 install --upgrade tensorflow

7. 设置环境变量。 创建一个 .env 文件，并在其中写入以下内容：

KERAS_BACKEND=tensorflow

现在您就可以开始了。

最强模型

目前，“challenge 5 model”和“ch5 config”是我训练出的最强模型。如果您想使用它进行对弈，

rm -rf data/model/next_generation/
sh ./download_model.sh 5
# 以 wxPython GUI 运行
python src/reversi_zero/run.py play_gui -c config/ch5.yml

如果您想将其用作 NBoard 引擎（见下文“作为 NBoard2.0 引擎运行”），请使用命令 nboard_engine -c config/ch5.yml。

过往模型

如果您想使用 data/model/model_best_* 中的最佳模型，请先移除（或重命名）data/model/next_generation/ 目录。

下载已训练的最佳模型

例如，下载由下方挑战 1 训练的最佳模型：

sh ./download_best_model.sh

下载最新训练的模型

将挑战 2、3、4、5 训练的最新模型下载为最佳模型：

sh ./download_model.sh <版本>

例如：

sh ./download_model.sh 5

配置

“AlphaGo Zero”方法与“AlphaZero”方法

我认为“AlphaGo Zero”和“AlphaZero”的主要区别在于是否使用 eval 进程。可以通过配置来切换这两种方法。

AlphaGo Zero 方法

• PlayConfig#use_newest_next_generation_model = False
• PlayWithHumanConfig#use_newest_next_generation_model = False
• 执行 Evaluator 进程以选择最佳模型。

AlphaZero 方法

• PlayConfig#use_newest_next_generation_model = True
• PlayWithHumanConfig#use_newest_next_generation_model = True
• 不使用 Evaluator 进程（最新的模型将被选为自我对弈的模型）。

自我对弈中的策略分布

在 DeepMind 的论文中，自我对弈保存的策略数据似乎按照 pow(N, 1/tau) 的比例分布。在对局中后期，tau 会变为 0，此时策略分布变为 one-hot 形式。

PlayDataConfig#save_policy_of_tau_1 = True 表示保存的策略始终使用 tau=1。

其他重要超参数（我认为）

如果你找到了一组好的参数，请在 GitHub 的 Issues 中分享！

PlayDataConfig

• nb_game_in_file,max_file_num: 训练数据的最大游戏数量为 nb_game_in_file * max_file_num。
• multi_process_num: 用于生成自我对弈数据的进程数。

PlayConfig, PlayWithHumanConfig

• simulation_num_per_move：每步的 MCTS 次数。
• c_puct: MCTS 中价值网络和策略网络的平衡参数。
• resign_threshold: 投子阈值。
• parallel_search_num: MCTS 中速度与准确性的平衡参数（？）。
  • prediction_queue_size 应该等于或大于 parallel_search_num。
• dirichlet_alpha: 自我对弈中的随机参数。
• share_mtcs_info_in_self_play: 额外选项。如果为真，则在自我对弈的不同游戏中共享 MCTS 树节点信息。
  • reset_mtcs_info_per_game: 共享 MCTS 信息的重置时机。
• use_solver_turn, use_solver_turn_in_simulation: 从这一回合开始使用解算器。如果为 None，则不使用。

TrainerConfig

• wait_after_save_model_ratio: 如果大于 0，优化器会在每次保存模型后，等待相当于保存间隔比例的时间。这在你用同一块 GPU 同时运行“自我对弈”和“优化”时可能会很有用。

基本用法

要训练模型，需要依次执行“自我对弈”、“训练器”和“评估器”。

自我对弈

python src/reversi_zero/run.py self

执行时，自我对弈将使用最佳模型开始。如果最佳模型不存在，则会创建一个新的随机模型并将其设为最佳模型。

选项

• --new: 创建新的最佳模型。
• -c config_yaml: 指定配置文件路径，以覆盖 config.py 的默认设置。

训练器

python src/reversi_zero/run.py opt

执行时，训练将开始。基础模型将从最近保存的下一代模型中加载。如果不存在，则使用最佳模型。训练后的模型将在每个 epoch 结束后每 2000 步（小批量）保存一次。

选项

• -c config_yaml: 指定配置文件路径，以覆盖 config.py 的默认设置。
• --total-step: 指定总步数（小批量）。总步数会影响训练的学习率。

评估器

python src/reversi_zero/run.py eval

执行时，评估将开始。它通过进行约 200 场比赛来评估最佳模型和最新的下一代模型。如果下一代模型获胜，则它将成为最佳模型。

选项

• -c config_yaml: 指定配置文件路径，以覆盖 config.py 的默认设置。

对弈

python src/reversi_zero/run.py play_gui

注意：Mac pyenv 环境

play_gui 使用 wxPython。如果你的 Python 环境是在没有 Framework 的情况下构建的，则无法执行。请尝试以下 pyenv 安装选项：

env PYTHON_CONFIGURE_OPTS="--enable-framework" pyenv install 3.6.3

对于 Anaconda 用户：

conda install python.app
pythonw src/reversi_zero/run.py play_gui

执行时，会显示一个普通的黑白棋棋盘，你可以与最佳模型对弈。在最佳模型走完一步后，棋盘上会显示一些数字。

• 左上角的数字 (1) 表示上次搜索的“访问次数 (=N(s,a))”。
• 左下角的数字 (2) 表示上次状态和走法的“AI 方面的 Q 值 (=Q(s,a))”。这些 Q 值被乘以 100。

作为 NBoard 2.0 引擎运行

NBoard 是一款非常好的黑白棋 GUI，并且拥有强大的黑白棋引擎，可在 Windows、Mac 和 Linux 上运行（需要 JRE）。

它可以添加实现 NBoard 协议 的外部引擎。

如何将本模型作为外部引擎添加到 NBoard

• (0) 从命令行启动 NBoard（需要设置 PATH 等环境变量）

  • 例如：java -jar /Applications/NBoard/nboard-2.0.jar

• (1) 选择菜单 Engine -> Select Opponent...

• (2) 点击按钮 Add Engine

• (3) 设置参数：

  • Name = RAZ（例如）
  • Working Directory = 本项目的路径
  • Command = nboard_engine 或 bash nboard_engine。如果你想指定配置文件类型，可以使用 nboard_engine -c config/ch5.yml。

• (4) 将引擎等级 N 设置为 simulation_num_per_move=N*20。

评估你的模型的便捷方法

NBoard 似乎不能同时使用两个不同的引擎（可能）。不过，它可以分别选择对弈引擎和分析引擎。

因此，评估你的模型的一个便捷方法是：

• 将本模型设为对弈引擎（或分析引擎），另一个引擎设为分析引擎（或对弈引擎）。
• 打开菜单 View -> Highlight Best Move。
• 开始让“用户执黑棋”（或白棋）。
• 你只需选择分析引擎推荐的最佳走法即可。

我对作为分析引擎的 hint 协议不太有信心（存在一些奇怪的行为），但在我的环境中可以正常工作。

与其他黑白棋 AI 的自动评估

reversi-arena 是一个用于评估实现 NBoard 协议的黑白棋 AI 的系统。当需要与像 NTest 这样的强大 AI 进行大量对局时，这个系统非常有用。

在 TensorBoard 中查看训练日志

1. 安装 tensorboard

pip install tensorboard

2. 启动 tensorboard 并通过浏览器访问

tensorboard --logdir logs/tensorboard/

然后访问 http://<机器IP>:6006/。

故障排除

如果由于错误无法启动 tensorboard，请尝试创建一个仅包含 tensorflow 和 tensorboard 的新项目。

然后运行：

tensorboard --logdir <REVERSI 项目路径>/logs/tensorboard/

提示与备忘录

GPU 内存

在我的 GeForce GTX 1080 环境中，显存约为 8GB，因此有时会出现显存不足的情况。通常，显存不足只会导致警告，而不会引发错误。如果出现错误，请尝试修改 src/worker/{evaluate.py,optimize.py,self_play.py} 中的 per_process_gpu_memory_fraction：

tf_util.set_session_config(per_process_gpu_memory_fraction=0.2)

减少 batch_size 可以降低 opt 的内存使用量。可以尝试在 NormalConfig 中调整 TrainerConfig#batch_size。

训练速度

• CPU: 8 核 i7-7700K，主频 4.20GHz
• GPU: GeForce GTX 1080
• 自我对弈中一局游戏：约 10~20 秒（simulation_num_per_move = 100，thinking_loop = 1）。
• 训练中一步（小批量，batch size=512）：约 1.8 秒。

Reversi Alpha Zero 快速上手指南

本项目基于 AlphaGo Zero 算法实现黑白棋（Reversi）的强化学习训练与对战。

环境准备

系统要求

• 操作系统: Linux / macOS / Windows (64-bit)
  • Windows 用户注意: 官方验证环境为 Windows 8.1 64-bit。若使用 Windows，需安装 Python 3.5 (因 TensorFlow GPU 版本限制) 及 Visual C++ 2015 Build Tools。此外，需将源码中的 f-string 语法手动改为 .format() 以兼容 Python 3.5。
• Python: 推荐 3.6.3+ (Linux/macOS); Windows 需 3.5
• 硬件: 推荐使用 NVIDIA GPU 加速训练；仅 CPU 也可运行但速度较慢。

前置依赖

• TensorFlow (GPU 版推荐): tensorflow-gpu >= 1.3.0
• Keras: >= 2.0.8
• wxPython: 用于图形化界面 (play_gui)

国内加速建议: 安装依赖时建议使用清华或阿里镜像源，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

1. 克隆项目与安装基础库

git clone <repository_url>
cd reversi-alpha-zero
pip install -r requirements.txt

若需使用 GPU 加速，请单独安装：

pip install tensorflow-gpu

2. 配置环境变量

在项目根目录创建 .env 文件，写入以下内容以指定后端：

KERAS_BACKEND=tensorflow

3. Windows 用户额外步骤

若你在 Windows 上运行，请确保：

1. 安装 Python 3.5 (64-bit)。
2. 安装 Visual C++ 2015 Build Tools。
3. 修改 src/reversi_zero/agent/player.py 第一行为：from asyncio.futures import Future。
4. 全局替换代码中的 f-string (如 f"{var}") 为 "{0}".format(var) 格式。

---

基本使用

1. 下载预训练模型（可选）

若想直接体验最强模型或从断点继续，可下载已有模型。 下载最强模型 (Challenge 5):

sh ./download_model.sh 5

下载基础最佳模型:

sh ./download_best_model.sh

(Windows 用户若无 bash 环境，可手动下载对应文件至 data/model/ 目录)

2. 开始自我对弈生成数据 (Self-Play)

启动自我对弈进程，利用当前最佳模型生成训练数据。若无模型，会自动创建随机模型。

python src/reversi_zero/run.py self

• --new: 强制创建新的随机最佳模型。
• -c config/ch5.yml: 指定配置文件。

3. 训练模型 (Trainer)

启动训练进程，利用生成的数据进行模型迭代。

python src/reversi_zero/run.py opt

• --total-step 10000: 指定总训练步数。

4. 评估模型 (Evaluator)

评估新一代模型是否优于当前最佳模型（AlphaGo Zero 模式需要此步骤）。

python src/reversi_zero/run.py eval

5. 图形化对战 (Play GUI)

启动图形界面，人类玩家可与最佳模型对战。

python src/reversi_zero/run.py play_gui

• Mac 用户注意: 若报错，可能需要重装支持 Framework 的 Python： env PYTHON_CONFIGURE_OPTS="--enable-framework" pyenv install 3.6.3
• Anaconda 用户: 建议使用 pythonw src/reversi_zero/run.py play_gui。

界面说明：

• 左上角数字：访问次数 (Visit Count)。
• 左下角数字：Q 值 (胜率评估，已乘以 100)。

6. 接入 NBoard 引擎 (高级)

若需在专业的 NBoard 软件中运行此 AI：

# 在 NBoard 中添加引擎命令
nboard_engine -c config/ch5.yml