简介

基于AlphaGo Zero方法的国际象棋强化学习。

该项目主要参考了以下资源：

1. DeepMind于2017年10月19日发表的论文：《无需人类知识即可掌握围棋》（https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ）。
2. @mokemokechicken在其仓库中对DeepMind思想进行的精彩实现：https://github.com/mokemokechicken/reversi-alpha-zero。
3. DeepMind最近发布了AlphaGo Zero的新版本（现称为AlphaZero），该版本从零开始掌握了国际象棋： https://arxiv.org/pdf/1712.01815.pdf。事实上，在国际象棋领域，AlphaZero仅用4小时（30万步）就超越了Stockfish！太惊人了！

更多详情请参阅wiki。

注

我是这个仓库的创建者。我和一些合作者尽了最大努力（https://github.com/Zeta36/chess-alpha-zero/graphs/contributors），但发现单机进行自我对弈的成本实在太高。监督学习效果不错，但我们从未单独尝试过自我对弈。

无论如何，我想提一下，我们已经迁移到一个新的仓库，那里有许多人正在开发分布式版的AZ国际象棋引擎（使用C++实现的蒙特卡洛树搜索）：https://github.com/glinscott/leela-chess。

项目已接近完成，每个人只需运行一个预编译好的Windows或Linux应用程序即可参与。在这个项目中大家付出了巨大的努力，我相信通过分布式协作，我们很快就能复现DeepMind的研究成果。

因此，我呼吁所有希望看到能够击败Stockfish的神经网络UCI引擎的人，前往那个仓库并贡献自己的计算资源。

环境

• Python 3.6.3
• tensorflow-gpu: 1.3.0
• Keras: 2.0.8

新结果（在@Akababa大量修改后）

通过使用约1万盘棋局的监督学习数据，我训练了一个包含7个残差块、每块256个滤波器的模型，其大致 Elo 等级为1200，每次走棋进行1200次模拟。MCTS 的一大优势在于它能很好地随着计算能力的提升而扩展。

这里是一个例子：我执黑与仓库中的模型（白方）对弈：

这里又是一个例子：我执白（Elo 约2000）与本仓库中的模型（黑方）对弈：

初步“良好”结果

借助我新创建的监督学习步骤，我已经能够训练出一个似乎正在学习国际象棋开局策略的模型。此外，该模型也开始避免轻易丢子。

这里是我与该模型（AI执黑）对弈的一盘棋：

接下来是一盘由@bame55训练的棋局（AI执白）：

这台模型仅经过‘opt’工作进程5轮迭代后，‘eval’工作进程就已更换了4次最佳模型（总共5次中有4次）。目前‘opt’工作进程的损失值为5.1，并且仍在持续收敛。

模块

监督学习

我设计了一套新的监督学习流程，用于将互联网上可获得的PGN格式棋谱文件作为训练数据源。 这种监督学习方法也曾被最初的AlphaGo所采用。或许国际象棋是一项较为复杂的棋类游戏，我们需要先对策略模型进行预训练，然后再启动自我对弈过程——也就是说，单独依靠自我训练可能对国际象棋来说过于复杂。

要使用这套新的SL流程，只需在启动时将原本的“self”工作进程替换为“sl”工作进程即可。 当模型通过SL训练数据达到足够收敛后，停止“sl”工作进程，再启动“self”工作进程，这样模型就可以开始利用自我对弈产生的数据进一步优化自身。

python src/chess_zero/run.py sl

若要使用这一新的SL步骤，你需要下载大量的PGN格式棋谱文件，并将其放入data/play_data目录中。（例如，http://ficsgames.org/download.html 是一个不错的数据来源。）你还可以使用SCID软件，按选手ELO等级、比赛结果等条件筛选棋谱。

为避免过拟合，建议使用至少3000盘棋谱的数据集，并且最多运行3–4轮迭代。

强化学习

本AlphaGo Zero实现包含三个工作进程：self、opt和eval。

• self负责自我对弈，利用当前最佳模型生成训练数据。
• opt是训练师，负责训练模型并生成下一代模型。
• eval是评估师，用于判断下一代模型是否优于当前的最佳模型。如果更好，则替换当前的最佳模型。

分布式训练

现在可以以分布式方式训练模型。只需使用以下新参数：

• --type distributed：用于测试的迷你配置（参见src/chess_zero/configs/distributed.py）。

因此，若想为分布式团队贡献力量，只需在本地运行以下三个工作进程：

python src/chess_zero/run.py self --type distributed （或 python src/chess_zero/run.py sl --type distributed）
python src/chess_zero/run.py opt --type distributed
python src/chess_zero/run.py eval --type distributed

GUI

• uci会启动通用国际象棋接口，以便在GUI中使用。

要将ChessZero与GUI配合使用，只需指向C0uci.bat文件（或将其重命名为.sh文件）。 例如，下图展示了随机模型利用Arena软件的自我对弈功能时的界面截图：

数据

• data/model/model_best_*：当前最佳模型。
• data/model/next_generation/*：下一代模型。
• data/play_data/play_*.json：生成的训练数据。
• logs/main.log：日志文件。

若要从头开始训练模型，请删除上述目录。

使用方法

设置

安装依赖库

pip install -r requirements.txt

如果需要使用 GPU，请按照 这些说明 使用 pip3 进行安装。

请确保 Keras 使用的是 TensorFlow，并且 Python 版本为 3.6.3 或更高。根据你的环境，可能需要使用 python3/pip3 而不是 python/pip。

基本用法

训练模型时，依次执行 Self-Play、Trainer 和 Evaluator。

注意：请确保从本仓库的顶级目录运行脚本，即 python src/chess_zero/run.py opt，而不是 python run.py opt。

Self-Play

python src/chess_zero/run.py self

执行时，Self-Play 将会使用 BestModel 开始对局。如果 BestModel 不存在，则会创建一个新的随机模型并将其设为 BestModel。

参数选项

• --new: 创建一个新的 BestModel
• --type mini: 使用 mini 配置进行测试（参见 src/chess_zero/configs/mini.py）

Trainer

python src/chess_zero/run.py opt

执行时，训练将开始。基础模型将从最近保存的下一代模型中加载；如果不存在，则使用 BestModel。每完成一个 epoch，训练后的模型都会被保存。

参数选项

• --type mini: 使用 mini 配置进行测试（参见 src/chess_zero/configs/mini.py）
• --total-step: 指定总的步数（mini-batch 数量）。总步数会影响训练的学习率。

Evaluator

python src/chess_zero/run.py eval

执行时，评估将开始。它会通过大约 200 局对局来评估 BestModel 和最新的下一代模型。如果下一代模型获胜，则其将成为 BestModel。

参数选项

• --type mini: 使用 mini 配置进行测试（参见 src/chess_zero/configs/mini.py）

提示与内存管理

GPU 内存

通常情况下，内存不足会导致警告而非错误。如果出现错误，请尝试修改 src/configs/mini.py 中的 vram_frac：

self.vram_frac = 1.0

减小 batch_size 可以降低 opt 的内存占用。可以尝试调整 MiniConfig 中的 TrainerConfig#batch_size。

Chess-Alpha-Zero 快速上手指南

Chess-Alpha-Zero 是一个基于 AlphaGo Zero 算法的国际象棋强化学习开源项目。它通过自我对弈（Self-Play）和监督学习（Supervised Learning）训练神经网络模型，旨在不依赖人类先验知识的情况下掌握国际象棋。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 Windows (推荐 Linux)
• Python 版本: 3.6.3 或更高版本
• 深度学习框架:
  • TensorFlow-GPU: 1.3.0 (如需使用 GPU 加速)
  • Keras: 2.0.8
• 硬件建议: 虽然可以在 CPU 上运行，但训练过程计算量巨大，强烈建议使用 NVIDIA GPU。

注意：本项目依赖较旧版本的 TensorFlow 和 Keras。如果您遇到兼容性问题，建议创建独立的 Python 虚拟环境。

安装步骤

1. 克隆仓库 首先将代码克隆到本地：

   git clone https://github.com/kmader/chess-alpha-zero.git
   cd chess-alpha-zero
   

2. 安装依赖 使用 pip 安装所需库。国内用户推荐使用清华源或阿里源以加速下载：

   # 使用默认源
   pip install -r requirements.txt
   
   # 或使用国内镜像源（推荐）
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置 GPU (可选) 如果您计划使用 GPU 进行训练，请确保已按照 TensorFlow 官方指南 正确安装了 tensorflow-gpu。 验证 Keras 是否正在使用 TensorFlow 后端，并确认 Python 版本符合要求。在某些环境中，可能需要使用 python3 和 pip3 命令。

基本使用

本项目的核心流程包含三个主要工作进程：自我对弈 (self)、训练 (opt) 和 评估 (eval)。

重要提示：所有命令必须在仓库的根目录下执行。 正确示例：python src/chess_zero/run.py opt 错误示例：python run.py opt (不要在 src 目录下直接运行)

1. 启动自我对弈 (Self-Play)

该进程使用当前最佳模型（BestModel）进行自我对弈，生成训练数据。如果不存在最佳模型，系统将自动创建一个随机模型作为初始最佳模型。

python src/chess_zero/run.py self

• --new: 强制创建一个新的随机最佳模型。
• --type mini: 使用迷你配置文件进行测试（详见 src/chess_zero/configs/mini.py），适合快速验证环境。

2. 启动训练器 (Trainer)

该进程读取自我对弈生成的数据，训练神经网络并生成下一代模型。

python src/chess_zero/run.py opt

• 系统会自动加载最新保存的下一代模型作为基础；若不存在，则使用最佳模型。
• 训练后的模型会在每个 epoch 结束后保存。
• --total-step: 指定总的训练步数（mini-batch 数量），这将影响学习率。

3. 启动评估器 (Evaluator)

该进程通过让“最佳模型”与“最新一代模型”进行约 200 局对弈来评估性能。如果新一代模型获胜，它将取代当前的最佳模型。

python src/chess_zero/run.py eval

进阶：使用监督学习预训练 (可选)

由于国际象棋复杂度较高，纯自我对弈收敛较慢。项目支持使用人类棋谱（PGN 文件）进行监督学习预训练。

1. 下载大量 PGN 棋谱文件（例如来自 FICS），放入 data/play_data 文件夹。
2. 运行监督学习进程：

   python src/chess_zero/run.py sl
   

3. 待模型收敛后，停止 sl 进程，转而运行 self 进程开始自我对弈强化。

对接图形界面 (GUI)

您可以将训练好的模型作为 UCI 引擎接入任何国际象棋 GUI（如 Arena, ChessBase 等）。

• 运行 UCI 接口：

  python src/chess_zero/run.py uci
  

• 在 GUI 软件中，将引擎路径指向项目根目录下的 C0uci.bat (Windows) 或对应的 shell 脚本。

分布式训练

若有多台机器协作，可添加 --type distributed 参数分别在三台机器（或同一机器的不同终端）上运行上述三个进程：

python src/chess_zero/run.py self --type distributed
python src/chess_zero/run.py opt --type distributed
python src/chess_zero/run.py eval --type distributed

显存优化提示

如果在运行过程中遇到显存不足（OOM）导致的错误或警告：

1. 修改 src/chess_zero/configs/mini.py (或您使用的配置文件)，减小 vram_frac 的值：

   self.vram_frac = 0.5  # 尝试降低此比例，默认为 1.0
   

2. 减小训练器的 batch_size 配置项，以降低 opt 进程的显存占用。