中国象棋Zero（CCZero）

关于

基于AlphaZero方法的中国象棋强化学习。

本项目主要基于以下资源：

1. DeepMind于10月19日发表的论文：《无需人类知识即可掌握围棋游戏》（https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ）。
2. @mokemokechicken/@Akababa/@TDteach在他们的仓库中对Reversi/Chess/中国象棋进行的出色开发工作：https://github.com/mokemokechicken/reversi-alpha-zero，https://github.com/Akababa/Chess-Zero，https://github.com/TDteach/AlphaZero_ChineseChess。
3. 一款带有GUI的中国象棋引擎：https://github.com/mm12432/MyChess

帮助训练

为了构建一个遵循与AlphaZero相同技术路线的强大中国象棋AI，我们需要以分布式项目的形式来进行，因为这需要大量的计算资源。

如果您想加入我们，共同打造世界上最好的中国象棋AI：

• 指导说明请参见wiki
• 实时状态请访问https://cczero.org

环境

• Python 3.6.3
• tensorflow-gpu: 1.3.0
• Keras: 2.0.8

模块

强化学习

该AlphaZero实现由两个工作进程组成：“self”和“opt”。

• “self”是自我对弈模块，通过使用BestModel进行自我对弈来生成训练数据。
• “opt”是训练器模块，用于训练模型并生成新模型。

为了加快训练速度，还涉及另外两个工作进程：

• “sl”是监督学习模块，用于训练从互联网上抓取的数据。
• “eval”是评估器模块，用于用当前的BestModel评估NextGenerationModel。

内置GUI

要求：pygame

python cchess_alphazero/run.py play

截图

您可以选择不同的棋盘/棋子样式和对弈双方，详见与人类对弈。

使用方法

设置

安装库

pip install -r requirements.txt

如果您只想使用CPU，请将requirements.txt中的tensorflow-gpu替换为tensorflow。

确保Keras使用TensorFlow，并且您已安装Python 3.6.3及以上版本。

配置

PlayDataConfig

• nb_game_in_file, max_file_num: 训练数据的最大局数为nb_game_in_file * max_file_num。

PlayConfig、PlayWithHumanConfig

• simulation_num_per_move：每步的MCTS模拟次数。
• c_puct：MCTS中价值网络与策略网络的平衡参数。
• search_threads：MCTS中速度与精度的平衡参数。
• dirichlet_alpha：自我对弈中的随机参数。

完整使用

usage: run.py [-h] [--new] [--type TYPE] [--total-step TOTAL_STEP]
              [--ai-move-first] [--cli] [--gpu GPU] [--onegreen] [--skip SKIP]
              [--ucci] [--piece-style {WOOD,POLISH,DELICATE}]
              [--bg-style {CANVAS,DROPS,GREEN,QIANHONG,SHEET,SKELETON,WHITE,WOOD}]
              [--random {none,small,medium,large}] [--distributed] [--elo]
              {self,opt,eval,play,eval,sl,ob}

positional arguments:
  {self,opt,eval,play,eval,sl,ob}
                        what to do

optional arguments:
  -h, --help            show this help message and exit
  --new                 run from new best model
  --type TYPE           use normal setting
  --total-step TOTAL_STEP
                        set TrainerConfig.start_total_steps
  --ai-move-first       set human or AI move first
  --cli                 play with AI with CLI, default with GUI
  --gpu GPU             device list
  --onegreen            train sl work with onegreen data
  --skip SKIP           skip games
  --ucci                play with ucci engine instead of self play
  --piece-style {WOOD,POLISH,DELICATE}
                        choose a style of piece
  --bg-style {CANVAS,DROPS,GREEN,QIANHONG,SHEET,SKELETON,WHITE,WOOD}
                        choose a style of board
  --random {none,small,medium,large}
                        choose a style of randomness
  --distributed         whether upload/download file from remote server
  --elo                 whether to compute elo score

自我对弈

python cchess_alphazero/run.py self

执行后，自我对弈将使用BestModel开始。如果不存在BestModel，则会创建一个新的随机模型并将其设为BestModel。自我对弈记录将存储在data/play_record中，而BestModel则存储在data/model中。

选项

• --new：创建新的BestModel
• --type mini：使用迷你配置（参见cchess_alphazero/configs/mini.py）
• --gpu '1'：指定使用哪块GPU
• --ucci：是否使用ucci引擎进行对弈（而非自我对弈，参见cchess_alphazero/worker/play_with_ucci_engine.py）
• --distributed：以分布式模式运行自我对弈，即把对弈数据上传到远程服务器，并从中下载最新模型

注1：为帮助训练，建议运行python cchess_alphazero/run.py --type distribute --distributed self（且不要修改configs/distribute.py配置文件），更多信息请参见wiki。

注2：如需在GUI中查看自我对弈记录，参见wiki。

训练器

python cchess_alphazero/run.py opt

执行后，训练将开始。系统会加载当前的BestModel。每完成一个epoch，训练好的模型将被保存为新的BestModel。

选项

• --type mini：使用迷你配置（参见cchess_alphazero/configs/mini.py）
• --total-step TOTAL_STEP：指定总步数（迷你批次数量）。总步数会影响训练的学习率。
• --gpu '1'：指定使用哪块GPU

在Tensorboard中查看训练日志

tensorboard --logdir logs/

然后访问http://<机器IP>:6006/。

与人类对弈

使用内置GUI进行对弈

python cchess_alphazero/run.py play

执行该命令后，将加载BestModel与人类对弈。

选项：

• --ai-move-first：若设置此选项，则由AI先行；否则由人类先行。
• --type mini：使用mini配置（参见cchess_alphazero/configs/mini.py）。
• --gpu '1'：指定使用的GPU。
• --piece-style WOOD：选择棋子样式，默认为WOOD。
• --bg-style CANVAS：选择棋盘样式，默认为CANVAS。
• --cli：若设置此标志，则在CLI环境中与AI对弈，而非GUI界面。

注意：在开始之前，您需要下载或找到一个字体文件（.ttc），并将其重命名为PingFang.ttc，然后放入cchess_alphazero/play_games目录。由于该字体文件过大，我已将其从本仓库中移除，但您可以从这里下载。

您也可以直接从这里下载Windows可执行文件。更多信息请参阅维基。

UCI模式

python cchess_alphazero/uci.py

如果您希望在诸如“冰河五四”等通用GUI中对弈，可以从这里下载Windows可执行文件。更多信息请参阅维基。

评估器

python cchess_alphazero/run.py eval

执行该命令后，将使用当前的BestModel对NextGenerationModel进行评估。如果NextGenerationModel尚不存在，工作进程将等待其生成，并每5分钟检查一次。

选项：

• --type mini：使用mini配置（参见cchess_alphazero/configs/mini.py）。
• --gpu '1'：指定使用的GPU。

监督学习

python cchess_alphazero/run.py sl

执行该命令后，训练将开始。系统将加载当前的SLBestModel。每完成一个epoch，训练好的模型将被保存为新的SLBestModel。

关于数据

我有两个数据来源：一是从https://wx.jcloud.com/market/packet/10479下载的数据；二是从http://game.onegreen.net/chess/Index.html爬取的数据（需使用`--onegreen`选项）。

选项：

• --type mini：使用mini配置（参见cchess_alphazero/configs/mini.py）。
• --gpu '1'：指定使用的GPU。
• --onegreen：若设置此标志，则sl_onegreen工作进程将开始训练从game.onegreen.net爬取的数据。
• --skip SKIP：若设置此标志，则索引小于SKIP的游戏将不会用于训练（仅在onegreen标志启用时有效）。

ChineseChess-AlphaZero 快速上手指南

环境准备

系统要求

• Python 3.6.3+
• TensorFlow GPU 版本：1.3.0（如需使用 CPU，可替换为 tensorflow）
• Keras：2.0.8
• 其他依赖见 requirements.txt

前置依赖

• 安装 pygame 以支持内置 GUI
• 下载字体文件 PingFang.ttc 并放入 cchess_alphazero/play_games/ 目录（可从 此处 下载）

---

安装步骤

1. 克隆项目仓库

   git clone https://github.com/NeymarL/ChineseChess-AlphaZero.git
   cd ChineseChess-AlphaZero
   

2. 安装依赖库

   pip install -r requirements.txt
   

   如果你希望使用 CPU 进行训练，请在 requirements.txt 中将 tensorflow-gpu 替换为 tensorflow。

3. 验证环境 确保 Keras 使用的是 TensorFlow 后端，并且 Python 版本为 3.6.3 或更高版本。

---

基本使用

最简单的使用示例：与 AI 对战

python cchess_alphazero/run.py play

默认会加载当前最佳模型（BestModel）与你对弈。你可以通过以下参数自定义：

• --ai-move-first: AI 先手
• --type mini: 使用轻量配置（适用于资源有限的设备）
• --gpu '1': 指定使用的 GPU 设备编号
• --piece-style WOOD: 设置棋子样式（默认为 WOOD）
• --bg-style CANVAS: 设置棋盘样式（默认为 CANVAS）
• --cli: 使用命令行界面（CLI）而非图形界面（GUI）

自我对弈（生成训练数据）

python cchess_alphazero/run.py self

该命令会使用当前 BestModel 进行自我对弈，生成训练数据并保存到 data/play_record。

模型训练（Trainer）

python cchess_alphazero/run.py opt

该命令会使用当前 BestModel 开始训练，每轮训练后会更新 BestModel。

查看训练日志（TensorBoard）

tensorboard --logdir logs/

然后访问 http://<你的机器IP>:6006/ 查看训练过程。

---

可选功能

使用 UCI 协议与其他 GUI 工具对接

python cchess_alphazero/uci.py

支持与如“冰河五四”等通用象棋 GUI 工具对接。Windows 用户可直接下载 exe 文件 使用。

监控模型性能（Evaluator）

python cchess_alphazero/run.py eval

用于评估新生成模型（NextGenerationModel）与当前 BestModel 的性能差异。

监督学习（Supervised Learning）

python cchess_alphazero/run.py sl

使用网络爬取的数据进行监督学习，支持从 game.onegreen.net 获取数据（使用 --onegreen 参数）。