AlphaZero-Gomoku

这是AlphaZero算法的一个实现，用于通过纯自我对弈训练来下简单的棋类游戏五子棋（也称为Gobang或Five in a Row）。五子棋比围棋或国际象棋简单得多，因此我们可以专注于AlphaZero的训练方案，并在几小时内用一台普通PC就得到一个相当不错的AI模型。

参考文献：

1. AlphaZero：通过通用强化学习算法的自我对弈掌握国际象棋和将棋
2. AlphaGo Zero：无需人类知识即可掌握围棋

更新 2018年2月24日：支持使用TensorFlow进行训练！

更新 2018年1月17日：支持使用PyTorch进行训练！

训练好的模型之间的对局示例

• 每步走法进行400次MCTS模拟：

环境要求

要与训练好的AI模型对弈，只需：

• Python >= 2.7
• Numpy >= 1.11

若要从零开始训练AI模型，则还需要以下任一环境：

• Theano >= 0.7 和 Lasagne >= 0.1 或
• PyTorch >= 0.2.0 或
• TensorFlow

注：如果你的Theano版本高于0.7，请按照此issue安装Lasagne；否则，请强制使用pip将Theano降级到0.7版本：pip install --upgrade theano==0.7.0

如果你想使用其他深度学习框架来训练模型，只需重写policy_value_net.py文件即可。

快速入门

要使用提供的模型进行对弈，请在目录下运行以下脚本：

python human_play.py

你可以修改human_play.py以尝试不同的预训练模型或纯MCTS算法。

要使用Theano和Lasagne从零开始训练AI模型，直接运行：

python train.py

如果使用PyTorch或TensorFlow，首先需要修改train.py文件，即注释掉以下行：

from policy_value_net import PolicyValueNet  # Theano and Lasagne

并取消注释以下行之一：

# from policy_value_net_pytorch import PolicyValueNet  # Pytorch
或
# from policy_value_net_tensorflow import PolicyValueNet # Tensorflow

然后执行：python train.py。 （若要在PyTorch中使用GPU，请设置use_gpu=True，并且如果你的PyTorch版本高于0.5，在policy_value_net_pytorch.py中的train_step函数中使用return loss.item(), entropy.item()）

模型（best_policy.model和current_policy.model）会在每隔几次更新后保存（默认每50次）。

注意：提供的4个模型是使用Theano/Lasagne训练的，若要用PyTorch加载它们，请参阅issue 5。

训练提示：

1. 建议从6×6棋盘、4子连珠开始。在这种情况下，大约2小时内完成500~1000局自我对弈，就能得到一个相当不错的模型。
2. 对于8×8棋盘、5子连珠的情况，可能需要2000~3000局自我对弈才能得到较好的模型，这在单台PC上大约需要2天时间。

更多阅读

我的一篇中文文章详细介绍了该实现的一些细节：https://zhuanlan.zhihu.com/p/32089487

AlphaZero_Gomoku 快速上手指南

AlphaZero_Gomoku 是一个基于纯自我对弈训练的 AlphaZero 算法实现，专为五子棋（Gomoku）设计。相比围棋或国际象棋，五子棋规则更简单，适合在单机上快速验证 AlphaZero 的训练流程并构建强力 AI 模型。该项目支持 Theano、PyTorch 和 TensorFlow 多种深度学习框架。

环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• Python 版本：>= 2.7 (推荐 Python 3.x)

前置依赖

根据您的需求选择安装以下依赖：

1. 仅运行预训练模型（人机对战）：

   • numpy >= 1.11

2. 从头训练 AI 模型（任选其一）：

   • 方案 A (原默认): theano >= 0.7 且 lasagne >= 0.1

     注意：若 Theano 版本 > 0.7，需参考相关 issue 安装 Lasagne，或强制降级 Theano：pip install --upgrade theano==0.7.0

   • 方案 B (推荐): pytorch >= 0.2.0
   • 方案 C: tensorflow

国内加速建议：安装 Python 包时建议使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆项目代码

   git clone https://github.com/junxiaosong/AlphaZero_Gomoku.git
   cd AlphaZero_Gomoku
   

2. 安装基础依赖

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy
   

3. 安装深度学习框架（以 PyTorch 为例） 若选择使用 PyTorch 进行训练，请安装对应版本：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision
   

   (若使用 TensorFlow 或 Theano，请替换为相应的安装命令)

基本使用

1. 体验预训练模型（人机对战）

直接运行脚本即可与内置的强 AI 对弈（默认使用 Theano/Lasagne 训练的模型）：

python human_play.py

提示：您可以修改 human_play.py 文件来切换不同的预训练模型或尝试纯 MCTS 模式。

2. 从头训练 AI 模型

使用 PyTorch 或 TensorFlow 训练

由于默认配置指向 Theano，使用前需修改 train.py 文件：

1. 打开 train.py。

2. 注释掉 Theano 相关的导入行：

   # from policy_value_net import PolicyValueNet  # Theano and Lasagne
   

3. 取消注释 您所使用的框架对应的行：

   from policy_value_net_pytorch import PolicyValueNet  # Pytorch
   # 或者
   # from policy_value_net_tensorflow import PolicyValueNet # Tensorflow
   

4. (可选) 若使用 PyTorch 且版本 > 0.5 并希望启用 GPU，请在 policy_value_net_pytorch.py 的 train_step 函数中设置 use_gpu=True 并确保返回值为 loss.item(), entropy.item()。

5. 执行训练：

   python train.py
   

使用 Theano 训练

无需修改代码，直接运行：

python train.py

训练建议：

• 快速验证：建议从 6x6 棋盘、四子连珠开始。约 2 小时（500~1000 局自我对弈）即可获得不错的模型。
• 标准配置：8x8 棋盘、五子连珠通常需要 2000~3000 局自我对弈，单机耗时约 2 天。
• 模型文件（best_policy.model 和 current_policy.model）默认每 50 次更新保存一次。

注：项目提供的 4 个预训练模型是基于 Theano/Lasagne 训练的。若需在 PyTorch 环境下加载这些特定模型，请参考项目 Issue #5 进行格式转换。