将超人类AI与人类行为对齐：以国际象棋为模型系统

网站/论文/代码/Lichess

🆕♟️🤖🚀✨ Maia-2现已发布！ 作为下一代类人国际象棋AI，它采用统一模型，能够连贯地捕捉各水平玩家的下法。

• 📄 NeurIPS 2024论文: Maia-2: 国际象棋中人机对齐的统一模型
• 💻 代码: Maia-2

---

一组模仿人类下棋风格的国际象棋引擎，覆盖ELO等级从1100到1900。

本仓库包含我们最终的9个Maia模型，保存为Leela Chess神经网络格式，并提供了生成更多模型及复现实验结果的代码。

我们的网站介绍了项目详情和团队信息。

你还可以在Lichess上与我们的三个模型对弈：

• maia1 针对ELO 1100
• maia5 针对ELO 1500
• maia9 针对ELO 1900
• MaiaMystery 用于测试Maia的新版本

我们还有一个Lichess战队，maia-bots，未来会继续添加更多机器人。

如何运行Maia

这些Maia并非完整的国际象棋引擎框架，它们只是“大脑”（权重），需要搭配“躯体”才能工作。因此，你需要使用lc0加载它们，并按照这里的说明操作。与其他大多数引擎不同的是，你需要禁用搜索功能，我们将节点数限制设为1。在UCI协议中，这表示为go nodes 1。另外需要注意的是，这些模型的实际强度通常会超过其训练时的目标等级，因为它们会选择该等级玩家的“平均”走法。

以下是直接下载模型的链接：

带有Lichess机器人的模型

目标等级	Lichess昵称	链接
1100	maia1	maia-1100.pb.gz
1500	maia5	maia-1500.pb.gz
1900	maia9	maia-1900.pb.gz

Lichess上的机器人目前仍在开发中的开局库，因为这些模型每次都会选择相同的走法。

其他模型

目标等级	链接
1200	maia-1200.pb.gz
1300	maia-1300.pb.gz
1400	maia-1400.pb.gz
1600	maia-1600.pb.gz
1700	maia-1700.pb.gz
1800	maia-1800.pb.gz

所有模型也存放在仓库的maia_weights文件夹中。

示例

在命令行中运行这些模型时，应如下所示：

:~/maia-chess$ lc0 --weights=model_files/maia-1100.pb.gz
       _
|   _ | |
|_ |_ |_| v0.26.3 built Dec 18 2020
go nodes 1
Loading weights file from: model_files/maia-1100.pb.gz
Creating backend [cudnn-auto]...
Switching to [cudnn]...
...
info depth 1 seldepth 1 time 831 nodes 1 score cp 6 tbhits 0 pv e2e4
bestmove e2e4

move_prediction/maia_chess_backend还包含LeelaEngine类，该类使用配置文件move_prediction/model_files/*/config.yaml来封装python-chess，从而允许在Python中使用这些模型。

数据集

作为分析的一部分，我们在Lichess上收集的所有带有Stockfish分析的棋局都被处理成了CSV文件。这些文件可以在这里找到这里。

代码

走法预测

要根据PGN格式的国际象棋对局数据创建属于自己的Maia：

1. 设置环境
   1. （可选）安装conda环境，使用maia_env.yml
   2. 确保已从requirements.txt中安装所有必需的软件包
2. 将PGN转换为训练格式
   1. 将pgn-extract工具添加到你的路径中
   2. 将trainingdata-tool添加到你的路径中
   3. 运行move_prediction/pgn_to_trainingdata.sh PGN_FILE_PATH OUTPUT_PATH
   4. 稍等片刻，因为处理过程既涉及IO又消耗大量CPU资源
   5. 脚本会生成训练集和验证集；若想用整个数据集训练，可将OUTPUT_PATH/validation中的文件复制到OUTPUT_PATH/training
3. 编辑move_prediction/maia_config.yml
   1. 将OUTPUT_PATH/training/*/*添加到input_train
   2. 将OUTPUT_PATH/validation/*/*添加到input_test
   3. （可选）如果有多个GPU，将gpu字段改为你正在使用的那块
   4. （可选）你也可以在此处调整其他训练参数，例如层数
4. 运行训练脚本move_prediction/train_maia.py PATH_TO_CONFIG
5. （可选）你可以使用TensorBoard观察训练进度，日志文件位于runs/CONFIG_BASENAME/目录下。
6. 训练完成后，最终模型将保存在models/CONFIG_BASENAME/目录中，其中编号最大的即为最终模型。

复现

要训练我们在论文中提出的模型，你需要从 Lichess 下载原始文件，然后将其切割成训练集，并处理为训练数据格式。这种格式与通用的训练说明类似，只是使用了我们指定的数据，因此你需要确保 trainingdata-tool 和 pgn-extract 已经添加到你的 PATH 中。

另外请注意，由于脚本中没有流程控制逻辑，可能需要手动逐行运行这些脚本。其中，move_prediction/replication-move_training_set.py 是主要的打乱和选择对局的逻辑所在。

1. 从 Lichess 下载 2017 年 1 月至 2019 年 11 月之间的棋谱，保存到 data/lichess_raw 目录。
2. 运行 move_prediction/replication-generate_pgns.sh。
3. 运行 move_prediction/replication-make_leela_files.sh。
4. 编辑 move_prediction/maia_config.yml，添加你想要训练的 Elo 等级：
   1. input_test : ../data/elo_ranges/${elo}/test
   2. output_train : ../data/elo_ranges/${elo}/train
5. 运行训练脚本 move_prediction/train_maia.py PATH_TO_CONFIG。

我们还提供了一些（但并非全部）我们测试过的配置文件。不过，我们仍然建议使用最终的配置文件 move_prediction/maia_config.yml。

如果你希望生成我们使用的测试集，可以下载 2019 年 12 月的数据，并运行 move_prediction/replication-make_testing_pgns.sh。该数据也可以作为 CSV 文件下载 这里。用于在该数据集上运行模型的脚本是 replication-run_model_on_csv.py，并且需要在 PATH 中包含 lc0 二进制文件。

漏着预测

要训练漏着预测模型，请按照以下步骤操作：

1. 设置你的环境
   1. (可选) 安装 conda 环境，使用 maia_env.yml。
2. 确保已从 requirements.txt 安装所有必要的包。
3. 运行 blunder_prediction/make_csvs.sh。
   1. 你可能需要更新路径，并且可以根据需求调整目标或使用循环。
4. 对所有 CSV 文件运行 blunder_prediction/mmap_csv.py。
5. 从 blunder_prediction/configs 中选择一个配置文件，并更新路径。
6. 运行 blunder_prediction/train_model.py CONFIG_PATH。

引用

Maia（本仓库）：

@inproceedings{mcilroyyoung2020maia,
  title={Aligning Superhuman AI with Human Behavior: Chess as a Model System},
  author={McIlroy-Young, Reid and  Sen, Siddhartha and Kleinberg, Jon and Anderson, Ashton},
  year={2020},
  booktitle={Proceedings of the 25th ACM SIGKDD international conference on Knowledge discovery and data mining}
}

Maia-2：

@inproceedings{tang2024maia,
       title={Maia-2: A Unified Model for Human-{AI} Alignment in Chess},
       author={Zhenwei Tang and Difan Jiao and Reid McIlroy-Young and Jon Kleinberg and Siddhartha Sen and Ashton Anderson},
       booktitle={The Thirty-eighth Annual Conference on Neural Information Processing Systems},
       year={2024},
       url={https://openreview.net/forum?id=XWlkhRn14K}
}

许可证

本软件采用 GPL 许可证。

联系方式

请 提交一个问题 或发送邮件至 Reid McIlroy-Young 以取得联系。

Maia-Chess 快速上手指南

Maia 是一系列模仿人类棋风的国际象棋引擎，覆盖 ELO 1100 至 1900 不同等级。与追求最强棋力的传统引擎不同，Maia 旨在复现特定水平人类玩家的平均走法，适合用于人机对齐研究或作为陪练对手。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows (需支持 LC0)
• 硬件: 推荐配备 NVIDIA GPU 以加速推理（支持 CUDA），也可在 CPU 上运行但速度较慢。
• 核心依赖:
  • LC0 (Leela Chess Zero): Maia 仅包含神经网络权重，必须通过 LC0 加载运行。
  • Python 3.7+ (如需进行训练或数据处理)
  • Git

前置依赖安装

1. 安装 LC0:

   • 访问 LC0 官方发布页 下载对应系统的二进制文件。
   • 将 lc0 可执行文件添加到系统环境变量 PATH 中。
   • 验证安装：终端输入 lc0 --version。

2. 安装 Python 环境 (可选，仅用于训练/数据处理):

   # 克隆仓库
   git clone https://github.com/CSSLab/maia-chess.git
   cd maia-chess
   
   # 创建并激活 Conda 环境 (推荐)
   conda env create -f maia_env.yml
   conda activate maia_env
   
   # 或者手动安装依赖
   pip install -r requirements.txt
   

3. 数据处理工具 (仅用于训练):

   • 安装 pgn-extract 并加入 PATH。
   • 安装 trainingdata-tool 并加入 PATH。

安装步骤

Maia 无需编译安装，只需下载预训练的权重文件即可使用。

1. 下载模型权重: 根据目标等级选择对应的 .pb.gz 文件下载。以下是常用模型的直接下载链接：

   目标等级 (ELO)	文件名	下载链接
   1100	maia-1100.pb.gz	下载
   1500	maia-1500.pb.gz	下载
   1900	maia-1900.pb.gz	下载

   注：完整模型列表可在仓库的 maia_weights 文件夹或 Release 页面找到。

2. 目录结构建议: 建议将下载的权重文件放入统一目录，例如 model_files/：

   mkdir model_files
   mv ~/Downloads/maia-1100.pb.gz model_files/
   

基本使用

Maia 需要通过 LC0 启动，并关键性地禁用搜索功能（设置节点数为 1），以模拟人类直觉而非深度计算。

命令行运行示例

在终端中进入模型所在目录，运行以下命令（以 1100 等级为例）：

lc0 --weights=model_files/maia-1100.pb.gz

启动后，LC0 会加载权重并进入 UCI 协议交互模式。输入以下命令让引擎走出一步棋：

go nodes 1

输出示例:

       _
|   _ | |
|_ |_ |_| v0.26.3 built Dec 18 2020
go nodes 1
Loading weights file from: model_files/maia-1100.pb.gz
Creating backend [cudnn-auto]...
Switching to [cudnn]...
...
info depth 1 seldepth 1 time 831 nodes 1 score cp 6 tbhits 0 pv e2e4
bestmove e2e4

注意：go nodes 1 是核心参数，切勿省略或更改，否则引擎将表现出超人类的计算能力。

在 Python 中使用

项目提供了 LeelaEngine 类以便在 Python 中集成。确保已安装 python-chess 及相关依赖：

from move_prediction.maia_chess_backend import LeelaEngine

# 初始化引擎，指向配置文件和权重
# 需确保 move_prediction/model_files/*/config.yaml 存在且配置正确
engine = LeelaEngine(weights_path="model_files/maia-1100.pb.gz")

# 获取最佳走法 (内部自动处理 nodes=1 逻辑)
best_move = engine.get_best_move(fen_position="rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq - 0 1")
print(best_move)

在线对弈

如果不想本地部署，可直接在 Lichess 上与官方机器人对弈：

• 1100 分: @maia1
• 1500 分: @maia5
• 1900 分: @maia9