PokerRL

用于扑克游戏中多智能体深度强化学习的框架。

背景

长期以来，解决不完美信息博弈的研究主要集中在遍历完整博弈树的方法上，直到最近才有所突破（参见 [0], [1], [2]， 等文献）。 近年来，一些新算法如神经虚构自我对弈（NFSP） [3], 遗憾策略梯度（RPG）[4], 深度反事实遗憾最小化（Deep CFR）[5], 以及单次深度CFR[8] 将深度（强化）学习与传统的CFR和虚构对弈等方法相结合，在仅访问博弈状态的一小部分的情况下，学习近似的纳什均衡。

PokerRL 框架

PokerRL 算法的组成部分

您的算法由相互交互的工作者（绿色）组成。训练运行的参数通过一个 TrainingProfile 实例传递（.../rl/base_cls/TrainingProfileBase）。 常见的指标，如最佳响应或人机对战表现，可以由独立的工作者（红色）定期测量。您训练好的智能体被封装在 EvalAgent 中（.../rl/base_cls/EvalAgentBase）。 您的 EvalAgent 可以在 AgentTournament 中与其他 AI 对战（.../game/AgentTournament），也可以在 InteractiveGame 中与人类玩家对战（.../game/InteractiveGame）。所有本地工作者（仅为类）只需约 4 行代码即可包装成独立的分布式工作者。

PokerRL 的某些部分仅适用于两人游戏，因为在其他场景下没有意义。然而，游戏引擎本身和智能体模块则适用于 N>1 名玩家的通用场景。

算法评估

我们提供了四种指标来评估算法：

• 最佳响应（BR） - 计算精确的可利用性（适用于小型游戏）。
• 局部最佳响应（LBR）[7] 近似 BR 的下界。
• 强化学习最佳响应（RL-BR） 通过训练 DDQN [9] 对抗该 AI 来近似 BR。
• 人机对战（H2H） - 让智能体的两种模式相互对战。

我们当前的最佳响应实现仅适用于小型游戏，而 LBR 和 QBR 则针对（非常）大型游戏的分布式计算进行了优化。作为小型游戏中的基准比较，我们还提供了未优化的 vanilla CFR [10], CFR+ [11] 和线性 CFR [12] 实现，这些实现可以像深度强化学习智能体一样运行，并将它们的可利用性绘制成 TensorBoard 图表。

性能与可扩展性

过去的一些算法主要受博弈树计算性能的限制，而基于采样的方法则主要消耗在查询神经网络上的开销。PokerRL 提供了一个强化学习环境和框架，基于此框架可以构建和运行基于深度学习的算法来解决扑克游戏。PokerRL 提供了 ray [6] 的封装，使同一份代码可以在本地、多核机器上，甚至在包含 CPU 和可能 GPU 的集群上运行。

安装

本指南将指导您在本地机器上安装并运行 PokerRL， 并说明如何将您在本地开发和测试的代码无缝部署到 AWS 集群上。

先决条件

该代码库在本地运行时与操作系统无关，但在分布式运行时仅支持 Linux，这是由于 ray 的限制所致。

本地机器上的安装

首先，请安装 Anaconda/Miniconda 和 Docker。然后运行以下命令（必要时请填写具体信息）：

conda create -n CHOOSE_A_NAME python=3.6 -y
source activate THE_NAME_YOU_CHOSE
pip install requests
conda install pytorch=0.4.1 -c pytorch

接着：

pip install PokerRL

注意：进行分布式运行时需要 Linux 系统，并且需执行 pip install PokerRL[distributed]。如果仅在本地使用，则无需此步骤。

该框架使用 PyCrayon，它是 Tensorboard 的语言无关封装。请按照其 GitHub 页面上的说明进行设置。安装 PyCrayon 后，可以通过以下命令运行并启动日志服务器：

docker run -d -p 8888:8888 -p 8889:8889 --name crayon alband/crayon
docker start crayon

现在您可以在浏览器中访问 localhost:8888 查看 TensorBoard。

运行一些测试

在包含 PokerRL 的目录中运行以下命令，以检查所有单元测试是否通过：

python -m unittest discover PokerRL/test

另一种更有趣的方式来测试您的安装是否成功，是运行 examples/interactive_user_v_user.py 与自己玩扑克，以及 examples/run_cfrp_example.py 在一个小规模扑克游戏中训练一个 CFR+ 智能体。

云与集群

PokerRL 提供了一个接口，允许完全相同的代码在本地和集群上运行，这得益于 ray 的支持。PokerRL 支持两种模式：

1. 分布式：在一台具有多核的机器上运行多个工作进程
2. 集群：在多台机器上运行多个工作进程

您可以通过切换 TrainingProfile 中的一个布尔值来启用或禁用分布式和集群模式。本节假设您使用通过 pip 安装的 PokerRL 版本来开发算法。

与分布式 PokerRL 兼容的算法示例包括这个 神经虚构自我对弈的实现 [8]。 以及这个 单次深度CFR的实现 [3]

在 AWS 实例上使用本地或分布式模式

1. 通过管理控制台启动一个符合您需求的 AWS 实例。本教程假设您的基础 AMI 是“Amazon Linux 2 AMI (HVM), SSD Volume Type”。注意：为了能够查看日志，务必在安全组中添加以下规则：

   自定义 TCP 规则   |   TCP   |   8888   |   您的 IP   |   TensorBoard
   

2. 在实例上运行以下命令：

   sudo yum update -y
   sudo yum install git gcc g++ polkit -y
   sudo amazon-linux-extras install docker -y
   sudo service docker start
   sudo docker pull alband/crayon 
   wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh -b -p /home/ec2-user/miniconda
   export PATH=/home/ec2-user/miniconda/bin:$PATH
   conda create -n PokerAI python=3.6 -y
   source activate PokerAI
   pip install requests
   conda install pytorch=0.4.1 -c pytorch -y
   pip install PokerRL[distributed]
   

3. 授予您的实例访问代码库的权限，以便后续可以执行 git pull。

4. 创建一个 AMI（即实例镜像），以便将来无需重复上述步骤。

5. 每次使用您的 AMI 启动新实例时，请执行以下命令：

   sudo service docker start
   sudo docker inspect -f {{.State.Running}} crayon || sudo docker run -d -p 8888:8888 -p 8889:8889 --name crayon alband/crayon
   sudo docker start crayon
   
   screen
   export OMP_NUM_THREADS=1
   export PATH=/home/ec2-user/miniconda/bin:$PATH
   source activate PokerAI
   source deactivate
   source activate PokerAI
   

   必须设置 OMP_NUM_THREADS=1，因为 PyTorch 0.4.1 存在一个忽略核心/进程限制的 bug。该问题在 PyTorch 1.0 中已修复，但在许多情况下，1.0 对于循环神经网络的性能反而不如 0.4.1。

6. 启动任何算法运行的常规语法应为：

   cd PATH/TO/PROJECT
   git pull
   python YOUR_SCRIPT.py
   

7. 在本地浏览器中，请访问 AWS_INSTANCE_PUBLIC_IP:8888 查看日志和结果。

在集群上部署

从分布式模式切换到集群模式仅需按照 ray 的文档进行相应更改。准备好集群配置文件（.yaml）并完成 AWS 账户设置后，在 TrainingProfile 中启用 cluster 选项，并通过命令行使用 ray 启动集群即可。

备注

提供一个可选的调试工具，可在小型游戏中绘制包含智能体策略的完整博弈树。该工具的代码由 Sebastian De Ro 编写，可从此处下载。安装方法是将 PokerViz 文件夹直接拖放到 Windows 系统的 C:/ 盘或 Linux 系统的主目录下。PokerRL 将检测到该工具已安装，并在对小型游戏运行最佳回应时导出可视化结果。要查看博弈树，进入 data 目录，将您想查看的树文件重命名为 data.js，然后打开 index.html 即可。

请注意，Python 代码会导入从 C++ 导出至 .dll 和 .so 文件的小型功能模块，分别适用于 Windows 和 Linux 系统。本仓库仅包含这些二进制文件。

引用

如果您在研究中使用了 PokerRL，可以按以下方式引用：

@misc{steinberger2019pokerrl,
    author = {Eric Steinberger},
    title = {PokerRL},
    year = {2019},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/TinkeringCode/PokerRL}},
}

作者

• Eric Steinberger

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

致谢

感谢 Alexander Mandt 帮助我们在由 64 个工作节点组成的本地集群上成功运行 ray，同时也感谢 HTL Spengergasse 提供了该集群。Sebastian De Ro 开发了一款博弈树可视化工具链接，我们将其集成到了 PokerRL 中，并用于我们用 C++ 编写的批处理扑克牌手评估器。

参考文献

[0] Zinkevich, Martin, et al. “不完全信息博弈中的后悔最小化。” 神经信息处理系统进展。2008年。

[1] Tammelin, Oskari, et al. “解决无限注德州扑克单挑赛。” IJCAI.dc 2015。

[2] Lanctot, Marc, et al. “蒙特卡洛采样在扩展式博弈中用于后悔最小化。” 神经信息处理系统进展。2009年。

[3] Heinrich, Johannes, and David Silver. “不完全信息博弈中的自我对弈深度强化学习。” arXiv 预印本 arXiv:1603.01121 (2016)。

[4] Srinivasan, Sriram, et al. “部分可观测多智能体环境中的演员-评论家策略优化。” 神经信息处理系统进展。2018年。

[5] Brown, Noam, et al. “深度反事实后悔最小化。” arXiv 预印本 arXiv:1811.00164 (2018)。

[6] https://github.com/ray-project/ray

[7] Lisy, Viliam, and Michael Bowling. “当前无限制扑克机器人均衡近似质量分析。” arXiv 预印本 arXiv:1612.07547 (2016)。

[8] Steinberger, Eric. “单一深度反事实后悔最小化。” arXiv 预印本 arXiv:1901.07621 (2019)。

[9] Wang, Ziyu, et al. “用于深度强化学习的决斗网络架构。” arXiv 预印本 arXiv:1511.06581 (2015)。

[10] Zinkevich, Martin, et al. “不完全信息博弈中的后悔最小化。” 神经信息处理系统进展。2008年。

[11] Tammelin, Oskari. “利用 CFR+ 解决不完全信息大型博弈。” arXiv 预印本 arXiv:1407.5042 (2014)。

[12] Brown, Noam, and Tuomas Sandholm. “通过折现后悔最小化解决不完全信息博弈。” arXiv 预印本 arXiv:1809.04040 (2018)。

PokerRL 快速上手指南

PokerRL 是一个用于扑克游戏多智能体深度强化学习的框架，支持从本地单机到分布式集群的无缝扩展。

环境准备

系统要求

• 本地运行：支持 Windows、macOS 和 Linux。
• 分布式/集群运行：仅支持 Linux（受限于 Ray 框架）。
• Python 版本：推荐 Python 3.6。

前置依赖

在开始之前，请确保已安装以下工具：

1. Anaconda 或 Miniconda（推荐国内镜像源安装）
2. Docker（用于运行日志服务 PyCrayon/TensorBoard）

提示：国内用户建议使用清华或阿里镜像源加速 Conda 和 Pip 下载。

• Conda 配置：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
• Pip 配置：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

1. 创建虚拟环境

打开终端，执行以下命令创建并激活名为 PokerAI 的环境：

conda create -n PokerAI python=3.6 -y
source activate PokerAI

2. 安装基础依赖

安装必要的 Python 包和 PyTorch（注意版本要求）：

pip install requests
conda install pytorch=0.4.1 -c pytorch

3. 安装 PokerRL

• 仅限本地使用：

  pip install PokerRL
  

• 如需分布式/集群功能（仅 Linux）：

  pip install PokerRL[distributed]
  

4. 配置日志可视化 (PyCrayon)

PokerRL 使用 PyCrayon 作为 TensorBoard 的语言无关包装器。需通过 Docker 启动日志服务器：

docker run -d -p 8888:8888 -p 8889:8889 --name crayon alband/crayon
docker start crayon

启动后，在浏览器访问 localhost:8888 即可查看训练日志。

5. 验证安装

运行单元测试确保安装成功：

python -m unittest discover PokerRL/test

---

基本使用

示例 1：人机对战测试

运行交互式脚本，体验自己与自己打牌（验证游戏引擎）：

python examples/interactive_user_v_user.py

2. 训练一个简单的 AI 代理

运行 CFR+ 算法在小规模扑克游戏中进行训练，并观察 TensorBoard 中的收敛曲线：

python examples/run_cfrp_example.py

3. 开发自定义算法

PokerRL 的核心是通过 TrainingProfile 传递参数。你的算法主要由以下部分组成：

• Workers (绿色)：与环境交互的智能体。
• EvalAgent：封装训练好的代理，用于评估。
• AgentTournament / InteractiveGame：用于让 AI 互相对战或与人类对战。

所有本地 Worker 类只需约 4 行代码即可包装为分布式 Worker。通过在 TrainingProfile 中切换布尔值，即可在同一套代码上实现从“单机多核”到“多机集群”的模式切换。

注意：部分评估指标（如精确 Best Response）仅适用于小型游戏；大型游戏建议使用 LBR 或 RL-BR 近似评估。