令人惊叹的游戏AI

这是一份精心整理但并不完整的、关于多智能体学习的游戏AI资源列表。

如果您希望为本列表贡献力量，欢迎随时提交拉取请求。您也可以联系 daochen.zha@rice.edu 或 khlai@rice.edu。

:loudspeaker: 最新消息：请查看我们开源的【大型时间序列模型（LTSM）】！GitHub链接

:loudspeaker: 您听说过以数据为中心的人工智能吗？请参阅我们的【以数据为中心的人工智能综述】和【以数据为中心的人工智能优秀资源】！

什么是游戏AI？

游戏AI专注于根据当前的游戏状态预测应采取的动作。通常，大多数游戏都会内置某种形式的AI，这些AI表现为游戏中的角色或玩家。对于一些热门游戏，如《星际争霸》和《Dota 2》，开发者花费了多年时间设计和优化AI，以提升玩家的游戏体验。

单智能体与多智能体

在单智能体环境中，针对游戏AI的研究和成果已经非常丰富，例如，在Atari游戏中成功应用了深度Q学习。其他例子还包括超级马里奥、我的世界以及Flappy Bird等。

相比之下，多智能体环境更具挑战性，因为每个玩家都需要考虑其他玩家的行动。近年来，随着强化学习技术的发展，多智能体游戏AI取得了显著进展。2015年，AlphaGo首次在标准19×19围棋盘上战胜了职业棋手；2017年，AlphaZero从零开始自学，掌握了国际象棋、将棋和围棋。近年来，研究人员又将目光投向扑克类游戏，如Libratus、DeepStack和DouZero等，这些项目在德州扑克和中国斗地主中都达到了专家级水平。如今，借助深度强化学习，研究人员还在《Dota 2》和《星际争霸2》中实现了接近人类水平的AI表现。

完全信息与不完全信息

完全信息博弈是指所有玩家都能获取相同的信息，例如围棋、国际象棋和五子棋。而不完全信息博弈则意味着玩家无法观察到游戏的全部状态。比如在纸牌游戏中，玩家无法看到其他玩家的手牌。因此，不完全信息博弈往往具有更高的复杂性和更多的可能性。

本资源包含哪些内容？

本仓库汇集了大量关于多智能体学习的游戏AI资源，涵盖完全信息和不完全信息两类游戏，包括但不限于开源项目、综述论文、研究论文、会议及竞赛等。资源按游戏分类，并按年份排序。

目录

• 开源项目
  • 通用工具包
  • 德州扑克
  • 斗地主
  • 星际争霸
  • 围棋
  • 五子棋
  • 国际象棋
  • 中国象棋
• 综述与通用论文
• 研究论文
  • 博彩类游戏
  • 斗地主
  • 麻将
  • 桥牌
  • 围棋
  • 星际争霸
• 会议与研讨会
• 比赛
• 相关列表

开源项目

通用工具包

• RLCard：用于卡牌游戏强化学习的工具包 [论文] [代码]。
• OpenSpiel：适用于各类游戏的强化学习框架 [论文] [代码]。
• Unity ML-Agents 工具包 [论文] [代码]。
• Alpha Zero General [代码]。

德州扑克项目

• DeepStack-Leduc [论文] [代码]。
• DeepHoldem [代码]。
• OpenAI Gym 无限制德州扑克环境，专为强化学习设计 [代码]。
• PyPokerEngine [代码]。
• DeepMind开发的扑克机器人，可用于PokerStars和Partypoker [代码]。

斗地主项目

• PerfectDou：通过完美信息蒸馏技术称霸斗地主 [代码]。
• DouZero：利用自我对弈的深度强化学习掌握斗地主 [代码]。
• 基于强化学习的斗地主AI [代码]。
• 结合组合Q学习的斗地主AI [论文] [代码]。
• 斗地主AI [代码]。
• 斗地主AI的设计与实现 [代码]。

星际争霸项目

• StarCraft II 学习环境 [论文] [代码]。
• Gym StarCraft [代码]。
• StarCraft II 强化学习示例 [代码]。
• 关于DeepMind星际争霸AI环境的指南 [代码]。
• 基于DI-engine重新实现的AlphaStar，并附带训练好的模型 [代码]。

围棋项目

• ELF：一个基于AlphaGoZero/AlphaZero重写的平台，用于游戏研究 [代码] [论文]。

五子棋项目

• AlphaZero-Gomoku [代码]。
• gobang [代码]。

国际象棋项目

• Chess-Alpha-Zero [代码]。
• Deep Pink [代码]。
• Simple chess AI [代码]。

中国象棋项目

• CCZero (中国象棋Zero) [代码]。

麻将项目

• pymahjong（日本立直麻将）[代码]。
• Mortal [代码]。

综述与通用论文

• 不完全信息博弈中的自我对弈深度强化学习，arXiv 2016 [论文]。
• 多智能体强化学习：综述，2010年 [论文]。
• 合作与竞争性多智能体学习概述，LAMAS 2005 [论文]。
• 多智能体强化学习：批判性综述，2003年 [论文]。

研究论文

投注类游戏

投注类游戏是扑克游戏中最受欢迎的形式之一。列表包括Goofspiel、库恩扑克、勒杜克扑克和德州扑克。

• 神经元复制动力学，arXiv 2019 [论文]。
• 基于可利用性下降的顺序对抗性博弈近似均衡计算，IJCAI 2019 [论文]。
• 通过折扣后悔最小化求解不完全信息博弈，AAAI 2019 [论文]。
• 深度反事实后悔最小化，ICML 2019 [论文]。
• 部分可观测多智能体环境中的演员—评论家策略优化，NeurIPS 2018 [论文]。
• 不完全信息博弈的安全嵌套子博弈求解，NeurIPS 2018 [论文]。
• DeepStack：无限制头寸单挑扑克中的专家级人工智能，Science 2017 [论文]。
• 多智能体强化学习的统一博弈论方法，NeurIPS 2017 [论文]。
• 扑克-CNN：使用卷积网络在扑克游戏中进行跟注和下注的模式学习策略 [论文]。
• 不完全信息博弈中的自我对弈深度强化学习，arXiv 2016 [论文]。
• 广义形式博弈中的虚构自我对弈，ICML 2015 [论文]。
• 解决头寸限注德州扑克，IJCAI 2015 [论文]。
• 不完全信息博弈中的后悔最小化，NeurIPS 2007 [论文]。

斗地主

• PerfectDou：通过完美信息蒸馏统治斗地主，NeurIPS 2022 [论文] [代码]。
• DouZero：通过自我对弈深度强化学习掌握斗地主，ICML 2021 [论文] [代码]。
• DeltaDou：通过自我对弈达到专家级斗地主AI，IJCAI 2019 [论文]。
• 斗地主的组合Q学习，arXiv 2019 [论文] [代码]。
• 斗地主牌戏中的确定化与信息集蒙特卡洛树搜索，CIG 2011 [论文]。

麻将

• 强化学习中的变分oracle引导，ICLR 2022 [论文]。
• Suphx：用深度强化学习掌握麻将，arXiv 2020 [论文]。
• 在多人麻将游戏中构建基于马尔可夫决策过程抽象的人工智能玩家的方法，arXiv 2019 [论文]。
• 基于蒙特卡洛模拟和对手模型的计算机麻将玩家开发，IEEE CIG 2017 [论文]。

桥牌

• 提升桥牌人工智能，ICTAI 2017 [论文]。

围棋

• 不依赖人类知识掌握围棋，Nature 2017 [论文]。
• 使用深度神经网络和树搜索掌握围棋，Nature 2016 [论文]。
• 计算机围棋中的时序差分搜索，机器学习，2012年 [论文]。
• 计算机围棋中的蒙特卡洛树搜索和快速动作价值估计，人工智能，2011年 [论文]。
• 计算围棋中走法模式的“elo评分”，ICGA期刊，2007年 [论文]。

星际争霸

• 使用多智能体强化学习达到星际争霸II的大师级水平，Nature 2019 [论文]。
• 关于星际争霸完整游戏的强化学习，AAAI 2019 [论文]。
• 稳定化深度多智能体强化学习的经验回放，ICML 2017 [论文]。
• 星际争霸中多单位作战的合作强化学习，SSCI 2017 [论文]。
• 使用深度学习从重播中学习星际争霸中的宏观管理，CIG 2017 [论文]。
• 将强化学习应用于即时战略游戏《星际争霸：母巢之战》中的小规模战斗，CIG 2012 [论文]。

会议与研讨会

• IEEE计算智能与游戏会议（CIG）
• AAAI游戏强化学习研讨会
• 打通博弈论与深度学习
• IJCAI 2018计算机游戏研讨会
• IEEE游戏会议（CoG）

竞赛

• 国际计算机游戏协会（ICGA）
• 年度计算机扑克竞赛

相关列表

• Awesome StarCraft AI
• Awesome Deep Reinforcement Learning

awesome-game-ai 快速上手指南

awesome-game-ai 并非一个单一的可安装软件包，而是一个精选的游戏人工智能（多智能体学习）资源列表。它汇集了开源项目、研究论文、工具包及竞赛信息，涵盖德州扑克、斗地主、星际争霸、围棋等完美与非完美信息博弈场景。

本指南将指导开发者如何利用该列表中的核心统一工具包（如 RLCard 或 OpenSpiel）快速搭建环境并运行第一个多智能体游戏 AI 示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+), macOS, 或 Windows (建议配合 WSL2 使用)
• Python 版本: 3.7 - 3.10 (多数深度学习库对最新 Python 版本支持尚在完善中)
• 前置依赖:
  • git: 用于克隆代码仓库
  • pip: Python 包管理工具
  • CMake & Build Essentials: 部分底层库编译需要 (Linux: sudo apt-get install build-essential cmake)
  • SWIG: 部分接口绑定需要 (Linux: sudo apt-get install swig)

国内加速建议： 建议使用清华源或阿里源加速 Python 包安装：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于该仓库是资源列表，我们推荐安装其中最具代表性的通用工具包 RLCard (专注于卡牌类游戏多智能体强化学习) 或 OpenSpiel (DeepMind 出品的通用博弈框架)。以下以 RLCard 为例，因为它对中文开发者友好的斗地主、麻将等项目支持较好且安装简便。

1. 克隆资源列表（可选，用于查阅具体项目代码）

如果您想浏览列表中特定游戏（如 DouZero, PerfectDou）的源码，可先克隆主仓库：

git clone https://github.com/datamllab/awesome-game-ai.git
cd awesome-game-ai

2. 安装 RLCard 工具包

直接通过 pip 安装稳定版：

pip install rlcard

若需安装包含所有环境依赖的完整版本（推荐）：

pip install 'rlcard[all]'

注意：如果您想尝试列表中的 OpenSpiel，由于其编译依赖复杂，建议参考其官方文档或使用预编译包：

pip install open-spiel

基本使用

以下示例展示如何使用 RLCard 快速加载一个斗地主 (Dou Dizhu) 环境，并运行一个随机智能体进行交互。这是验证环境是否就绪的最快方式。

示例：运行斗地主随机对战

创建一个名为 quick_start.py 的文件，写入以下代码：

import rlcard
from rlcard.agents import RandomAgent

# 1. 初始化环境
# 支持的游戏包括：'doudizhu', 'mahjong', 'texasholdem', 'goofspiel' 等
env = rlcard.make('doudizhu')

# 2. 初始化智能体
# 这里使用随机智能体作为示例，实际项目中可替换为 DQN, CFR 等算法智能体
agents = [RandomAgent(num_actions=env.num_actions) for _ in range(env.num_players)]

# 3. 设置智能体到环境
env.set_agents(agents)

# 4. 运行一个回合 (Episode)
print("开始一局斗地主...")
time_step = env.reset()

while not time_step.is_done():
    # 获取当前玩家
    current_player = env.get_player_id()
    
    # 智能体根据当前状态选择动作
    action = agents[current_player].step(time_step)
    
    # 环境执行动作并返回新状态
    time_step = env.step(action)

# 5. 输出结果
rewards = env.get_payoffs()
print(f"游戏结束。各玩家收益: {rewards}")

运行代码

在终端执行：

python quick_start.py

如果看到“游戏结束”及收益输出，说明环境配置成功。您可以前往 awesome-game-ai 列表中的 Open-Source Projects 部分，查找特定游戏（如 DouZero 或 PerfectDou）的仓库链接，克隆对应项目以复现顶尖的 AI 模型。