OpenSpiel：用于游戏强化学习的框架

OpenSpiel 是一个用于通用强化学习以及游戏中搜索和规划研究的环境与算法集合。OpenSpiel 支持多玩家（单智能体和多智能体）的零和、合作和一般和博弈，支持一次性博弈和序列博弈，支持严格轮流行动和同时行动，支持完美信息和不完美信息博弈，同时也支持传统的多智能体环境，例如（部分可观测和完全可观测）网格世界和社会困境。OpenSpiel 还包含用于分析学习动态和其他常见评估指标的工具。游戏被表示为程序化的扩展形式博弈，并进行了一些自然扩展。核心 API 和游戏使用 C++ 实现，并暴露给 Python 使用。算法和工具则同时用 C++ 和 Python 编写。

如需在 Google Colaboratory 中试用 OpenSpiel，请参阅 open_spiel/colabs 子目录，或从 这里 开始。

目录

请从以下选项中选择：

• 安装 OpenSpiel
• OpenSpiel 简介
• API 概览及第一个示例
• API 参考
• 已实现游戏概览
• 已实现算法概览
• 开发者指南
• 将 OpenSpiel 作为 C++ 库使用
• 指南与贡献
• 作者

如需更深入地了解核心概念、形式化方法和术语，包括对算法和部分结果的概述，请参阅 OpenSpiel：用于游戏强化学习的框架。

如需了解 OpenSpiel 的概览及核心 API 的使用示例，请查看我们的教程：

• 动机、核心 API、复制者动力学简介以及不完美信息博弈——Marc Lanctot 主讲。 (幻灯片) (Colab)
• 动机、核心 API、在库恩扑克、勒杜克扑克和 Goofspiel 上实现 CFR 和 REINFORCE——Edward Lockhart 主讲。 (幻灯片) (Colab)

如果您在研究中使用了 OpenSpiel，请使用以下 BibTeX 格式引用该论文：

@article{LanctotEtAl2019OpenSpiel,
  title     = {{OpenSpiel}: A Framework for Reinforcement Learning in Games},
  author    = {Marc Lanctot and Edward Lockhart and Jean-Baptiste Lespiau and
               Vinicius Zambaldi and Satyaki Upadhyay and Julien P\'{e}rolat and
               Sriram Srinivasan and Finbarr Timbers and Karl Tuyls and
               Shayegan Omidshafiei and Daniel Hennes and Dustin Morrill and
               Paul Muller and Timo Ewalds and Ryan Faulkner and J\'{a}nos Kram\'{a}r
               and Bart De Vylder and Brennan Saeta and James Bradbury and David Ding
               and Sebastian Borgeaud and Matthew Lai and Julian Schrittwieser and
               Thomas Anthony and Edward Hughes and Ivo Danihelka and Jonah Ryan-Davis},
  year      = {2019},
  eprint    = {1908.09453},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG},
  journal   = {CoRR},
  volume    = {abs/1908.09453},
  url       = {http://arxiv.org/abs/1908.09453},
}

版本控制

我们采用 语义版本控制。

OpenSpiel 快速上手指南

OpenSpiel 是由 DeepMind 开源的游戏强化学习与搜索规划框架。它支持多种游戏类型（包括零和、合作、完全/不完全信息等），核心由 C++ 实现并提供 Python 接口，适用于多智能体强化学习研究。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python 版本：Python 3.11 (官方推荐)，兼容 3.8+。
• 编译器：C++17 兼容的编译器 (如 g++ 或 clang++)。
• 构建工具：bazel (主要构建系统) 或 cmake。
• 依赖库：git, python3-dev, virtualenv (可选但推荐)。

提示：国内开发者若遇到 bazel 下载缓慢问题，可配置 .bazelrc 使用国内镜像源，或直接使用预编译的 Python Wheel 包（推荐新手）。

安装步骤

方法一：通过 PyPI 安装（推荐，最快上手）

如果您仅需使用 Python API 进行算法实验，这是最简单的方式。

# 创建并激活虚拟环境（推荐）
python3 -m venv openspiel_env
source openspiel_env/bin/activate

# 升级 pip
pip install --upgrade pip

# 安装 OpenSpiel
pip install open-spiel

方法二：从源码编译（适合需要修改核心代码或 C++ 开发的用戶）

# 1. 克隆仓库
git clone https://github.com/deepmind/open_spiel.git
cd open_spiel

# 2. 安装 Python 依赖
pip3 install --user -r requirements.txt

# 3. 构建项目 (使用 bazel)
# 注意：首次运行会自动下载 bazel，国内网络可能需要代理或配置镜像
./install.sh

# 4. 设置环境变量
export PYTHONPATH=$(pwd)/open_spiel:$PYTHONPATH

验证安装：在 Python 中运行 import pyspiel，若无报错则安装成功。

基本使用

以下示例展示如何加载一个内置游戏（井字棋 Tic-Tac-Toe），初始化环境并执行随机步。

import pyspiel

# 1. 加载游戏
game = pyspiel.load_game("tic_tac_toe")

# 2. 初始化游戏状态
state = game.new_initial_state()

# 3. 游戏循环
while not state.is_terminal():
    # 获取当前合法动作
    legal_actions = state.legal_actions()
    
    # 简单策略：随机选择一个动作
    action = legal_actions[0] # 实际使用中可替换为 AI 策略
    
    # 执行动作
    state.apply_action(action)
    
    # 打印当前状态字符串表示
    print(state.to_string())

# 4. 输出结果
print("Game over.")
print("Returns:", state.returns())

进阶提示

• 更多游戏：使用 pyspiel.get_available_games() 查看所有支持的游戏列表。
• Colab 体验：无需本地安装，可直接在 Google Colab 中运行官方提供的 安装与教程 Notebook。
• 文档查阅：详细 API 参考请参阅 官方文档。