深度学习与围棋

本仓库首先是一个面向围棋的全面机器学习框架，专注于深度学习技术。在这里，您将找到一个从基础对弈功能逐步构建到非常高级技术的库。特别是，您会发现从早期游戏 AI 方法、使用深度学习的中级技术，到 AlphaGo 和 AlphaGo Zero 的实现——全部以统一的框架呈现。您可以使用 pip 安装此库，并按照 code 文件夹中的 examples 进行操作。

pip install dlgo

另一方面，本仓库同时包含代码，以及 Manning 出版的图书《深度学习与围棋》的样章，可通过此处提前访问。这些内容与库紧密相连，循序渐进地讲解库的各项组件。如果您正在跟随书中的代码示例，请查看对应各章节的分支。

贡献者须知：为确保书籍内容与代码保持同步，请尽量在 improvements 分支上提出更改并提交拉取请求，而非直接在 master 分支上操作（master 分支我们保留用于修复 bug 等）。

可玩演示

本书旨在帮助您开始创建自己的机器人。为了让体验更加有趣和互动，我们构建并部署了多个展示相应章节技术的机器人。目前您可以试玩：

• 第4章 一款在 5x5 棋盘上运行的小型树搜索机器人 在此。
• 第7章 一款基于深度神经网络训练而成、能够预测人类落子的完整 19x19 棋盘机器人 在此。
• 第9章 一款使用策略梯度算法在 9x9 棋盘上对弈的机器人 在此。

这些演示也将收录在本书的LiveBook 版本中。

目录

1. 走向深度学习：机器学习入门
2. 围棋作为机器学习问题
3. 实现您的第一个围棋机器人
4. 使用树搜索下棋
5. 初识神经网络
6. 为围棋数据设计神经网络
7. 从数据中学习：深度学习机器人
8. 将机器人部署到实际环境中
9. 深入强化学习
10. 使用策略梯度进行强化学习
11. 使用价值方法进行强化学习
12. 使用演员-评论家方法进行强化学习
13. AlphaGo：结合多种方法
14. AlphaGoZero 和 AlphaZero：结合多种方法

附录

• A. 使用 Python 的数学基础
• B. 反向传播算法
• C. 围棋程序与服务器
• D. 使用亚马逊云服务训练和部署机器人
• E. 向在线围棋服务器 (OGS) 提交机器人

欢迎

2016 年初，当 AlphaGo 登上新闻头条时，我们对这一计算机围棋领域的突破性进展感到无比兴奋。当时普遍认为，达到人类水平的围棋人工智能至少还需要十年时间。我们仔细观看了每一场对决，甚至不惜早起或熬夜观看直播。事实上，我们并不孤单——全球数以百万计的人们都被这场对阵樊麾、李世石，以及后来柯洁等人的比赛深深吸引。

AlphaGo 问世不久后，我们便开始着手开发一个名为 BetaGo 的开源小库，试图亲自实现 AlphaGo 中的一些核心机制。BetaGo 的初衷是将 AlphaGo 的理念带给普通开发者。尽管我们清楚自身在资源（时间、计算能力、智力）方面无法与 DeepMind 的惊人成就相媲美，但亲手打造属于自己的围棋机器人仍然充满乐趣。此后，我们有幸在许多场合分享关于计算机围棋的经验。

我们坚信，AlphaGo 背后的原理可以以实用的方式教授给广大的软件工程师群体。对围棋的喜爱与理解源于亲自下棋和不断尝试；同样地，机器学习乃至其他任何领域也适用这一道理。在这本书中，我们希望以围棋为切入点，带领读者进入激动人心的深度学习世界。我们将从经典的棋类游戏 AI 原理入手，从一开始就让您拥有一个可运行的围棋 AI，并能与之对弈——尽管起初它还很弱。随后，我们会介绍深度学习和强化学习中的一些技术。每当您掌握一项新技能，就可以将其融入您的围棋 AI 中，亲眼见证它的进步。

如果您对围棋或机器学习抱有同样的热情，甚至两者兼具，那么在读完本书之后，我们就认为我们的目标已经达成。更进一步，如果您掌握了如何构建和部署围棋机器人，并能开展自己的实验，那么许多其他有趣的 AI 应用也将触手可及。祝您阅读愉快！

deep_learning_and_the_game_of_go 快速上手指南

本指南旨在帮助开发者快速安装并使用 deep_learning_and_the_game_of_go (dlgo) 库，这是一个专注于围棋的深度机器学习框架，涵盖了从基础博弈算法到 AlphaGo/AlphaGo Zero 的完整实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows（推荐 Linux/macOS 以获得最佳兼容性）。
• Python 版本：Python 3.6 或更高版本。
• 前置依赖：
  • pip：Python 包管理工具。
  • numpy、keras、tensorflow 等深度学习库（安装主包时会自动处理大部分依赖）。
  • （可选）Git：用于克隆代码仓库以访问示例代码和书籍章节分支。

提示：国内用户建议使用国内镜像源加速 Python 包的下载，例如清华源或阿里源。

安装步骤

您可以通过 pip 直接安装稳定版库，或者克隆仓库以获取完整的示例代码和书籍配套内容。

方式一：通过 pip 安装（推荐用于快速体验）

直接使用 pip 安装核心库：

pip install dlgo

国内加速安装： 如果您在中国大陆，建议使用清华镜像源以提高下载速度：

pip install dlgo -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：克隆源码（推荐用于学习和运行示例）

如果您希望运行书中的具体章节示例或查看源代码，建议克隆 GitHub 仓库：

git clone https://github.com/maxpumperla/deep_learning_and_the_game_of_go.git
cd deep_learning_and_the_game_of_go

进入 code 目录后，您可以根据需要安装本地开发版本：

pip install -e .

基本使用

安装完成后，您可以立即开始构建自己的围棋机器人。最简单的使用方式是运行库中提供的示例脚本。

1. 运行一个简单的树搜索机器人

如果您克隆了源码，可以进入 code 目录，尝试运行第 4 章的蒙特卡洛树搜索（MCTS）示例。以下是一个基于命令行的简单交互示例逻辑（具体文件路径可能随版本略有不同）：

# 进入示例代码目录
cd code/chapter_04_tree_search

# 运行一个简单的对弈脚本（假设存在 play_mcts.py 或类似入口）
# 注意：具体脚本名称请参考 examples 文件夹下的实际文件
python play_mcts.py --board-size 5

2. 在 Python 代码中调用

您也可以在自己的 Python 脚本中导入 dlgo 模块来构建智能体。以下是一个概念性示例，展示如何初始化一个基础的博弈代理：

from dlgo import gotypes
from dlgo.goboard_fast import Board, GameState
from dlgo.agent import naive

# 初始化一个 9x9 的棋盘状态
game_state = GameState.new_game(9)

# 创建一个简单的随机或规则基代理
agent = naive.RandomAgent()

# 模拟一步棋
while not game_state.is_over():
    move = agent.select_move(game_state)
    game_state = game_state.apply_move(move)
    print(f"Played move: {move}")

3. 体验在线演示

如果暂时不想配置本地环境，您可以直接访问项目提供的在线演示来体验不同章节的机器人效果：

• 第 4 章 (5x5 棋盘树搜索): 点击体验
• 第 7 章 (19x19 深度神经网络预测): 点击体验
• 第 9 章 (9x9 策略梯度强化学习): 点击体验

更多详细用法和进阶教程（如训练 AlphaGo Zero），请参阅仓库中 code 文件夹下的 examples 目录或配套书籍章节。