PyGame-学习环境

PyGame学习环境 (PLE) 是一个学习环境，它模仿了 Arcade学习环境 的接口，使得在 Python 中快速入门强化学习成为可能。PLE 的目标是让从业者能够专注于模型和实验的设计，而不是环境的构建。

PLE 希望最终能够建立一个庞大的游戏库。

欢迎提交游戏相关的 Pull Request。

文档

项目的文档可以在这里找到。目前仍在编写中。

游戏

可用的游戏可以在文档中找到。

快速开始

一个 PLE 实例需要一个暴露了一组控制方法的游戏。要查看所需的方法，请参考 ple/games/base.py。

以下是从 PLE 内的游戏库中导入 Pong 的示例：

from ple.games.pong import Pong

game = Pong()

接下来我们配置并初始化 PLE：

from ple import PLE

p = PLE(game, fps=30, display_screen=True, force_fps=False)
p.init()

上述选项指示 PLE 显示游戏画面（display_screen），同时允许 PyGame 自动选择合适的帧间延迟，以确保 30 帧每秒的帧率（force_fps）。

你可以自由地将任何智能体与 PLE 结合使用。下面我们将创建一个虚构的智能体，并获取其有效动作集：

myAgent = MyAgent(p.getActionSet())

现在我们可以让我们的智能体在 PLE 的帮助下与游戏进行一定数量帧数的交互：

nb_frames = 1000
reward = 0.0

for f in range(nb_frames):
	if p.game_over(): #检查游戏是否结束
		p.reset_game()

	obs = p.getScreenRGB()
	action = myAgent.pickAction(reward, obs)
	reward = p.act(action)

就这样，我们的智能体就与游戏环境进行了交互。

安装

PLE 需要以下依赖：

• numpy
• pygame
• pillow

克隆仓库并使用 pip 安装。

git clone https://github.com/ntasfi/PyGame-Learning-Environment.git
cd PyGame-Learning-Environment/
pip install -e .

无界面使用

在使用前，在你的代码中设置以下内容：

os.putenv('SDL_VIDEODRIVER', 'fbcon')
os.environ["SDL_VIDEODRIVER"] = "dummy"

感谢 @wooridle。

更新

进入 PyGame-Learning-Environment 目录并运行以下命令：

git pull

待办事项

• 文档目前正在编写中。
• 测试
• 并行学习（一个智能体，多个游戏副本）
• 添加更多游戏
• 扩展库的功能（例如添加 Pyglet 支持）

引用 PLE

如果 PLE 对你的研究有所帮助，请在你的出版物中引用它。BibTeX 示例条目如下：

@misc{tasfi2016PLE,
  author = {Tasfi, Norman},
  title = {PyGame学习环境},
  year = {2016},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/ntasfi/PyGame-Learning-Environment}}
}

PyGame-Learning-Environment (PLE) 快速上手指南

PyGame-Learning-Environment (PLE) 是一个模仿 Arcade Learning Environment 接口的强化学习环境，旨在让开发者无需关注环境底层设计，即可快速在 Python 中开始强化学习实验。

环境准备

在开始之前，请确保您的系统已安装 Python，并满足以下依赖库要求：

• numpy
• pygame
• pillow

提示：国内用户建议使用国内镜像源加速依赖安装（如清华源或阿里源）。

安装步骤

通过克隆仓库并使用 pip 进行可编辑模式安装：

git clone https://github.com/ntasfi/PyGame-Learning-Environment.git
cd PyGame-Learning-Environment/
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的使用流程，展示如何加载游戏、初始化环境并运行智能体交互循环。

1. 导入游戏与初始化环境

首先从库中导入一个游戏（例如 Pong），然后配置并初始化 PLE 实例。

from ple.games.pong import Pong
from ple import PLE

# 实例化游戏
game = Pong()

# 初始化 PLE 环境
# display_screen=True: 显示游戏画面
# fps=30: 设定帧率
# force_fps=False: 允许 PyGame 自动调整帧间延迟以维持目标帧率
p = PLE(game, fps=30, display_screen=True, force_fps=False)
p.init()

2. 创建智能体并获取动作空间

您可以使用任意智能体。以下示例展示了如何获取合法动作集并初始化一个虚构的智能体。

# 获取环境支持的动作集合
action_set = p.getActionSet()

# 初始化您的智能体（此处为伪代码）
myAgent = MyAgent(action_set)

3. 运行交互循环

让智能体与环境进行交互。循环中需处理游戏结束重置、获取观测状态、选择动作及执行动作。

nb_frames = 1000
reward = 0.0

for f in range(nb_frames):
    # 检查游戏是否结束，若结束则重置
    if p.game_over():
        p.reset_game()

    # 获取当前屏幕观测值 (RGB 格式)
    obs = p.getScreenRGB()
    
    # 智能体根据奖励和观测值选择动作
    action = myAgent.pickAction(reward, obs)
    
    # 执行动作并获取新奖励
    reward = p.act(action)

无头模式（Headless Usage）

如果您在无显示器的服务器环境下运行，请在代码开头添加以下设置：

import os
os.putenv('SDL_VIDEODRIVER', 'fbcon')
os.environ["SDL_VIDEODRIVER"] = "dummy"