黏液排球 Gym 环境

黏液排球是一款由不知名作者在2000年代初制作的游戏。

“游戏的物理机制有点‘不太靠谱’，但其简单的玩法却让人一玩就上瘾。”

---

更新（2022年5月12日）： 该环境已被移植到 EvoJAX 上，这是一个硬件加速的神经进化工具包，使得 SlimeVolley 可以在 GPU 上运行，从而将训练时间从数小时缩短至几分钟。

---

SlimeVolleyGym 是一个用于测试单智能体和多智能体强化学习算法的简单 Gym 环境。

游戏规则非常简单：智能体的目标是将球打到对方场地的地面上，从而使对方失去一条生命。每个智能体初始有五条生命。当任意一方的生命耗尽，或者经过 3000 个时间步后，回合即结束。当对手失分时，智能体获得 +1 的奖励；当自己失分时，则获得 -1 的奖励。

该环境基于我于 2015 年 开发的 JavaScript 游戏 Neural Slime Volleyball。当时我利用自我对弈和进化算法训练了一个简单的神经网络智能体，使其表现优于大多数人类玩家。后来，我决定将其移植到 Python 中，作为一个轻量级、高速的 Gym 环境，用作更高级 RL 方法的测试平台，例如多智能体、自我对弈、持续学习和模仿学习等算法。

注意：关于库

• 预训练的 PPO 模型是使用 stable-baselines v2.10 训练的，而非 stable-baselines3。

• 示例代码基于 Gym 0.19.0 或更早版本开发。我曾短暂测试过 0.20.0 版本，似乎可以正常工作，但更高版本的 Gym 存在破坏兼容性的 API 变更。

• 在开发过程中，我使用的是 pyglet 库 0.15.7 或更早版本，尚未测试最新版本的 pyglet 是否兼容。

显著特点

• 唯一依赖项是 gym 和 numpy。运行该环境无需其他库，因此出错的可能性较低。

• 在常规的单智能体设置中，智能体将与一个来自 2015 年的、仅有 120 个参数的 神经网络 基线智能体对战。这个对手可以轻松替换为其他策略，从而实现多智能体或自我对弈环境。

• 在 2015 年款 MacBook（Core i7）上，状态空间观测模式下可达到约 12.5K 时间步/秒的运行速度，从而加快实验迭代。

• 提供了一份教程，演示了多种不同的训练方法（如单智能体、自我对弈、进化等），这些方法通常仅需一台 CPU 机器即可完成。对于教学用途可能非常有用。

• 提供像素观测模式。观测结果直接渲染为 numpy 数组，并可在无头云服务器上运行。该像素版本的环境模仿了基于 Atari Learning Environment 的 Gym 环境，已成功应用于多个 Atari Gym 封装及针对 Atari 优化的 RL 模型。

• 对手的观测信息会作为 env.step() 返回的可选 info 对象的一部分提供，适用于状态空间和像素两种观测模式。观测数据的构建方式是假设智能体始终位于右侧球场，即使实际位置在左侧，因此在某一侧训练的智能体无需调整即可在另一侧继续游戏。

该环境旨在补充现有的简单基准任务，如 CartPole、Lunar Lander、Bipedal Walker、Car Racing 以及连续控制任务（MuJoCo / PyBullet / DM Control），同时增加游戏性元素。其设计初衷是便于让训练好的智能体相互对战，也能够直接在多智能体环境中进行训练，从而为评估智能体性能提供更多维度。

安装

如果仅需使用 Gym 环境，而不需要示例脚本，可通过 pip 包安装：

pip install slimevolleygym

若希望获取基础使用演示、训练脚本及预训练模型，则可从仓库安装：

git clone https://github.com/hardmaru/slimevolleygym.git
cd slimevolleygym
pip install -e .

基本使用

从仓库安装后，可以通过运行以下命令与基线智能体对战：

python test_state.py

可使用方向键控制右侧智能体，或使用 (A, W, D) 控制左侧智能体。

同样地，test_pixel.py 允许在像素化环境中游玩，而 test_atari.py 则可以让玩家通过观察预处理后的堆叠帧（84px x 84px x 4 帧）来玩游戏，这种观测方式通常用于 Atari RL 任务：

Atari Gym 封装会将 4 帧合并为一个观测值。

环境类型

该环境分为两种观测模式：状态空间观测和像素观测：

环境 ID	观测空间	动作空间
SlimeVolley-v0	Box(12)	MultiBinary(3)
SlimeVolleyPixel-v0	Box(84, 168, 3)	MultiBinary(3)
SlimeVolleyNoFrameskip-v0	Box(84, 168, 3)	Discrete(6)

SlimeVolleyNoFrameskip-v0 与 SlimeVolleyPixel-v0 相同，唯一的区别在于动作空间现在采用 Atari RL 任务中常用的独热向量表示。

在状态空间观测中，12 维向量对应以下状态：

原点 (0, 0) 位于围栏底部。

无论是状态空间观测还是像素观测，都假定智能体位于屏幕的右侧。

使用多智能体环境

修改 Gym 循环以支持多智能体或自我对弈非常简单。以下是一个基本的 Gym 循环：

import gym
import slimevolleygym

env = gym.make("SlimeVolley-v0")

obs = env.reset()
done = False
total_reward = 0

while not done:
  action = my_policy(obs)
  obs, reward, done, info = env.step(action)
  total_reward += reward
  env.render()

print("score:", total_reward)

info 对象包含额外的信息，包括对手的观测：

info = {
  'ale.lives': 本方剩余生命值,
  'ale.otherLives': 对手剩余生命值,
  'otherObs': 对手的观测,
  'state': 本方的状态（在状态模式下与 obs 相同）,
  'otherState': 对手的状态（在状态模式下与 otherObs 相同）,
}

通过这种修改，你可以评估 policy1 对抗 policy2 的表现：

obs1 = env.reset()
obs2 = obs1 # 双方始终看到相同的初始观测。

done = False
total_reward = 0

while not done:

  action1 = policy1(obs1)
  action2 = policy2(obs2)

  obs1, reward, done, info = env.step(action1, action2) # 额外参数
  obs2 = info['otherObs']

  total_reward += reward
  env.render()

print("policy1's score:", total_reward)
print("policy2's score:", -total_reward)

需要注意的是，在状态模式和像素模式下，otherObs 都是以智能体位于屏幕右侧的角度给出的，因此可以轻松切换智能体的位置，而无需修改智能体本身。

对手的观测显示在较小的窗口中。

你可以考虑用自己智能体的早期版本替换 policy2（即自我对弈），并将多智能体环境包装成单智能体环境，以便使用标准的强化学习算法。这些技术的更多详细示例可以在 TRAINING.md 教程中找到。

对抗其他智能体进行评估

TRAINING.md 教程中讨论了几种预训练的智能体（ppo、cma、ga、baseline）。

你可以使用以下命令让它们相互对战：

python eval_agents.py --left ppo --right cma --render

评估 PPO 智能体（左）对抗 CMA-ES（右）。

修改 eval_agents.py 以加入你自定义的智能体应该相对简单。

排行榜

以下是各种算法取得的分数及其实现链接。欢迎在此处添加你的结果：

SlimeVolley-v0

方法	平均得分	回合数	其他信息
理论最高分	5.0
PPO	1.377 ± 1.133	1000	链接
CMA-ES	1.148 ± 1.071	1000	链接
GA（自我对弈）	0.353 ± 0.728	1000	链接
CMA-ES（自我对弈）	-0.071 ± 0.827	1000	链接
PPO（自我对弈）	-0.371 ± 1.085	1000	链接
随机策略	-4.866 ± 0.372	1000
添加方法

SlimeVolley-v0（样本效率）

对于样本效率，我们可以衡量训练一个能够在 1000 回合内对内置基准策略取得正平均得分的智能体所需的步数：

方法	最佳步数	中位数步数	试验次数	其他信息
PPO	1.274M	2.998M	17	链接
数据高效 Rainbow	0.750M	0.751M	3	链接
添加方法

SlimeVolley-v0（对抗其他智能体）

与默认基准策略以外的其他智能体对战时的平均得分表（基于 1000 回合测试）：

方法	基准	PPO	CMA-ES	GA（自我对弈）	其他信息
PPO	1.377 ± 1.133	—	0.133 ± 0.414	-3.128 ± 1.509	链接
CMA-ES	1.148 ± 1.071	-0.133 ± 0.414	—	-0.301 ± 0.618	链接
GA（自我对弈）	0.353 ± 0.728	3.128 ± 1.509	0.301 ± 0.618	—	链接
CMA-ES（自我对弈）	-0.071 ± 0.827	-0.749 ± 0.846	-0.351 ± 0.651	-4.923 ± 0.342	链接
PPO（自我对弈）	-0.371 ± 1.085	0.119 ± 1.46	-2.304 ± 1.392	-0.42 ± 0.717	链接
添加方法

值得注意的是，尽管 GA（自我对弈）在对抗基准策略时的表现不如 PPO 和 CMA-ES，但如果将其与其他直接针对基准策略训练的智能体进行比较，则它是一种更优的策略。

SlimeVolleyPixel-v0

像素观测版本环境（SlimeVolleyPixel-v0 或 SlimeVolleyNoFrameskip-v0）的结果：

像素观测	平均得分	回合数	其他信息
理论最高分	5.0
PPO	0.435 ± 0.961	1000	链接
Rainbow	0.037 ± 0.994	1000	链接
A2C	-0.079 ± 1.091	1000	链接
ACKTR	-1.183 ± 1.480	1000	链接
ACER	-1.789 ± 1.632	1000	链接
DQN	-4.091 ± 1.242	1000	链接
随机策略	-4.866 ± 0.372	1000
添加方法		(≥ 1000)

出版物

如果你有使用该环境的出版物、文章、项目或博客文章，请随时通过 PR 在此处添加链接。

引用

请使用以下 BibTeX 格式在您的出版物中引用本仓库：

@misc{slimevolleygym,
  author = {David Ha},
  title = {史莱姆排球 Gym 环境},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub 代码库},
  howpublished = {\url{https://github.com/hardmaru/slimevolleygym}},
}

SlimeVolleyGym 快速上手指南

SlimeVolleyGym 是一个轻量级的 Gym 环境，专为测试单智能体及多智能体强化学习算法而设计。该环境基于经典的"Slime Volleyball"游戏，支持状态空间（State-space）和像素观察（Pixel observation）两种模式，运行速度快且依赖极少。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：推荐 Python 3.6 - 3.9
• 核心依赖：
  • gym (推荐版本 <= 0.20.0，高版本可能存在 API 不兼容)
  • numpy
  • pyglet (如需渲染画面，推荐版本 <= 0.15.7)
• 可选依赖：若需使用预训练模型或示例脚本，需安装完整仓库。

注意：预训练的 PPO 模型是基于 stable-baselines v2.10 训练的，而非 stable-baselines3。

安装步骤

方式一：仅安装环境（推荐用于集成到自己的项目）

如果你只需要 Gym 环境接口，不需要示例代码和预训练模型：

pip install slimevolleygym

方式二：从源码安装（包含示例、训练脚本和预训练模型）

如果你希望运行官方提供的演示、训练教程或评估脚本：

git clone https://github.com/hardmaru/slimevolleygym.git
cd slimevolleygym
pip install -e .

(国内用户若克隆速度慢，可尝试使用 Gitee 镜像或配置 Git 代理)

基本使用

1. 运行官方演示

安装源码后，你可以直接运行以下命令体验游戏：

状态空间模式（默认，速度快）： 使用方向键控制右侧代理，或使用 (A, W, D) 控制左侧代理。

python test_state.py

像素观察模式（模拟 Atari 环境）：

python test_pixel.py

Atari 预处理帧模式（堆叠 4 帧）：

python test_atari.py

2. 代码集成示例

以下是将 SlimeVolleyGym 集成到标准 Gym 循环中的最小化代码示例：

import gym
import slimevolleygym

# 创建环境
# 可选环境 ID: 
# 'SlimeVolley-v0' (状态空间，最快)
# 'SlimeVolleyPixel-v0' (像素观察)
# 'SlimeVolleyNoFrameskip-v0' (离散动作空间的像素观察)
env = gym.make("SlimeVolley-v0")

obs = env.reset()
done = False
total_reward = 0

while not done:
  # 替换为你的策略函数
  action = my_policy(obs)
  
  # 执行动作
  obs, reward, done, info = env.step(action)
  
  total_reward += reward
  
  # 渲染画面（在无头服务器上可省略）
  env.render()

print("score:", total_reward)
env.close()

3. 多智能体/自博弈支持

该环境原生支持多智能体设置。env.step() 返回的 info 字典中包含对手的观察数据 (otherObs)，且对手视角已自动调整为与当前代理一致的坐标系（即始终假设代理在右侧），无需额外处理即可实现左右互换训练。

# 简化的多智能体循环示例
obs1 = env.reset()
obs2 = obs1 
done = False

while not done:
  action1 = policy1(obs1)
  action2 = policy2(obs2)

  # 传入两个动作
  obs1, reward, done, info = env.step(action1, action2)
  obs2 = info['otherObs'] # 获取对手视角的观察

  env.render()