PyBullet Gymperium

PyBullet Gymperium 是 OpenAI Gym MuJoCo 环境的一个开源实现，用于与 OpenAI Gym 强化学习研究平台一起使用，以支持开放研究。

OpenAI Gym 目前是开发和比较强化学习算法最常用的工具包之一。然而，对于一些具有挑战性的连续控制环境，它要求用户安装 MuJoCo——一款需要许可证才能运行超过 30 天的商业物理引擎。这种商业壁垒阻碍了开放研究，尤其是在存在其他合适的物理引擎的情况下。本仓库提供了原始 MuJoCo 环境的替代实现，可以免费使用。这些环境使用 BulletPhysics 的 Python 封装 pybullet 重新实现，从而能够无缝集成到 OpenAI Gym 框架中。为了展示新环境的可用性，来自 Tensorforce 强化学习库的几个 RL 代理被配置为开箱即用即可训练。为了简化对已实现环境的研究，每个环境都配备了预训练好的代理，它们既可作为实现的单元测试，也可以作为其他用途的基准。

如果您在研究中发现我们的工作有所帮助，请考虑按以下方式引用：

@misc {benelot2018, author = {Benjamin Ellenberger}, title = {PyBullet Gymperium}, howpublished = {\url{ https://github.com/benelot/pybullet-gym}} , year = {2018--2019} }

实现状态

环境名称	已实现	与参考实现相似	是否有预训练代理
RoboSchool 环境
InvertedPendulumPyBulletEnv-v0	是	是	否
InvertedDoublePendulumPyBulletEnv-v0	是	是	否
InvertedPendulumSwingupPyBulletEnv-v0	是	是	否
ReacherPyBulletEnv-v0	是	是	否
Walker2DPyBulletEnv-v0	是	否	否
HalfCheetahPyBulletEnv-v0	是	否	否
AntPyBulletEnv-v0	是	是	否
HopperPyBulletEnv-v0	是	是	否
HumanoidPyBulletEnv-v0	是	是	否
HumanoidFlagrunPyBulletEnv-v0	是	是	否
HumanoidFlagrunHarderPyBulletEnv-v0	是	是	否
AtlasPyBulletEnv-v0	开发中	否	否
PusherPyBulletEnv-v0	开发中	否	否
ThrowerPyBulletEnv-v0	开发中	否	否
StrikerPyBulletEnv-v0	开发中	否	否
MuJoCo 环境
InvertedPendulumMuJoCoEnv-v0	是	是	是
InvertedDoublePendulumMuJoCoEnv-v0	是	是	是
ReacherMuJoCoEnv-v0	否	否	否
Walker2DMuJoCoEnv-v0	是	否	否
HalfCheetahMuJoCoEnv-v0	是	否	否
AntMuJoCoEnv-v0	是	否	否
HopperMuJoCoEnv-v0	是	否	否
HumanoidMuJoCoEnv-v0	是	否	否
PusherMuJoCoEnv-v0	否	否	否
ThrowerMuJoCoEnv-v0	否	否	否
StrikerMuJoCoEnv-v0	否	否	否

[请参阅下方“新增内容”部分](#What's New)

基础知识

（摘自 OpenAI Gym 的 README）

强化学习中有两个基本概念：环境（即外部世界）和代理（即您编写的算法）。代理向环境发送“动作”，而环境则返回“观测”和“奖励”（即得分）。

gym 的核心接口是 Env <https://github.com/openai/gym/blob/master/gym/core.py>_，它是统一的环境接口。代理没有专门的接口；这部分由您自行处理。以下是您应该了解的 Env 方法：

• reset(self): 重置环境的状态。返回 observation。
• step(self, action): 让环境向前推进一个时间步。返回 observation, reward, done, info。
• render(self, mode='human', close=False): 渲染环境的一帧画面。默认模式会执行对人类友好的操作，例如弹出一个窗口。传递 close 标志表示渲染器应关闭任何此类窗口。

除了强化学习的基本概念之外，本框架还将环境的概念扩展为两个子概念：机器人（代理可以直接控制的身体）和场景（代理所交互的一切事物）。以这种方式实现 RL 环境，使我们能够切换环境中的不同部分，从而生成新的机器人-场景组合。

安装 Pybullet-Gym

首先，您可以进行 OpenAI Gym 的最小化安装：

git clone https://github.com/openai/gym.git
cd gym
pip install -e .

然后，安装 Pybullet-Gym 最简单的方法是克隆仓库并在本地安装：

git clone https://github.com/benelot/pybullet-gym.git
cd pybullet-gym
pip install -e .

重要提示：请勿使用 python setup.py install，因为这不会复制资源文件（您可能会遇到缺少 SDF 文件的错误）。

最后，要测试安装情况，打开 Python 并运行：

import gym  # open ai gym
import pybulletgym  # 将 PyBullet 环境注册到 open ai gym

env = gym.make('HumanoidPyBulletEnv-v0')
# env.render() # 如果您想看到显示环境的窗口，请在 env.reset 之前调用此方法
env.reset()  # 如果一切正常，应该返回一个状态向量

支持的系统

我们目前支持运行 Python 2.7 或 3.5 的 Linux、Windows 和 OS X。

要运行 pip install -e '.[all]'，您需要一个较新的 pip 版本。请确保您的 pip 至少为版本 1.5.0。您可以通过以下命令升级：pip install --ignore-installed pip。或者，您也可以打开 setup.py <https://github.com/openai/gym/blob/master/setup.py>_ 并手动安装依赖项。

代理

作为对环境的一种单元测试，我们为每个环境提供了预训练好的代理。RoboSchool 和 MuJoCo 环境的代理分别是在 RoboSchool 和 MuJoCo 的原始实现上训练得到的。

环境

每个环境组的代码都位于其各自的子目录 gym/envs <https://github.com/openai/gym/blob/master/gym/envs>_ 中。每个任务的规范都在 gym/envs/__init__.py <https://github.com/openai/gym/blob/master/gym/envs/__init__.py>_ 中。值得浏览这两处内容。

新内容

• 2018-01-09 Pybullet-gym 正式诞生。

路线图

1. [ROBOSCHOOL GYMS] 当前的环境是移植到 pybullet 上的 roboschool 环境。到目前为止，大多数环境都能正常工作，除了 manipulator 环境中的 striker、pusher 和 thrower，这些环境中机器人未能正确加载。这个问题需要与 Erwin Coumans 一起解决。
2. [OPENAI MUJOCO GYMS] 我很快将开始移植 OpenAI 的环境，但不幸的是，这些环境的观测（可能还有动作）向量略有不同。我可以快速搭建起所有环境，但要弄清楚 mujoco 中某些观测的具体含义以及它们在 pybullet 中对应的表示，则需要花费一些时间。有些观测可能在 pybullet 中并未暴露，届时我们可以提出需求；而对于另一些观测，在 mujoco 中究竟是什么含义，目前也很难确定。
3. [OPENAI ROBOTICS GYMS] 接下来将是 OpenAI 中的 robotics 环境。这些模拟场景尤为复杂，可能需要进行大量调优才能在 pybullet 中成功运行。
4. [DEEPMIND CONTROL SUITE] 最后是 Deepmind Control Suite，这是一组同样基于 mujoco 的环境，也需要被移植出来。

PyBullet Gym 快速上手指南

PyBullet Gymperium 是 OpenAI Gym MuJoCo 环境的开源实现，旨在使用免费的 Bullet 物理引擎替代商业授权的 MuJoCo，从而降低强化学习研究的门槛。它无缝集成到 OpenAI Gym 框架中，提供了多种连续控制环境。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Linux、Windows 或 macOS。
• Python 版本：Python 2.7 或 Python 3.5+（推荐使用 Python 3.6+ 以获得更好的兼容性）。
• 前置依赖：
  • pip 版本需至少为 1.5.0。如需升级，可运行：

    pip install --ignore-installed pip
    

  • 建议先安装基础的 OpenAI Gym 库。

提示：国内开发者在安装 Python 依赖时，推荐使用清华或阿里镜像源以加速下载。例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

请按照以下顺序执行命令进行安装。注意：切勿使用 python setup.py install，否则会导致资源文件（如 SDF 文件）缺失。

1. 安装 OpenAI Gym (基础依赖)

首先克隆并安装最小化的 OpenAI Gym：

git clone https://github.com/openai/gym.git
cd gym
pip install -e .

(国内加速可选):

git clone https://gitee.com/mirrors/gym.git # 如果存在镜像
cd gym
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 PyBullet Gym

克隆本仓库并进行本地安装：

cd .. # 返回上一级目录
git clone https://github.com/benelot/pybullet-gym.git
cd pybullet-gym
pip install -e .

(国内加速可选):

git clone https://gitee.com/mirrors/pybullet-gym.git # 假设存在镜像，否则使用原地址
cd pybullet-gym
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证安装

打开 Python 交互式终端，运行以下代码测试环境是否注册成功：

import gym
import pybulletgym

# 创建一个环境实例
env = gym.make('HumanoidPyBulletEnv-v0')

# 重置环境，若返回状态向量则说明安装成功
observation = env.reset()
print("Installation successful! Observation shape:", observation.shape)

# 可选：渲染画面（需在支持图形界面的环境中运行）
# env.render() 

基本使用

PyBullet Gym 的使用方式与标准的 OpenAI Gym 完全一致。核心概念包括环境（Environment）和智能体（Agent）。

核心接口

• env.reset(): 重置环境状态，返回初始观测值 (observation)。
• env.step(action): 执行一步动作，返回 (observation, reward, done, info)。
• env.render(): 渲染当前帧（默认弹出窗口显示）。

最小运行示例

以下是一个简单的随机动作测试脚本：

import gym
import pybulletgym

# 1. 创建环境 (可选环境见 README 表格，如 InvertedPendulumPyBulletEnv-v0)
env = gym.make('InvertedPendulumPyBulletEnv-v0')

# 2. 重置环境
observation = env.reset()

# 3. 运行循环
for _ in range(1000):
    # 渲染画面 (如果需要可视化)
    env.render()
    
    # 生成随机动作
    action = env.action_space.sample()
    
    # 执行动作
    observation, reward, done, info = env.step(action)
    
    # 如果回合结束，重置环境
    if done:
        observation = env.reset()

env.close()

可用环境列表

部分常用已实现环境如下：

环境名称	状态	备注
InvertedPendulumPyBulletEnv-v0	✅ 可用	倒立摆
HalfCheetahPyBulletEnv-v0	✅ 可用	半猎豹 (与 MuJoCo 实现略有差异)
HopperPyBulletEnv-v0	✅ 可用	单足跳机器人
Walker2DPyBulletEnv-v0	✅ 可用	双足行走机器人
AntPyBulletEnv-v0	✅ 可用	四足蚂蚁机器人
HumanoidPyBulletEnv-v0	✅ 可用	人形机器人

注：部分复杂操作臂环境（如 Pusher, Thrower）目前仍在开发中 (WIP)。