这是论文的官方仓库：

RoboGen：通过生成式仿真释放无限数据，推动机器人自动化学习
Yufei Wang*、Zhou Xian*、Feng Chen*、Tsun-Hsuan Wang、Yian Wang、 Katerina Fragkiadaki、Zackory Erickson、David Held、Chuang Gan
发表于 ICML 2024

RoboGen 是一种 自我引导 和 生成式 的机器人智能体，能够自主提出 新任务，生成相应的 环境，并持续习得 新的机器人技能。

RoboGen 由 Genesis 提供支持，这是一款多材料、多求解器的通用机器人学习生成式仿真引擎。Genesis 目前仍在积极开发中，即将发布。本仓库包含使用 PyBullet 对 RoboGen 的重新实现，涵盖了刚体操作和行走任务的生成与学习。我们完整的软体操作及其他任务流水线将随后与 Genesis 一同发布。

目录

• 设置
  • RoboGen
  • OMPL
  • 数据集
• 让我们开始吧！
  • 自动化任务生成与技能学习
  • 生成任务
  • 学习技能
  • 预生成的任务

设置

RoboGen

克隆此 Git 仓库。

git clone https://github.com/Genesis-Embodied-AI/RoboGen.git

我们建议使用 conda 环境进行操作。

conda env create -f environment.yaml
conda activate robogen

如果通过此 yaml 文件安装失败，手动安装缺失的包同样可行。

Open Motion Planning Library

RoboGen 利用 Open Motion Planning Library (OMPL) 进行运动规划，作为解决生成任务流程的一部分。

注意：如果您在从源代码构建 OMPL 时遇到困难，OMPL 的维护者建议使用此处提供的预编译 Python 轮子：https://github.com/ompl/ompl/releases/tag/prerelease。请根据您的 Python 版本下载对应的轮子，例如，如果您使用的是 Python 3.9，请下载 此轮子，然后运行 pip install ompl-1.6.0-cp39-cp39-manylinux_2_28_x86_64.whl。他们也计划很快将其发布到 PyPI，敬请期待。更多信息请参阅 此问题。

要从源代码安装 OMPL，请运行：

./install_ompl_1.5.2.sh --python

这将在系统级别的 Python 环境中安装 OMPL。请注意，安装脚本第 19 行要求您运行 sudo apt-get -y upgrade。这可能会对您的系统软件包造成影响，因此您可以在安装过程中注释掉该行（安装可能失败，尚未完全测试注释该行的情况）。然后，将安装路径导出到 conda 环境中，以便与 RoboGen 一起使用：

echo "path_to_your_ompl_installation_from_last_step/OMPL/ompl-1.5.2/py-bindings" >> ~/miniconda3/envs/robogen/lib/python3.9/site-packages/ompl.pth

请务必根据您实际的 OMPL 安装路径和 conda 环境路径进行修改。

数据集

RoboGen 使用 PartNet-Mobility 进行任务生成和场景构建。我们提供了一个解析版本 这里（该版本解析 urdf 文件以提取关节树结构，作为 GPT-4 的简化输入）。下载后，请解压缩并将文件放入 data 文件夹中，使其显示为 data/dataset。

为了从 objaverse 中检索对象，我们使用 SentenceBert 对 objaverse 中的对象描述进行嵌入。 如果您想自行生成这些嵌入，请运行：

python objaverse_utils/embed_all_annotations.py
python objaverse_utils/embed_cap3d.py
python objaverse_utils/embed_partnet_annotations.py

我们还提供了这些嵌入 这里，以防生成耗时过长。下载后，请解压缩并将其放置在 objaverse_utils/data/ 文件夹下，使其显示为：

objaverse_utils/data/default_tag_embeddings_*.pt
objaverse_utils/data/default_tag_names_*.pt
objaverse_utils/data/default_tag_uids_*.pt
objaverse_utils/data/cap3d_sentence_bert_embeddings.pt
objaverse_utils/data/partnet_mobility_category_embeddings.pt

让我们开始吧！

一键完成所有操作

将您的 OpenAI API 密钥放在 gpt_4/query.py 的顶部，然后简单地运行：

source prepare.sh
python run.py

RoboGen 将自动生成任务，在 PyBullet 中构建场景，并解决问题以学习相应的技能。
如果您希望生成与特定物体相关的操作任务，例如微波炉，可以运行：

python run.py --category Microwave

生成任务

如果您只想生成任务，请运行：

python run.py --train 0

这将生成任务、场景配置 YAML 文件以及训练监督信息。生成的任务将存储在 data/generated_tasks_release/ 中。
如果您想根据文本描述生成任务，可以运行：

python gpt_4/prompts/prompt_from_description.py --task_description [TASK_DESCRIPTION] --object [PARTNET_ARTICULATION_OBJECT_CATEGORY]

例如：

python gpt_4/prompts/prompt_from_description.py --task_description "把笔放进盒子里" --object "Box"

学习技能

如果您只想通过生成的任务来学习技能，请运行以下命令：

python execute.py --task_config_path [生成任务配置文件的路径] # 用于操作任务
python execute_locomotion.py --task_config_path [生成任务配置文件的路径] # 用于运动任务

例如：

python execute.py --task_config_path example_tasks/Change_Lamp_Direction/Change_Lamp_Direction_The_robotic_arm_will_alter_the_lamps_light_direction_by_manipulating_the_lamps_head.yaml  
python execute_locomotion.py --task_config_path example_tasks/task_Turn_right/Turn_right.yaml

运行上述命令后，要检查技能学习结果：

• 对于操作任务：
  • 对于使用强化学习（RL）的子步骤：我们使用 RAY-RLlib 中实现的 SAC 算法进行 RL 训练。Ray RLlib 会将学习进度记录在 data/local/ray_results/{task_name}_{time_stamp} 目录下。您可以查看该文件夹中的奖励曲线可视化。例如，可以绘制 progress.csv 文件中的 episode_reward_mean 字段，以展示训练过程中评估回合的奖励变化。此外，Ray RLlib 还会使用 TensorBoard 将结果存储在 events.out.tfevents* 文件中，因此也可以使用 TensorBoard 进行可视化。 最终由 RL 学习到的技能将保存在 {path_to_your_task}/RL_sac/{time_stamp}/{substep_name} 目录下，例如：data/example_tasks/close_the_oven_door_Oven_101940_2023-09-21-22-28-23/task_close_the_oven_door/RL_sac/2023-09-22-02-05-05/close_the_oven_door。该目录下还会保存一段 GIF 动画，展示所学 RL 策略的执行过程、策略执行期间的所有仿真状态，以及最佳策略权重。RL 训练通常需要 1–2 小时才能收敛。我们正在努力切换到更优秀的 RL 学习库，并将在测试完成后更新代码库。
  • 对于使用基于运动规划的动作基元的子步骤：基元的结果将保存在 {path_to_your_task}/primitive_states/{time_stamp}/{substep_name} 目录下，例如：data/example_tasks/close_the_oven_door_Oven_101940_2023-09-21-22-28-23/task_close_the_oven_door/primitive_states/2023-10-06-03-00-07/grasp_the_oven_door。该目录下也会保存一段 GIF 动画，展示动作基元的执行过程以及执行期间的所有仿真状态。基于运动规划的动作基元通常可在 10 分钟内完成。
• 对于运动任务，我们使用 CEM 方法求解。学习结果应保存在 {path_to_your_task}/cem/ 目录下，例如：data/generated_tasks/locomotion_2023-10-30-17-43-31/task_Turn_right/cem/。该目录下会保存一段 MP4 视频，展示结果及执行过程中的所有仿真状态。CEM 通常需要约 10 分钟完成。注意：程序可能会以“AttributeError: 'NoneType' object has no attribute 'dumps'”的错误信息结束。如果 MP4 文件已成功生成，则可安全忽略此错误。

预生成的任务

在 example_tasks 目录中，我们包含了许多由 RoboGen 生成的任务。我们希望这些任务能对语言条件下的多任务学习、迁移学习以及低级技能学习等有所帮助。我们也将持续更新该列表！

致谢

• OMPL 与 PyBullet 之间的接口基于 pybullet_ompl。
• 部分 objaverse 注释来源于 Scalable 3D Captioning with Pretrained Models。

引用

如果您认为本代码库或论文对您的研究有帮助，请考虑引用以下文献：

@article{wang2023robogen,
  title={Robogen: Towards unleashing infinite data for automated robot learning via generative simulation},
  author={Wang, Yufei and Xian, Zhou and Chen, Feng and Wang, Tsun-Hsuan and Wang, Yian and Fragkiadaki, Katerina and Erickson, Zackory and Held, David and Gan, Chuang},
  journal={arXiv preprint arXiv:2311.01455},
  year={2023}
}

RoboGen 快速上手指南

RoboGen 是一个自引导、生成式的机器人智能体，能够自主提出新任务、生成对应环境并持续学习新的机器人技能。本项目基于 PyBullet 重实现了论文中的核心流程，支持刚性物体操作和移动任务的生成与学习。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.9 (根据 OMPL 预编译包版本建议)
• 依赖管理: Conda
• 前置知识: 熟悉基本的 Linux 命令行操作和 Python 环境配置
• API 密钥: 需要有效的 OpenAI API Key 用于任务生成

安装步骤

1. 克隆项目与创建环境

首先克隆代码仓库并创建 Conda 虚拟环境：

git clone https://github.com/Genesis-Embodied-AI/RoboGen.git
cd RoboGen
conda env create -f environment.yaml
conda activate robogen

注：如果 environment.yaml 安装失败，请手动安装缺失的包。

2. 安装运动规划库 (OMPL)

RoboGen 依赖 OMPL 进行运动规划。推荐直接使用预编译的 Python wheel 以避免源码编译错误（以 Python 3.9 为例）：

# 下载对应版本的 wheel (示例为 cp39)
wget https://github.com/ompl/ompl/releases/download/prerelease/ompl-1.6.0-cp39-cp39-manylinux_2_28_x86_64.whl
pip install ompl-1.6.0-cp39-cp39-manylinux_2_28_x86_64.whl

若必须从源码安装，请运行 ./install_ompl_1.5.2.sh --python，并注意脚本中第 19 行的系统升级命令可能导致问题，建议注释掉该行。安装后需手动将 OMPL 路径添加到当前 conda 环境的 .pth 文件中。

3. 准备数据集

RoboGen 使用 PartNet-Mobility 数据集。请下载解析后的版本并解压至 data 目录：

1. 下载 解析后的数据集。
2. 解压并将文件夹重命名为 dataset，确保目录结构为 data/dataset。

(可选) 若需自行生成 Objaverse 嵌入向量或下载预生成的嵌入文件，请参考 README 中的 Dataset 章节，将 .pt 文件放入 objaverse_utils/data/ 目录。

基本使用

1. 配置 API Key

在运行前，请将您的 OpenAI API Key 填入 gpt_4/query.py 文件的顶部。

2. 一键运行全流程

执行以下命令，RoboGen 将自动完成“生成任务 -> 构建场景 -> 学习技能”的全过程：

source prepare.sh
python run.py

指定对象类别生成任务： 如果您想针对特定物体（如微波炉）生成操作任务：

python run.py --category Microwave

3. 分步执行

仅生成任务： 生成任务配置、场景 YAML 文件和训练监督信号，不执行训练。结果保存在 data/generated_tasks_release/。

python run.py --train 0

根据文本描述生成特定任务：

python gpt_4/prompts/prompt_from_description.py --task_description "Put a pen into the box" --object "Box"

仅学习技能： 针对已生成的任务配置文件进行技能学习。

• 操作任务 (Manipulation):

  python execute.py --task_config_path example_tasks/Change_Lamp_Direction/Change_Lamp_Direction_The_robotic_arm_will_alter_the_lamps_light_direction_by_manipulating_the_lamps_head.yaml
  

  训练结果（包括 GIF 演示和模型权重）将保存在任务目录下的 RL_sac 或 primitive_states 文件夹中。RL 训练通常需 1-2 小时。

• 移动任务 (Locomotion):

  python execute_locomotion.py --task_config_path example_tasks/task_Turn_right/Turn_right.yaml
  

  结果将保存在 cem 文件夹中，通常耗时约 10 分钟。

4. 查看结果

• RL 训练日志: 查看 data/local/ray_results/{task_name}_{timestamp}/progress.csv 或使用 TensorBoard 查看 events.out.tfevents*。
• 演示视频: 在对应的任务输出目录中查找生成的 .gif 或 .mp4 文件。