开放式X-具身化

开放式X-具身化旨在以统一的格式提供所有开源的机器人数据，以便于下游应用的使用。

首次使用开放式X-具身化数据集的论文是Open X-Embodiment: 机器人学习数据集和RT-X模型。

数据集访问

数据集结构

每个数据集都表示为一系列的episode，而每个episode则采用RLDS episode格式来表示。

数据集Colab

我们提供了一个自包含的Colab，演示如何可视化每个数据集中的几个episode，以及如何创建可用于训练和推理的数据批次。

数据集列表

我们提供了作为开源工作一部分的数据集列表及其元数据，详见数据集电子表格。

RT-1-X模型检查点

观测空间说明

该模型的输入包括来自机器人工作区相机的RGB图像，以及描述机器人应执行任务的任务字符串。

模型需要执行的具体任务完全通过任务字符串传达。图像则向模型传递当前的世界状态——假设模型以每秒三帧的速度运行，即每333毫秒，我们会将最新的一帧机器人工作区相机的RGB图像输入模型，以获取下一步的动作指令。

请注意，目前该模型不接受其他类型的相机图像，例如腕部相机、手部相机或深度信息。

动作空间说明

我们考虑的动作维度包括夹爪的七个变量：x、y、z坐标，以及滚转、俯仰、偏航角和夹爪的开合度。每个变量可以表示绝对值、相对于当前值的变化量，或者该维度上的速度。

经过训练的RT-1-X TensorFlow检查点的推理Colab演示了如何加载模型检查点，在离线episode上进行推理，并将预测动作与真实动作叠加显示。

RT-1-X JAX检查点

一个可用于rt1_inference_example.py中Flax检查点加载器的JAX检查点，可以通过以下命令下载：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/open_x_embodiment_and_rt_x_oss/rt_1_x_jax .

常见问题解答及常见问题

数据集未找到

如果您在尝试运行tfds.load({dataset_name})时遇到此问题：

tensorflow_datasets.core.registered.DatasetNotFoundError: 数据集 {dataset_name} 未找到。

请尝试手动下载数据集，运行以下命令：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/{dataset_name} ~/tensorflow_datasets/

成功下载后，您就可以使用常规的tfds.load({dataset_name})命令来加载该数据集了！

引用

如果您在研究中使用了开放式X-具身化数据集和RT-X，请引用。如果您特别使用了为联合项目贡献的数据集，也请一并引用这些数据集。数据集电子表格中包含了每个数据集的引用信息，供您参考。

许可与免责声明

本项目并非Google官方产品。

版权所有 © 2023 DeepMind Technologies Limited。

• 所有软件均采用Apache许可证2.0版（Apache 2.0）授权；除非符合Apache 2.0许可条款，否则不得使用本文件。您可以在以下网址获取Apache 2.0许可文本：https://www.apache.org/licenses/LICENSE-2.0

• 其他所有材料均采用知识共享署名4.0国际许可（CC-BY）授权。您可以在以下网址获取CC-BY许可文本：https://creativecommons.org/licenses/by/4.0/legalcode

• 除非适用法律另有规定或双方另有书面约定，否则在此依据Apache 2.0或CC-BY许可发布的所有软件和材料均按“现状”提供，不附带任何形式的明示或默示担保或条件。具体的权利和限制请参阅相关许可协议。

Open X-Embodiment 快速上手指南

Open X-Embodiment 旨在将所有开源机器人数据统一格式，以便下游任务轻松使用。本项目提供了标准化的数据集访问方式以及预训练的 RT-X 模型检查点。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。
• Python: 3.8 或更高版本。
• 核心依赖:
  • tensorflow (用于加载数据集和 TF 模型)
  • tensorflow_datasets (TFDS)
  • jax / flax (用于加载 JAX 版本的 RT-1-X 模型)
  • gsutil (Google Cloud Storage 工具，用于下载数据和模型)
• 硬件建议: 运行推理或训练建议使用带有 GPU 的环境。

安装基础依赖示例：

pip install tensorflow tensorflow_datasets jax flax

注意: 请确保已安装并配置好 gsutil 以访问 Google Cloud Storage 资源。

安装步骤

本项目主要通过 Python 包和云端资源交互，无需复杂的编译安装。主要步骤为获取数据集和模型检查点。

1. 获取数据集

数据集托管在 Google Cloud Storage 上。您可以选择通过 TFDS API 自动加载，或手动下载到本地。

方法 A：自动加载（推荐） 配置好 TFDS 后，代码中直接调用 tfds.load() 即可（需联网）。

方法 B：手动下载（适用于网络不稳定或需要离线使用） 使用 gsutil 将特定数据集下载到本地 tensorflow_datasets 目录：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/{dataset_name} ~/tensorflow_datasets/

请将 {dataset_name} 替换为您需要的具体数据集名称。

2. 获取 RT-1-X 模型检查点 (JAX 版本)

下载可用于 Flax 加载器的 JAX 格式模型检查点：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/open_x_embodiment_and_rt_x_oss/rt_1_x_jax .

基本使用

1. 浏览与加载数据

官方提供了一个完整的 Colab 示例，展示如何可视化数据片段并构建训练批次。您可以直接在浏览器中运行或参考其代码逻辑：

• 数据可视化与批处理示例: Open_X_Embodiment_Datasets.ipynb

数据遵循 RLDS episode format，每个数据集由一系列 episodes 组成。

2. 运行模型推理 (RT-1-X)

RT-1-X 模型接收两个输入：

1. RGB 图像: 来自机器人工作空间摄像头的当前状态图像。
2. 任务字符串 (Task String): 描述机器人需要执行的任务文本。

模型输出为机械臂的 7 维动作（x, y, z, roll, pitch, yaw, gripper opening），可以是绝对值、增量或速度。

推理示例: 参考官方提供的最小化推理脚本，演示如何加载检查点、对离线数据进行推理并对比预测动作与真实动作：

• TensorFlow 检查点推理示例: Minimal_example_for_running_inference_using_RT_1_X_TF.ipynb
• JAX/Flax 推理代码参考: rt1_inference_example.py

简单代码逻辑示意:

# 伪代码示例，具体实现请参考上述 Colab 或 Python 脚本
import tensorflow_datasets as tfds

# 加载数据集
dataset = tfds.load('{dataset_name}')

# 加载模型 (以 JAX 为例)
# from models.rt1_inference_example import load_checkpoint, run_inference
# model_params = load_checkpoint('./rt_1_x_jax')

# 准备输入：图像 + 任务文本
# image = ... # RGB image tensor
# task = "pick up the block"

# 执行推理
# action = run_inference(model_params, image, task)

更多详细的数据集列表及元数据，请参阅 官方数据集表格。