机器人Transformer 2 (RT-2)：视觉-语言-动作模型

---

这是我实现的 RT-2 背后的模型。RT-2 以 PALM-E 作为骨干网络，结合视觉编码器和语言骨干网络，将图像嵌入并与语言嵌入在同一空间中拼接。这种架构设计起来相当简单，但缺乏对统一多模态表示以及各个模态表示的深入理解。

点击此处查看论文

安装

可以通过 pip 轻松安装 RT-2：

pip install rt2

使用方法

RT2 类是一个 PyTorch 模块，它将 PALM-E 模型集成到 RT-2 类中。以下是一些使用示例：

初始化

首先，你需要初始化 RT2 类。可以通过向构造函数提供必要的参数来完成：

import torch
from rt2.model import RT2

# img: (batch_size, 3, 256, 256)
# caption: (batch_size, 1024)
img = torch.randn(1, 3, 256, 256)
caption = torch.randint(0, 20000, (1, 1024))

# model: RT2
model = RT2()

# 在 img 和 caption 上运行模型
output = model(img, caption)
print(output)  # (1, 1024, 20000)

优势

RT-2 处于视觉、语言和动作的交汇处，为机器人领域提供了无与伦比的能力和显著的优势。

• 利用大规模网络数据集和第一手机器人数据，RT-2 在理解和将视觉及语义线索转化为机器人控制动作方面表现出色。
• RT-2 的架构基于成熟的模型，因此在各种应用中具有很高的成功率。
• 凭借清晰的安装说明和完善的文档示例，您可以快速将 RT-2 集成到您的系统中。
• RT-2 简化了多模态理解的复杂性，减轻了您在数据处理和动作预测流程中的负担。

模型架构

RT-2 将一个高容量的视觉-语言模型（VLM）与 RT-2 的机器人数据相结合，该 VLM 最初是在大规模网络数据上预训练的。VLM 使用图像作为输入，生成代表自然语言文本的标记序列。为了适应机器人控制，RT-2 在模型输出中以标记形式输出动作。

RT-2 同时使用网络数据和机器人数据进行微调。最终得到的模型能够解释机器人摄像头拍摄的图像，并预测机器人需要执行的直接动作。本质上，它将视觉和语言模式转换为面向行动的指令，这在机器人控制领域是一项非凡的成就。

数据集

论文中使用的数据集

数据集	描述	来源	在训练混合物中的百分比（RT-2-PaLI-X）	在训练混合物中的百分比（RT-2-PaLM-E）
WebLI	约 100 亿个跨 109 种语言的图像-文本对，筛选出跨模态相似度最高的前 10%，得到 10 亿个训练样本。	Chen 等（2023b），Driess 等（2023）	不适用	不适用
Episodic WebLI	未用于 RT-2-PaLI-X 的联合微调。	Chen 等（2023a）	不适用	不适用
机器人数据集	使用移动操作机器人收集的演示片段。每个演示都配有来自七种技能之一的自然语言指令。	Brohan 等（2022）	50%	66%
Language-Table	用于多个预测任务的训练。	Lynch 等（2022）	不适用	不适用

商业应用场景

RT-2 的独特能力为其带来了众多商业应用：

• 自动化工厂：RT-2 可以通过理解和响应复杂的视觉与语言提示，显著提升工厂的自动化水平。
• 医疗健康：在机器人手术或患者护理中，RT-2 能够根据视觉和语言指令理解并执行任务。
• 智能家居：将 RT-2 集成到智能家居系统中，可以实现更高效的自动化，并以更加细腻的方式理解用户指令。

贡献方式

我们始终欢迎对 RT-2 的贡献！请随时在 GitHub 仓库中提交问题或拉取请求。

联系方式

如有任何疑问或问题，请在 GitHub 上提交 issue，或联系 kyegomez。

引用信息

@inproceedings{RT-2,2023,
  title={},
  author={Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski,
Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu,
Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, Alexander Herzog,
Jasmine Hsu, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang,
Isabel Leal, Lisa Lee, Tsang-Wei Edward Lee, Sergey Levine, Yao Lu, Henryk Michalewski, Igor Mordatch,
Karl Pertsch, Kanishka Rao, Krista Reymann, Michael Ryoo, Grecia Salazar, Pannag Sanketi,
Pierre Sermanet, Jaspiar Singh, Anikait Singh, Radu Soricut, Huong Tran, Vincent Vanhoucke, Quan Vuong,
Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Jialin Wu, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu,
and Brianna Zitkovich},
  year={2024}
}

许可协议

RT-2 基于 MIT 许可协议提供。详情请参阅 LICENSE 文件。

RT-2 快速上手指南

RT-2 (Robotic Transformer 2) 是一个视觉 - 语言 - 动作模型，旨在将视觉和语义线索转化为机器人控制动作。本指南基于 kyegomez/RT-2 的开源实现，帮助开发者快速部署和测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: Python 3.8 或更高版本
• 核心依赖:
  • PyTorch (需预先安装与您的 CUDA 版本匹配的 PyTorch)
  • pip 包管理工具

提示：建议先安装 PyTorch。如果您在中国大陆，推荐使用清华源加速安装：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

使用 pip 直接安装 RT-2 库：

pip install rt2

国内加速方案：如果官方源下载缓慢，请使用以下命令通过清华镜像源安装：

pip install rt2 -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的代码示例，展示如何初始化模型并运行一次前向推理。

1. 创建一个新的 Python 文件（例如 demo.py）。
2. 复制并运行以下代码：

import torch
from rt2.model import RT2

# 1. 准备模拟输入数据
# img: 模拟图像输入 (batch_size, 通道数，高度，宽度)
img = torch.randn(1, 3, 256, 256)

# caption: 模拟文本指令输入 (batch_size, 序列长度)
# 这里生成随机整数作为 token ID
caption = torch.randint(0, 20000, (1, 1024))

# 2. 初始化 RT2 模型
model = RT2()

# 3. 执行前向传播
# 输入图像和文本指令，输出动作预测
output = model(img, caption)

# 4. 查看输出形状
# 预期输出形状: (batch_size, 序列长度, vocab_size)
print(output.shape)  # 输出示例: torch.Size([1, 1024, 20000])

说明：

• 该示例使用了随机生成的张量来模拟真实的图像和文本输入。
• 在实际应用中，您需要将真实摄像头捕获的图像预处理为 (B, 3, 256, 256) 格式，并将自然语言指令分词为对应的 Token ID 序列。
• 模型输出代表了预测的动作 Token 序列概率分布。