3D-VLA: 一种 3D 视觉 - 语言 - 动作生成式世界模型

ICML 2024

Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

目录

1. 方法
2. 安装
3. 具身扩散模型
   • 目标图像生成
   • 目标点云生成
4. 多模态大语言模型
   • 预训练 3D-VLA
5. 引用
6. 致谢

新闻 📢

• [2024/10] 所有扩散模型已在 Hugging Face 上发布！你可以在 这里 找到这些模型。我们还提供了 模型卡片 以获取详细信息。运行推理代码将自动下载最新模型。
• [2024/07] 3D-VLA 预训练代码和目标图像生成的 LDM 检查点已发布。
• [2024/06] 目标生成扩散模型的训练和推理代码已发布。
• [2024/05] 3D-VLA 已被 ICML 2024 录用！
• [2024/03] 论文 已上传至 arXiv。

方法

3D-VLA 是一个将视觉 - 语言 - 动作 (VLA) 模型连接到 3D 物理世界的框架。与传统 2D 模型不同，3D-VLA 通过生成式世界模型整合了 3D 感知、推理和动作，类似于人类的认知过程。它基于 3D-LLM 构建，并使用交互 token 与环境进行交互。具身扩散模型经过训练并与大语言模型 (LLM) 对齐，以预测目标图像和点云。

安装

conda create -n 3dvla python=3.9
conda activate 3dvla
pip install -r requirements.txt

我们将来会更新文件结构和安装流程。

我们为 3D-VLA 模型提供了一个 模型卡片。模型卡片包含任务描述、模型描述以及训练数据集。

具身扩散模型

目标图像生成

使用以下命令训练目标图像潜在扩散模型。如果您想包含深度信息，可以在 train_ldm.sh 文件的命令中添加 --include_depth。

bash launcher/train_ldm.sh [NUM_GPUS] [NUM_NODES]

然后您可以生成目标图像。结果将保存在 lavis/output/LDM/pix2pix/results 文件夹中。

python inference_ldm_goal_image.py \
    --ckpt_folder lavis/output/LDM/pix2pix/runs (--include_depth)

我们已在 Hugging Face 上发布了我们的模型：goal-image 和 goal-depth。可以使用以下命令运行简单的演示：

python inference_ldm_goal_image.py \
    --ckpt_folder anyezhy/3dvla-diffusion \
    --image docs/cans.png --text "knock pepsi can over" \
    --save_path result.png

python inference_ldm_goal_image.py \
    --ckpt_folder anyezhy/3dvla-diffusion-depth --include_depth \
    --image docs/bottle.png --text "move water bottle near sponge" \
    --save_path result.png

目标点云生成

我们为目标点云扩散模型实现了 xFormers。您可以安装它并加速训练和推理过程。

训练目标点云扩散模型（微调预训练的 Point-E 模型）。

bash launcher/train_pe.sh [NUM_GPUS] [NUM_NODES]

我们已在 Hugging Face 上发布了我们的模型：goal-point-cloud。使用以下命令推理目标点云。如果您想使用多个 GPU，请改用 torchrun --nproc_per_node=[NUM_GPUS] --master_port=[PORT] inference_pe_goal_pcd.py。

python inference_pe_goal_pcd.py \
  --input_npy docs/point_cloud.npy --text "close bottom drawer" \
  --output_dir SAVE_PATH

python inference_pe_goal_pcd.py \
  --input_npy docs/money.npy \
  --text "put the money away in the safe on the bottom shelf"

多模态大语言模型

预训练 3D-VLA

训练我们的 3D-VLA 模型：

bash launcher/train_llm.sh [NUM_GPUS] [NUM_NODES]

引用

@article{zhen20243dvla,
  author = {Zhen, Haoyu and Qiu, Xiaowen and Chen, Peihao and Yang, Jincheng and Yan, Xin and Du, Yilun and Hong, Yining and Gan, Chuang},
  title = {3D-VLA: 3D Vision-Language-Action Generative World Model},
  journal = {arXiv preprint arXiv:2403.09631},
  year = {2024},
}

致谢

在此，我们要感谢以下资源及其杰出的工作：

• SAM、ConceptFusion 和 3D-CLR 用于数据处理。
• Diffusers、InstructPix2Pix、StableDiffusion 和 Point-E 用于扩散模型。
• LAVIS 和 3D-LLM 用于代码库和架构。
• OpenX 用于数据集。
• RLBench 和 Hiveformer 用于评估。

3D-VLA 快速上手指南

3D-VLA 是一个将视觉 - 语言 - 动作（VLA）模型连接到 3D 物理世界的生成式世界模型框架。它基于 3D-LLM，通过生成式模型实现 3D 感知、推理和动作预测，支持目标图像生成和目标点云生成等任务。该工具已收录于 ICML 2024。

---

1. 环境准备

• 操作系统: Linux / macOS / Windows (推荐 Linux 用于训练)
• Python 版本: 3.9
• 依赖管理: Conda
• 硬件要求: 建议配备 NVIDIA GPU 以运行扩散模型和训练任务。

---

2. 安装步骤

请在终端中执行以下命令创建虚拟环境并安装依赖：

conda create -n 3dvla python=3.9
conda activate 3dvla
pip install -r requirements.txt

注意: 推理代码会自动从 Hugging Face 下载预训练模型，请确保网络可访问 huggingface.co。如需加速下载，可配置国内镜像源。

---

3. 基本使用（推理示例）

本工具提供了预训练模型，您可以直接运行推理代码进行体验。

3.1 目标图像生成 (Goal Image Generation)

使用预训练的扩散模型生成目标图像。

python inference_ldm_goal_image.py \
    --ckpt_folder anyezhy/3dvla-diffusion \
    --image docs/cans.png --text "knock pepsi can over" \
    --save_path result.png

若需包含深度信息（Depth），请使用以下命令：

python inference_ldm_goal_image.py \
    --ckpt_folder anyezhy/3dvla-diffusion-depth --include_depth \
    --image docs/bottle.png --text "move water bottle near sponge" \
    --save_path result.png

3.2 目标点云生成 (Goal Point Cloud Generation)

使用预训练的 Point-E 微调模型生成目标点云。

python inference_pe_goal_pcd.py \
    --input_npy docs/point_cloud.npy --text "close bottom drawer" \
    --output_dir SAVE_PATH

---

4. 引用信息

如果您在研究中使用此代码或模型，请引用：

@article{zhen20243dvla,
  author = {Zhen, Haoyu and Qiu, Xiaowen and Chen, Peihao and Yang, Jincheng and Yan, Xin and Du, Yilun and Hong, Yining and Gan, Chuang},
  title = {3D-VLA: 3D Vision-Language-Action Generative World Model},
  journal = {arXiv preprint arXiv:2403.09631},
  year = {2024},
}

更多详细信息请访问 项目主页 或查看 论文。