GR00T 梦想

NVIDIA Isaac GR00T-Dreams 蓝图利用 NVIDIA Cosmos 世界基础模型，通过单张图像和语言指令生成海量的合成轨迹数据。这使得机器人无需特定的遥操作数据，便能在陌生环境中学习新任务。

作为第一步，我们发布了 DreamGen：通过视频世界模型解锁机器人学习中的泛化能力 网站 | 论文

我们提供了 DreamGen 的完整流程，其中 Cosmos-Predict2 作为视频世界模型被纳入该仓库。本仓库分为以下几部分：

1. 微调视频世界模型
2. 生成合成视频
3. 提取 IDM 动作
4. 在 GR00T N1 上进行微调
5. 复现 DreamGenBench 数据

请按照 cosmos-predict2-setup 中的说明安装 cosmos-predict2 的运行环境。

高阶工作流请参见 参考架构。

1. 微调视频世界模型

详情请参阅 cosmos-predict2/documentations/training_gr00t.md。

2. 使用微调后的视频世界模型生成合成机器人视频

详情请参阅 cosmos-predict2/documentations/training_gr00t.md#inference-for-dreamgen-benchmark。

3. 使用微调后的 IDM 模型将机器人动作提取为 LeRobot 格式

3.1 转换目录结构

此步骤将第 2 步中的目录结构转换为第 3.2 步所需的格式。

此脚本用于将第 2 步的目录结构转换为第 3 步所需的格式。
在第 2 步中，目录结构如下：

results/dream_gen_benchmark/
└── cosmos_predict2_14b_gr1_object/
    ├── 0_用右手拿起抹刀，并将碗中的食物盛到金属盘上.mp4
    ├── 1_用右手关上饭盒.mp4
    └── ...

而在第 3 步中，目录结构应为：

results/dream_gen_benchmark/
└── cosmos_predict2_14b_gr1_object_step3/
    ├── 用右手拿起抹刀，并将碗中的食物盛到金属盘上/0.mp4
    ├── 用右手关上饭盒/0.mp4
    └── ...

将第 2 步中由 cosmos-predict2 生成的视频保存至 ${COSMOS_PREDICT2_OUTPUT_DIR}。

python IDM_dump/convert_directory.py \
    --input_dir "${COSMOS_PREDICT2_OUTPUT_DIR}" \
    --output_dir "results/dream_gen_benchmark/cosmos_predict2_14b_gr1_object_step3"

3.2 对生成的视频进行预处理

脚本位于 IDM_dump/scripts/preprocess 文件夹下。请在命令中将 source_dir 替换为你自己的包含生成视频的数据集路径。每个脚本都针对特定的机器人形态设计。目前我们支持以下形态：

• franka：Franka Emika Panda 机械臂
• gr1：Fourier GR1 类人机器人
• so100：SO-100 机械臂
• robocasa：RoboCasa（仿真）

（可选）3.3 训练自定义 IDM 模型

注意：仅当目标机器人形态不同于我们提供的四种形态（franka、gr1、so100 和 robocasa）时才需要执行此步骤。

在 DreamGen 环境中训练 IDM 模型

给定特定机器人的少量真实轨迹数据，我们可以训练一个 IDM 模型。以下示例命令将在 robot_sim.PickNPlace 演示数据集上训练 IDM 模型。

PYTHONPATH=. torchrun scripts/idm_training.py --dataset-path demo_data/robot_sim.PickNPlace/ --embodiment_tag gr1

另一个示例命令将在 robocasa_panda_omron 形态（RoboCasa 仿真）上训练 IDM 模型。

PYTHONPATH=. torchrun scripts/idm_training.py --dataset-path <数据集路径> --data-config single_panda_gripper --embodiment_tag "robocasa_panda_omron"

对于其他形态，你需要添加两样东西：1）IDM_dump/global_metadata/{embodiment_name} 下的 modality.json 和 stats.json 文件，2）在 gr00t/experiment/data_config_idm.py 中添加针对新形态的数据配置信息。

4. 在 GR00T N1 上进行微调

脚本位于 IDM_dump/scripts/finetune 文件夹下。每个脚本都针对特定的机器人形态设计。目前我们支持以下形态：

• franka：Franka Emika Panda 机械臂
• gr1：Fourier GR1 类人机器人
• so100：SO-100 机械臂
• robocasa：RoboCasa（仿真）

推荐的微调配置是将批次大小调至最大值，并训练 2 万步。请在 DreamGen 环境中运行该命令。

5. DreamGen 基准测试

我们提供了用于评估《DreamGen》论文中指令遵循（IF）和物理对齐（PA）的代码。

环境

评估前

请确保你的视频目录及文件名结构如下：

/mnt/amlfs-01/home/joelj/human_evals/
└── cosmos_predict2_gr1_env/
    ├── 0_用右手拿起抹刀，并将碗中的食物盛到金属盘上.mp4
    ├── 1_用右手关上饭盒.mp4
    ├── 2_用右手关上黑色抽屉.mp4
    ├── 3_用右手关上汤盆盖.mp4
    .......

评估

# 成功率（由 Qwen2.5-VL 评估）
video_dir={YOUR_VIDEO_DIR} # 结构如上所述
csv_path={SAVE_PATH}
device="cuda:0"
python -m dreamgenbench.eval_sr_qwen_whole \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --device "$device"

# 如果你是零样本模型，可以指定 zeroshot 标志
python -m dreamgenbench.eval_sr_qwen_whole \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --device "$device" \
    --zeroshot true

# 成功率（由 GPT-4o 评估）
video_dir={YOUR_VIDEO_DIR} # 结构如上所述
csv_path={SAVE_PATH}
api_key={YOUR_OPENAI_API_KEY}
device="cuda:0"
python -m dreamgenbench.eval_sr_gpt4o_whole \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --api_key "$api_key"

# 如果您使用的是零样本模型，可以将标志设置为 zeroshot
python -m dreamgenbench.eval_sr_gpt4o_whole \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --zeroshot true \
    --api_key "$api_key"

# 物理对齐（使用 QWEN-VL，获取 PA 分数 I）
python -m dreamgenbench.eval_qwen_pa
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --device "$device"

请参考 videophy 文件夹中的 README 文件以评估 PA 分数 II，然后对 PA 分数 I 和 II 的得分取平均值。

我们的基准测试旨在尽可能友好地服务于研究社区，因此每个数据集仅选择了约 50 个视频，并使用相对较小的开源 VLM 进行主要评估。因此，我们的评估协议可能并不适用于某些 OOD 场景，例如多视角视频、对物理细节的精确判断等。

@article{jang2025dreamgen,
  title={DreamGen：通过视频世界模型解锁机器人学习中的泛化能力},
  author={Jang, Joel 和 Ye, Seonghyeon 和 Lin, Zongyu 和 Xiang, Jiannan 和 Bjorck, Johan 和 Fang, Yu 和 Hu, Fengyuan 和 Huang, Spencer 和 Kundalia, Kaushil 和 Lin, Yen-Chen 等},
  journal={arXiv 预印本 arXiv:2505.12705v2},
  year={2025}
}

GR00T-Dreams 快速上手指南

GR00T-Dreams 是 NVIDIA 推出的开源工具，利用 Cosmos 世界基础模型，仅需单张图片和语言指令即可生成海量合成机器人轨迹数据。该工具旨在帮助机器人在无需特定遥操作数据的情况下，学习陌生环境中的新任务。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存充足以运行视频生成模型)
• 前置依赖:
  • Python 3.8+
  • PyTorch (与 CUDA 版本匹配)
  • Git
• 核心依赖: 本项目依赖 cosmos-predict2 作为视频世界模型。

注意：由于主要依赖 NVIDIA 官方仓库，国内用户建议在配置网络代理或使用学术加速镜像的环境下进行克隆和依赖安装，以确保 github.com 和 huggingface.co 相关资源的顺利下载。

2. 安装步骤

2.1 设置 Cosmos-Predict2 环境

首先，按照官方文档配置 cosmos-predict2 的基础环境。这是生成合成视频的核心引擎。

# 克隆 cosmos-predict2 仓库 (建议使用镜像加速)
git clone https://github.com/nvidia-cosmos/cosmos-predict2.git
cd cosmos-predict2

# 按照官方文档安装依赖并设置环境
# 参考文档：documentations/post-training_video2world_gr00t.md

2.2 获取 GR00T-Dreams 代码

克隆本仓库并进入目录：

git clone https://github.com/NVIDIA-ISAAC-ROS/gr00t-dreams.git
cd gr00t-dreams

2.3 配置 DreamGen 环境

确保在激活了 cosmos-predict2 环境的终端中操作，或根据项目需求安装额外的 Python 依赖（如 IDM_dump 模块所需的库）。

# 示例：安装当前目录下的额外依赖（如果存在 requirements.txt）
pip install -e .

3. 基本使用流程

本指南演示从微调模型到生成数据的最简核心流程。

步骤 1：微调视频世界模型

使用特定数据集对 Cosmos 模型进行后训练（Post-training），使其适应机器人任务。具体参数请参考 cosmos-predict2 文档中的 training_gr00t.md。

步骤 2：生成合成机器人视频

利用微调后的模型，通过图片 + 文本指令生成合成视频。

# 执行推理生成视频 (参考 cosmos-predict2 文档中的 inference 部分)
# 生成的视频将保存在 ${COSMOS_PREDICT2_OUTPUT_DIR}

步骤 3：转换目录结构

生成的视频目录结构需要调整，以便后续提取动作数据。运行以下脚本将结构转换为 IDM 模型所需的格式：

python IDM_dump/convert_directory.py \
    --input_dir "${COSMOS_PREDICT2_OUTPUT_DIR}" \
    --output_dir "results/dream_gen_benchmark/cosmos_predict2_14b_gr1_object_step3"

步骤 4：预处理视频并提取动作 (IDM)

根据机器人的本体（Embodiment）运行预处理脚本。目前支持 franka, gr1, so100, robocasa。

# 进入预处理脚本目录
cd IDM_dump/scripts/preprocess

# 替换 source_dir 为您的实际数据集路径
# 示例：针对 GR1 机器人进行处理 (具体脚本文件名请参考目录下对应 embodiment 的脚本)
python preprocess_gr1.py --source_dir /path/to/your/videos

(可选) 如果您的机器人本体不在上述支持列表中，需先收集少量真实轨迹数据，使用以下命令训练自定义 IDM 模型：

PYTHONPATH=. torchrun scripts/idm_training.py --dataset-path demo_data/robot_sim.PickNPlace/ --embodiment_tag gr1

步骤 5：在 GR00T N1 上微调策略

使用提取出的动作数据（LeRobot 格式）对 GR00T N1 策略模型进行微调。

# 进入微调脚本目录
cd IDM_dump/scripts/finetune

# 运行对应本体的微调脚本
# 建议配置：最大化 Batch Size，训练 20k steps
python finetune_gr1.py --config_path <your_config>

步骤 6：评估 (DreamGen Bench)

使用提供的脚本评估生成视频的“指令遵循度 (IF)"和“物理一致性 (PA)"。

评估成功率 (Success Rate):

# 使用 Qwen2.5-VL 评估
video_dir=/path/to/videos
csv_path=./results.csv
device="cuda:0"

python -m dreamgenbench.eval_sr_qwen_whole \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --device "$device"

评估物理一致性 (Physics Alignment):

python -m dreamgenbench.eval_qwen_pa \
    --video_dir "$video_dir" \
    --output_csv "$csv_path" \
    --device "$device"

提示：评估前请确保视频目录结构符合文档要求（例如：0_指令描述.mp4, 1_指令描述.mp4）。