NVIDIA DreamZero：世界动作模型即零样本策略

来自 NVIDIA GEAR 实验室 的一项研究项目。

[项目页面] [论文]

DreamZero 是一种联合预测动作与视频的世界动作模型，在未见过的任务上实现了强大的零样本性能。本发布包包含加载预训练的 DreamZero 模型并通过 WebSocket 服务器进行分布式推理所需的一切。

最新消息

• 02月27日： DreamZero 在 MolmoSpaces 和 RoboArena 上均位居榜首！DreamZero-DROID 仅使用 DROID 数据集从头开始训练——不同于其他竞争性视觉语言代理，它并未在大规模机器人数据上进行预训练。这充分证明了基于视频模型的骨干网络在通用机器人策略（VAMs/WAMs）中的强大能力。
• 02月27日： 发布了 DreamZero-AgiBot 检查点以及用于高效少样本适应的 后训练代码。只需针对您的特定机器人使用约 30 分钟的游戏数据进行后训练，即可让机器人完成基本的语言指令执行和抓取放置任务（更多细节请参阅我们论文中的 YAM 实验）。
• 02月20日： 发布了 完整的训练代码库、预处理后的数据集以及新机器人形态指南，以复现 DreamZero-DROID 检查点并在您自己的机器人上进行训练。请参阅 为 DreamZero 添加新机器人形态，获取分步操作指南。

功能特性

现已可用

• 预训练的 DreamZero-DROID 模型检查点 [Huggingface]
• 预训练的 DreamZero-AgiBot 检查点（用于在新机器人形态上进行后训练）[Huggingface]
• 分布式 WebSocket 推理服务器（GB200、H100）
• DiT 缓存以优化推理（GB200 约 0.6 秒，H100 约 3 秒）
• DROID 模拟评估支持
• RoboArena 集成（DROID 实机）
• 视频生成与保存（MP4）
• LoRA 及全量微调训练脚本
• 新机器人形态（AgiBot、YAM）的训练——详见 指南

即将推出

• PolaRiS 模拟环境支持
• Genie 3.0 模拟环境支持 DreamZero-AgiBot

使用 API 在模拟环境中测试 DreamZero

我们提供了一个推理脚本，可直接在 sim_evals 上评估托管的 DreamZero-DROID 策略。要测试该策略，请先通过此表格 链接 申请 API 访问权限。然后按照以下步骤安装 sim_evals 并启动评估。

# 克隆仓库
git clone --recurse-submodules https://github.com/arhanjain/sim-evals.git
cd sim-evals

# 安装 uv
curl -LsSf https://astral.sh/uv/install.sh | sh

# 激活 uv 环境
uv sync
source .venv/bin/activate

# 【可选】更新 PyTorch 版本
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu129

# 下载资源（可能需要先导出 HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>）
uvx hf download owhan/DROID-sim-environments --repo-type dataset --local-dir assets

# 运行评估脚本
cd ..
python eval_utils/run_sim_eval.py --host <API_HOST> --port <API_PORT> 

输出将保存在 runs 目录中。

快速入门

前置条件

• Python：3.11
• 硬件：多 GPU 配置（已在 GB200、H100 上测试）
  • 最低要求：2 张 GPU 用于分布式推理
• CUDA：兼容 CUDA 12.9+ 的 GPU

安装步骤

1. 创建 conda 环境：

conda create -n dreamzero python=3.11
conda activate dreamzero

2. 安装依赖项（PyTorch 2.8+，CUDA 12.9+）：

pip install -e . --extra-index-url https://download.pytorch.org/whl/cu129

3. 安装 Flash Attention：

MAX_JOBS=8 pip install --no-build-isolation flash-attn

4. 【仅限 GB200，H100 跳过】安装 Transformer Engine：

pip install --no-build-isolation transformer_engine[pytorch]

5. 【仅限 GB200，TensorRT 适用，H100 跳过】安装 Tensorrt：

pip install tensorrt==10.13.2.6 tensorrt_cu13==10.13.2.6 tensorrt_cu13_libs==10.13.2.6 tensorrt_cu13_bindings==10.13.2.6 --no-deps
pip install transformer_engine==2.10.0 transformer_engine_cu12==2.10.0 transformer_engine_torch==2.10.0

下载预训练检查点

DreamZero-DROID（用于推理）

我们在 Huggingface 上发布了 14B 参数的 DROID 预训练检查点。要下载该检查点，请运行：

hf download GEAR-Dreams/DreamZero-DROID --repo-type model --local-dir <path/to/checkpoint>

DreamZero-AgiBot（用于在新机器人形态上微调）

要将 DreamZero 微调到新的机器人形态（如 YAM、AgiBot），请将预训练的 DreamZero-AgiBot 检查点（约 45GB）下载至 ./checkpoints/DreamZero-AgiBot：

git clone https://huggingface.co/GEAR-Dreams/DreamZero-AgiBot ./checkpoints/DreamZero-AgiBot

或使用 Hugging Face CLI：

hf download GEAR-Dreams/DreamZero-AgiBot --repo-type model --local-dir ./checkpoints/DreamZero-AgiBot

YAM 和 AgiBot 的训练脚本默认使用 pretrained_model_path=./checkpoints/DreamZero-AgiBot。有关用法，请参阅 新机器人形态指南。

运行推理服务器

命令概览

推理服务器使用 PyTorch 分布式训练工具在多个 GPU 上并行化模型：

CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 5000 --enable-dit-cache --model-path <path/to/checkpoint>

（仅限 GB200）Tensorrt 可实现更快的生成：

export LOAD_TRT_ENGINE=<path/to/checkpoint>/tensorrt/wan/WanModel_nvfp4.trt 
export DYNAMIC_CACHE_SCHEDULE=true 
CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 /mnt/aws-lfs-02/shared/seonghyeony/dreamzero/socket_test_optimized_AR.py --port 8000 --enable-dit-cache --model-path <path/to/checkpoint>

为验证服务器是否正常工作，可运行一个测试客户端。前几次推理需要几分钟来预热。预热完成后，GB200 上的推理耗时约 0.6 秒，H100 上则约为 3 秒。

python test_client_AR.py --port 5000

命令行参数

• --port: WebSocket 服务器的端口号（默认：8000）
• --model-path: 预训练模型检查点目录的路径
• --enable-dit-cache: 启用 DiT 层缓存以加快推理速度（推荐）
• --max-chunk-size: 覆盖推理的最大块大小（可选）
• --timeout-seconds: 服务器超时时间，单位为秒（默认：50000）
• --index: 用于输出目录命名的索引（默认：0）

输出

服务器会保存：

• 视频: 生成的视频预测以 MP4 文件形式保存在 {model_path}/real_world_eval_gen_{date}_{index}/{checkpoint_name}/
• 输入观测: 每条消息的输入观测保存在 {output_dir}/inputs/{msg_index}_{timestamp}/

训练

要在新的机器人本体上进行训练吗？ 请参阅 将新本体添加到 DreamZero，其中提供了关于如何转换数据集、配置模态以及启动训练的完整指南。请确保对齐 3 个摄像头的视图顺序，以保证正向迁移。

下载预训练基础模型权重

DreamZero 构建于 Wan2.1-I2V-14B-480P 之上，并使用 umt5-xxl 分词器。在开始训练前，请先下载这两个模型：

pip install "huggingface_hub[cli]"

# 您可能需要设置您的 HuggingFace 令牌：
# export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>

# 下载 Wan2.1 模型权重 (~28GB)
hf download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./checkpoints/Wan2.1-I2V-14B-480P

# 下载 umt5-xxl 分词器
hf download google/umt5-xxl --local-dir ./checkpoints/umt5-xxl

注意: 如果在配置的路径中未找到这些文件，训练脚本会自动下载它们，但建议提前下载以避免启动时的延迟。

DROID 数据集

我们已在 HuggingFace 上发布了用于训练 DreamZero 的预处理 DROID 数据集：GEAR-Dreams/DreamZero-DROID-Data。

该数据集源自 DROID 1.0.1 数据集，并进行了以下修改：

• 从 RLDS/TFDS 格式转换为 LeRobot v2.0 格式
• 使用 Physical Intelligence 的空闲帧检测器 (droid_sample_ranges_v1_0_1.json) 删除了空闲帧
• 过滤掉了没有语言标注的片段
• 只保留成功片段（奖励非零的片段）
• 使用 3 个摄像头视图：exterior_image_1_left、exterior_image_2_left 和 wrist_image_left

下载预处理后的数据集 (~131GB）：

huggingface-cli download GEAR-Dreams/DreamZero-DROID-Data --repo-type dataset --local-dir ./data/droid_lerobot

如果您想自行从原始 DROID 1.0.1 数据集重新生成数据集（或修改过滤条件），请参阅 docs/DROID_CONVERSION.md。

运行训练

# 配置路径（根据需要覆盖默认值）
export DROID_DATA_ROOT="./data/droid_lerobot"
export OUTPUT_DIR="./checkpoints/dreamzero_droid"
export NUM_GPUS=4

# 指向您下载的模型权重（如果未使用默认路径）
export WAN_CKPT_DIR="./checkpoints/Wan2.1-I2V-14B-480P"
export TOKENIZER_DIR="./checkpoints/umt5-xxl"

# 启动训练
bash scripts/train/droid_training.sh

使用 Wan2.2-TI2V-5B 主干网络（5B 参数，显存占用更低）： 如果您希望使用较小的 Wan2.2-TI2V-5B 模型代替 Wan2.1-I2V-14B 进行训练，请参阅 docs/WAN22_BACKBONE.md，并运行 bash scripts/train/droid_training_wan22.sh。

训练配置

训练脚本使用 Hydra 进行配置，并采用 DeepSpeed ZeRO Stage 2 进行分布式训练。主要默认设置如下：

参数	默认值	描述
NUM_GPUS	4	GPU 数量
per_device_train_batch_size	1	每块 GPU 的批量大小
learning_rate	1e-5	学习率
max_steps	10	最大训练步数（完整训练时需增加）
warmup_ratio	0.05	热身比例
weight_decay	1e-5	权重衰减
image_resolution_width	320	图像宽度
image_resolution_height	176	图像高度
num_frames	33	视频帧数
action_horizon	24	动作预测范围
save_lora_only	true	只保存 LoRA 权重
bf16	true	使用 bfloat16 精度

注意: max_steps=10 是为了快速验证而设置的。若要进行完整训练，请将其增加到所需的步数，并相应地配置 save_steps 和 save_strategy。

引用

如果您在研究中使用 DreamZero，请引用以下内容：

@misc{ye2026worldactionmodelszeroshot,
      title={World Action Models are Zero-shot Policies}, 
      author={Seonghyeon Ye and Yunhao Ge and Kaiyuan Zheng and Shenyuan Gao and Sihyun Yu and George Kurian and Suneel Indupuru and You Liang Tan and Chuning Zhu and Jiannan Xiang and Ayaan Malik and Kyungmin Lee and William Liang and Nadun Ranawaka and Jiasheng Gu and Yinzhen Xu and Guanzhi Wang and Fengyuan Hu and Avnish Narayan and Johan Bjorck and Jing Wang and Gwanghyun Kim and Dantong Niu and Ruijie Zheng and Yuqi Xie and Jimmy Wu and Qi Wang and Ryan Julian and Danfei Xu and Yilun Du and Yevgen Chebotar and Scott Reed and Jan Kautz and Yuke Zhu and Linxi "Jim" Fan and Joel Jang},
      year={2026},
      eprint={2602.15922},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2602.15922}, 
}

许可证

本项目采用 Apache License 2.0 许可证。

支持

如遇问题或疑问：

• 请查看上方的故障排除部分
• 查看服务器日志以获取详细的错误信息
• 确认您的检查点与当前版本兼容

DreamZero 快速上手指南

DreamZero 是 NVIDIA GEAR Lab 推出的“世界动作模型”（World Action Model），能够联合预测动作和视频，在未见过的任务上实现强大的零样本（Zero-Shot）性能。本指南将帮助您快速部署预训练模型并进行推理或微调。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.11
• 硬件要求:
  • 多 GPU 设置（已测试 GB200, H100）。
  • 最低配置: 分布式推理至少需要 2 张 GPU。
  • CUDA: 兼容 CUDA 12.9+ 的 GPU。
• 依赖库: PyTorch 2.8+ (需匹配 CUDA 12.9+)。

注意：本项目对显存和计算能力要求较高，建议使用高性能服务器环境。

安装步骤

1. 创建 Conda 环境

conda create -n dreamzero python=3.11
conda activate dreamzero

2. 安装核心依赖

安装项目依赖及指定版本的 PyTorch（CUDA 12.9+）：

pip install -e . --extra-index-url https://download.pytorch.org/whl/cu129

3. 安装 Flash Attention

MAX_JOBS=8 pip install --no-build-isolation flash-attn

4. 特定硬件额外安装 (可选)

如果您使用的是 NVIDIA GB200，需额外安装 Transformer Engine 和 TensorRT 以获得最佳性能。H100 用户可跳过此步。

安装 Transformer Engine:

pip install --no-build-isolation transformer_engine[pytorch]

安装 TensorRT (仅 GB200):

pip install tensorrt==10.13.2.6 tensorrt_cu13==10.13.2.6 tensorrt_cu13_libs==10.13.2.6 tensorrt_cu13_bindings==10.13.2.6 --no-deps
pip install transformer_engine==2.10.0 transformer_engine_cu12==2.10.0 transformer_engine_torch==2.10.0

基本使用

场景一：运行推理服务器 (Inference)

此步骤用于加载预训练的 DreamZero-DROID 模型并启动 WebSocket 服务，供机器人或仿真环境调用。

1. 下载预训练模型

从 Hugging Face 下载 DROID 检查点（约 14B 参数）：

hf download GEAR-Dreams/DreamZero-DROID --repo-type model --local-dir <path/to/checkpoint>

(注：如果国内访问 Hugging Face 较慢，建议配置镜像源或使用代理)

2. 启动推理服务

使用多卡并行启动服务器。以下命令以 2 张 GPU 为例：

通用启动命令 (H100/GB200):

CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 5000 --enable-dit-cache --model-path <path/to/checkpoint>

GB200 加速启动命令 (启用 TensorRT):

export LOAD_TRT_ENGINE=<path/to/checkpoint>/tensorrt/wan/WanModel_nvfp4.trt 
export DYNAMIC_CACHE_SCHEDULE=true 
CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 8000 --enable-dit-cache --model-path <path/to/checkpoint>

3. 测试连接

启动另一个终端运行测试客户端，验证服务是否正常工作（首次推理会有几分钟预热时间，后续在 GB200 上约为 0.6s/次，H100 上约为 3s/次）：

python test_client_AR.py --port 5000

生成的视频将保存在 {model_path}/real_world_eval_gen_{date}_{index}/{checkpoint_name}/ 目录下。

---

场景二：训练与微调 (Training)

如果您希望在新机器人本体（如 AgiBot, YAM）上进行微调，或复现 DROID 训练过程。

1. 下载基础模型权重

DreamZero 基于 Wan2.1 和 umt5-xxl 构建，需先下载权重：

pip install "huggingface_hub[cli]"

# 下载 Wan2.1 模型权重 (~28GB)
hf download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./checkpoints/Wan2.1-I2V-14B-480P

# 下载 umt5-xxl 分词器
hf download google/umt5-xxl --local-dir ./checkpoints/umt5-xxl

2. 下载数据集 (以 DROID 为例)

下载预处理好的 LeRobot v2.0 格式数据集：

huggingface-cli download GEAR-Dreams/DreamZero-DROID-Data --repo-type dataset --local-dir ./data/droid_lerobot

3. 启动训练

配置环境变量并运行训练脚本：

export DROID_DATA_ROOT="./data/droid_lerobot"
export OUTPUT_DIR="./checkpoints/dreamzero_droid"
export NUM_GPUS=4
export WAN_CKPT_DIR="./checkpoints/Wan2.1-I2V-14B-480P"
export TOKENIZER_DIR="./checkpoints/umt5-xxl"

bash scripts/train/droid_training.sh

提示: 默认配置中 max_steps=10 仅用于快速 sanity check。正式训练请修改脚本增加步数，并根据需求调整 save_steps。对于新本体微调，请参考官方文档 docs/DATASET_TO_GEAR_AND_TRAIN.md 对齐相机视角顺序。