[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-dreamzero0--dreamzero":3,"similar-dreamzero0--dreamzero":93},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":17,"owner_location":17,"owner_email":17,"owner_twitter":17,"owner_website":17,"owner_url":18,"languages":19,"stars":28,"forks":29,"last_commit_at":30,"license":31,"difficulty_score":32,"env_os":33,"env_gpu":34,"env_ram":35,"env_deps":36,"category_tags":47,"github_topics":17,"view_count":52,"oss_zip_url":17,"oss_zip_packed_at":17,"status":53,"created_at":54,"updated_at":55,"faqs":56,"releases":92},4890,"dreamzero0\u002Fdreamzero","dreamzero","Code to pretrain, fine-tune, and evaluate DreamZero and run sim & real-world evals","DreamZero 是 NVIDIA GEAR 实验室推出的一款前沿“世界动作模型”，旨在让机器人通过联合预测动作与未来视频画面，实现强大的零样本任务执行能力。它主要解决了传统机器人策略在面临未见过的任务或新环境时泛化能力不足、依赖大量特定数据重训练的痛点。\n\n该项目特别适合机器人领域的研究人员与开发者使用。DreamZero 的独特亮点在于其卓越的适应性：DreamZero-DROID 版本仅用单一数据集从头训练，便在多项基准测试中登顶；而 DreamZero-AgiBot 版本支持高效的小样本迁移，用户只需提供约 30 分钟的新机器人操作数据，即可快速让机器人学会基本的语言指令跟随和抓取放置技能。此外，项目提供了完整的预训练模型、分布式推理服务器以及针对新机体（Embodiment）的训练指南，支持从仿真到真实世界的全面评估。无论是希望复现先进算法的学者，还是致力于开发通用机器人策略的工程师，DreamZero 都提供了一套成熟且开源的技术栈，助力加速具身智能的落地探索。","# NVIDIA DreamZero: World Action Models Are Zero-Shot Policies\nA research project from [NVIDIA GEAR Lab](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fgear\u002F).\n\n[![NVIDIA](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FNVIDIA-76B900?style=flat&logo=nvidia&logoColor=white)](https:\u002F\u002Fwww.nvidia.com) [![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-blue.svg)](LICENSE) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2602.15922-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922)\n\n[[Project Page](https:\u002F\u002Fdreamzero0.github.io\u002F)] [[Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922)]\n\nDreamZero is a World Action Model that jointly predicts actions and videos, achieving strong zero-shot performance on unseen tasks. This release package contains everything needed to load a pretrained DreamZero model and run distributed inference via a WebSocket server.\n\n## News\n\n- **02\u002F27:** DreamZero is **#1 on both [MolmoSpaces]([https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fai2-adapt\u002FMolmoSpaces](https:\u002F\u002Fmolmospaces.allen.ai\u002Fleaderboard)) and [RoboArena]([https:\u002F\u002Frobo-arena.github.io\u002F](https:\u002F\u002Frobo-arena.github.io\u002Fleaderboard))**! DreamZero-DROID is trained *from scratch* using only the DROID dataset — no pretraining on large-scale robot data, unlike competing VLAs. This demonstrates the strength of video-model backbones for generalist robot policies (VAMs\u002FWAMs).\n- **02\u002F27:** Released **DreamZero-AgiBot checkpoint** and **post-training code** for efficient few-shot adaptation. Post-train on just ~30 minutes of play data for your specific robot, and see the robot do basic language following and pick-and-place (see YAM experiments in our paper for more detail).\n- **02\u002F20:** Released the **full training codebase, preprocessed dataset, and guide for new embodiments** to replicate the DreamZero-DROID checkpoint and train on your own robot. See [Adding a New Embodiment to DreamZero](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md) for a step-by-step walkthrough.\n\n## Features\n\n**Available Now**\n- Pretrained DreamZero-DROID model checkpoint [[Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-DROID)]\n- Pretrained DreamZero-AgiBot checkpoint (for post-training on new embodiments) [[Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot)]\n- Distributed WebSocket inference server (GB200, H100)\n- DiT caching for optimized inference (~0.6s on GB200, ~3s on H100)\n- DROID simulation evaluation support\n- [RoboArena](https:\u002F\u002Frobo-arena.github.io\u002F) integration (DROID real)\n- Video generation and saving (MP4)\n- LoRA and full fine-tuning training scripts\n- Training on new embodiments (AgiBot, YAM) — see [guide](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md)\n\n**Coming Soon**\n- [PolaRiS](https:\u002F\u002Fpolaris-evals.github.io\u002F) simulation environment support\n- [Genie 3.0](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.02078) sim environment support for DreamZero-AgiBot\n\n## Testing Out DreamZero in Simulation with API\nWe provide an inference script that directly evaluates a hosted DreamZero-DROID policy on [`sim_evals`](https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals). To test out the policy, first request access to the API via this form [link](https:\u002F\u002Fforms.gle\u002FzCj5zjDvHsoeuMXU7). Then, follow these instructions to install [`sim_evals`](https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals) and launch evaluation.\n\n```bash\n# Clone repository\ngit clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals.git\ncd sim-evals\n\n# Install uv\ncurl -LsSf https:\u002F\u002Fastral.sh\u002Fuv\u002Finstall.sh | sh\n\n# Activate uv environment\nuv sync\nsource .venv\u002Fbin\u002Factivate\n\n# [Optional] update pytorch versions\npip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu129\n\n# Download assets (may need to export HF_TOKEN=\u003CYOUR_HUGGINGFACE_TOKEN> first)\nuvx hf download owhan\u002FDROID-sim-environments --repo-type dataset --local-dir assets\n\n# Run eval script\ncd ..\npython eval_utils\u002Frun_sim_eval.py --host \u003CAPI_HOST> --port \u003CAPI_PORT> \n```\n\nThe outputs are saved in `runs` directory.\n\n\n## Quick Start\n\n### Prerequisites\n\n- **Python**: 3.11\n- **Hardware**: Multi-GPU setup (tested on GB200, H100)\n  - Minimum: 2 GPUs for distributed inference\n- **CUDA**: Compatible GPU with CUDA 12.9+\n\n### Installation\n\n1. **Create conda environment:**\n```bash\nconda create -n dreamzero python=3.11\nconda activate dreamzero\n```\n\n2. **Install dependencies (PyTorch 2.8+ with CUDA 12.9+):**\n```bash\npip install -e . --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu129\n```\n\n3. **Install flash attention:**\n```bash\nMAX_JOBS=8 pip install --no-build-isolation flash-attn\n```\n\n4. **[GB200 ONLY, SKIP FOR H100] Install Transformer Engine:**\n```bash\npip install --no-build-isolation transformer_engine[pytorch]\n```\n\n5. **[GB200 ONLY FOR TENSORRT, SKIP FOR H100] Install Tensorrt:**\n```bash\npip install tensorrt==10.13.2.6 tensorrt_cu13==10.13.2.6 tensorrt_cu13_libs==10.13.2.6 tensorrt_cu13_bindings==10.13.2.6 --no-deps\npip install transformer_engine==2.10.0 transformer_engine_cu12==2.10.0 transformer_engine_torch==2.10.0\n```\n\n## Downloading Pretrained Checkpoints\n\n### DreamZero-DROID (for inference)\n\nWe release a 14B pretrained DROID checkpoint on [Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-DROID). To download the checkpoint, run\n\n```bash\nhf download GEAR-Dreams\u002FDreamZero-DROID --repo-type model --local-dir \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n### DreamZero-AgiBot (for fine-tuning on new embodiments)\n\nTo fine-tune DreamZero on a new embodiment (e.g. YAM, AgiBot), download the pretrained [DreamZero-AgiBot](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot) checkpoint (~45GB) to `.\u002Fcheckpoints\u002FDreamZero-AgiBot`:\n\n```bash\ngit clone https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot .\u002Fcheckpoints\u002FDreamZero-AgiBot\n```\n\nOr with the Hugging Face CLI:\n\n```bash\nhf download GEAR-Dreams\u002FDreamZero-AgiBot --repo-type model --local-dir .\u002Fcheckpoints\u002FDreamZero-AgiBot\n```\n\nThe YAM and AgiBot training scripts use `pretrained_model_path=.\u002Fcheckpoints\u002FDreamZero-AgiBot` by default. See the [new embodiment guide](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md) for usage.\n\n## Running the Inference Server\n\n### Command Overview\n\nThe inference server uses PyTorch distributed training utilities to parallelize the model across multiple GPUs:\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 5000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n(Optional only for GB200) Tensorrt enables faster generation\n```bash\nexport LOAD_TRT_ENGINE=\u003Cpath\u002Fto\u002Fcheckpoint>\u002Ftensorrt\u002Fwan\u002FWanModel_nvfp4.trt \nexport DYNAMIC_CACHE_SCHEDULE=true \nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 \u002Fmnt\u002Faws-lfs-02\u002Fshared\u002Fseonghyeony\u002Fdreamzero\u002Fsocket_test_optimized_AR.py --port 8000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\nTo verify the server is working, run a test client. The first few inferences will take a few minutes to warm up. After warming up, inference takes ~0.6s on GB200 and ~3s on H100.\n\n```\npython test_client_AR.py --port 5000\n```\n\n### Command-line Arguments\n\n- `--port`: Port number for the WebSocket server (default: 8000)\n- `--model-path`: Path to the pretrained model checkpoint directory\n- `--enable-dit-cache`: Enable caching in DiT layers for faster inference (recommended)\n- `--max-chunk-size`: Override max_chunk_size for inference (optional)\n- `--timeout-seconds`: Server timeout in seconds (default: 50000)\n- `--index`: Index for output directory naming (default: 0)\n\n\n### Output\n\nThe server saves:\n- **Videos**: Generated video predictions as MP4 files in `{model_path}\u002Freal_world_eval_gen_{date}_{index}\u002F{checkpoint_name}\u002F`\n- **Input observations**: Saved per message in `{output_dir}\u002Finputs\u002F{msg_index}_{timestamp}\u002F`\n\n\n## Training\n\n> **Training on a new embodiment?** See [Adding a New Embodiment to DreamZero](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md) for a complete guide on converting your dataset, configuring modalities, and launching training. \u003Cem>Make sure to align the 3 camera view order to ensure positive transfer.\u003C\u002Fem>\n\n### Downloading Pretrained Base Model Weights\n\nDreamZero is built on top of [Wan2.1-I2V-14B-480P](https:\u002F\u002Fhuggingface.co\u002FWan-AI\u002FWan2.1-I2V-14B-480P) and uses the [umt5-xxl](https:\u002F\u002Fhuggingface.co\u002Fgoogle\u002Fumt5-xxl) tokenizer. Download both before training:\n\n```bash\npip install \"huggingface_hub[cli]\"\n\n# You may need to set your HuggingFace token:\n# export HF_TOKEN=\u003CYOUR_HUGGINGFACE_TOKEN>\n\n# Download Wan2.1 model weights (~28GB)\nhf download Wan-AI\u002FWan2.1-I2V-14B-480P --local-dir .\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\n\n# Download umt5-xxl tokenizer\nhf download google\u002Fumt5-xxl --local-dir .\u002Fcheckpoints\u002Fumt5-xxl\n```\n\n> **Note:** The training script will auto-download these if they are not found at the configured paths, but pre-downloading is recommended to avoid delays at launch.\n\n### DROID Dataset\n\nWe release the preprocessed DROID dataset used to train DreamZero on HuggingFace: [GEAR-Dreams\u002FDreamZero-DROID-Data](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FGEAR-Dreams\u002FDreamZero-DROID-Data).\n\nThis dataset is derived from the [DROID 1.0.1](https:\u002F\u002Fdroid-dataset.github.io\u002F) dataset with the following modifications:\n- Converted from RLDS\u002FTFDS format to [LeRobot](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flerobot) v2.0 format\n- Idle frames removed using [Physical Intelligence's idle frame detector](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi\u002Fblob\u002Fmain\u002Fexamples\u002Fdroid\u002FREADME_train.md#data-filtering) (`droid_sample_ranges_v1_0_1.json`)\n- Episodes without language annotations are filtered out\n- Successful episodes only (episodes with non-zero reward)\n- 3 camera views: `exterior_image_1_left`, `exterior_image_2_left`, `wrist_image_left`\n\n**To download the preprocessed dataset (~131GB):**\n\n```bash\nhuggingface-cli download GEAR-Dreams\u002FDreamZero-DROID-Data --repo-type dataset --local-dir .\u002Fdata\u002Fdroid_lerobot\n```\n\nIf you want to reproduce the dataset conversion from raw DROID 1.0.1 yourself (or modify the filtering), see [docs\u002FDROID_CONVERSION.md](docs\u002FDROID_CONVERSION.md).\n\n### Running Training\n\n```bash\n# Configure paths (override defaults as needed)\nexport DROID_DATA_ROOT=\".\u002Fdata\u002Fdroid_lerobot\"\nexport OUTPUT_DIR=\".\u002Fcheckpoints\u002Fdreamzero_droid\"\nexport NUM_GPUS=4\n\n# Point to your downloaded model weights (if not using default paths)\nexport WAN_CKPT_DIR=\".\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\"\nexport TOKENIZER_DIR=\".\u002Fcheckpoints\u002Fumt5-xxl\"\n\n# Launch training\nbash scripts\u002Ftrain\u002Fdroid_training.sh\n```\n\n**Using Wan2.2-TI2V-5B backbone (5B params, lower VRAM):** To train with the smaller Wan2.2-TI2V-5B model instead of Wan2.1-I2V-14B, see [docs\u002FWAN22_BACKBONE.md](docs\u002FWAN22_BACKBONE.md) and run `bash scripts\u002Ftrain\u002Fdroid_training_wan22.sh`.\n\n### Training Configuration\n\nThe training script uses Hydra for configuration and DeepSpeed ZeRO Stage 2 for distributed training. Key defaults:\n\n| Parameter | Default | Description |\n|---|---|---|\n| `NUM_GPUS` | 4 | Number of GPUs |\n| `per_device_train_batch_size` | 1 | Batch size per GPU |\n| `learning_rate` | 1e-5 | Learning rate |\n| `max_steps` | 10 | Max training steps (increase for full training) |\n| `warmup_ratio` | 0.05 | Warmup ratio |\n| `weight_decay` | 1e-5 | Weight decay |\n| `image_resolution_width` | 320 | Image width |\n| `image_resolution_height` | 176 | Image height |\n| `num_frames` | 33 | Number of video frames |\n| `action_horizon` | 24 | Action prediction horizon |\n| `save_lora_only` | true | Only save LoRA weights |\n| `bf16` | true | Use bfloat16 precision |\n\n> **Note:** `max_steps=10` is set for a quick sanity check. For full training, increase this to your desired number of steps and configure `save_steps` \u002F `save_strategy` accordingly.\n\n\n## Citation\n\nIf you use DreamZero in your research, please cite:\n\n```bibtex\n@misc{ye2026worldactionmodelszeroshot,\n      title={World Action Models are Zero-shot Policies}, \n      author={Seonghyeon Ye and Yunhao Ge and Kaiyuan Zheng and Shenyuan Gao and Sihyun Yu and George Kurian and Suneel Indupuru and You Liang Tan and Chuning Zhu and Jiannan Xiang and Ayaan Malik and Kyungmin Lee and William Liang and Nadun Ranawaka and Jiasheng Gu and Yinzhen Xu and Guanzhi Wang and Fengyuan Hu and Avnish Narayan and Johan Bjorck and Jing Wang and Gwanghyun Kim and Dantong Niu and Ruijie Zheng and Yuqi Xie and Jimmy Wu and Qi Wang and Ryan Julian and Danfei Xu and Yilun Du and Yevgen Chebotar and Scott Reed and Jan Kautz and Yuke Zhu and Linxi \"Jim\" Fan and Joel Jang},\n      year={2026},\n      eprint={2602.15922},\n      archivePrefix={arXiv},\n      primaryClass={cs.RO},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922}, \n}\n```\n\n## License\n\nThis project is licensed under the [Apache License 2.0](LICENSE).\n\n## Support\n\nFor issues and questions:\n- Check the troubleshooting section above\n- Review server logs for detailed error messages\n- Verify your checkpoint is compatible with this release\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdreamzero0_dreamzero_readme_b9e071e2717d.png)](https:\u002F\u002Fstar-history.com\u002F#dreamzero0\u002Fdreamzero&Date)\n","# NVIDIA DreamZero：世界动作模型即零样本策略\n来自 [NVIDIA GEAR 实验室](https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fgear\u002F) 的一项研究项目。\n\n[![NVIDIA](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FNVIDIA-76B900?style=flat&logo=nvidia&logoColor=white)](https:\u002F\u002Fwww.nvidia.com) [![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202.0-blue.svg)](LICENSE) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2602.15922-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922)\n\n[[项目页面](https:\u002F\u002Fdreamzero0.github.io\u002F)] [[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922)]\n\nDreamZero 是一种联合预测动作与视频的世界动作模型，在未见过的任务上实现了强大的零样本性能。本发布包包含加载预训练的 DreamZero 模型并通过 WebSocket 服务器进行分布式推理所需的一切。\n\n## 最新消息\n\n- **02月27日：** DreamZero 在 **[MolmoSpaces]([https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fai2-adapt\u002FMolmoSpaces](https:\u002F\u002Fmolmospaces.allen.ai\u002Fleaderboard)) 和 [RoboArena]([https:\u002F\u002Frobo-arena.github.io\u002F](https:\u002F\u002Frobo-arena.github.io\u002Fleaderboard)) 上均位居榜首**！DreamZero-DROID 仅使用 DROID 数据集从头开始训练——不同于其他竞争性视觉语言代理，它并未在大规模机器人数据上进行预训练。这充分证明了基于视频模型的骨干网络在通用机器人策略（VAMs\u002FWAMs）中的强大能力。\n- **02月27日：** 发布了 **DreamZero-AgiBot 检查点**以及用于高效少样本适应的 **后训练代码**。只需针对您的特定机器人使用约 30 分钟的游戏数据进行后训练，即可让机器人完成基本的语言指令执行和抓取放置任务（更多细节请参阅我们论文中的 YAM 实验）。\n- **02月20日：** 发布了 **完整的训练代码库、预处理后的数据集以及新机器人形态指南**，以复现 DreamZero-DROID 检查点并在您自己的机器人上进行训练。请参阅 [为 DreamZero 添加新机器人形态](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md)，获取分步操作指南。\n\n## 功能特性\n\n**现已可用**\n- 预训练的 DreamZero-DROID 模型检查点 [[Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-DROID)]\n- 预训练的 DreamZero-AgiBot 检查点（用于在新机器人形态上进行后训练）[[Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot)]\n- 分布式 WebSocket 推理服务器（GB200、H100）\n- DiT 缓存以优化推理（GB200 约 0.6 秒，H100 约 3 秒）\n- DROID 模拟评估支持\n- [RoboArena](https:\u002F\u002Frobo-arena.github.io\u002F) 集成（DROID 实机）\n- 视频生成与保存（MP4）\n- LoRA 及全量微调训练脚本\n- 新机器人形态（AgiBot、YAM）的训练——详见 [指南](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md)\n\n**即将推出**\n- [PolaRiS](https:\u002F\u002Fpolaris-evals.github.io\u002F) 模拟环境支持\n- [Genie 3.0](https:\u002F\u002Farxiv.org\u002Fabs\u002F2601.02078) 模拟环境支持 DreamZero-AgiBot\n\n## 使用 API 在模拟环境中测试 DreamZero\n我们提供了一个推理脚本，可直接在 [`sim_evals`](https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals) 上评估托管的 DreamZero-DROID 策略。要测试该策略，请先通过此表格 [链接](https:\u002F\u002Fforms.gle\u002FzCj5zjDvHsoeuMXU7) 申请 API 访问权限。然后按照以下步骤安装 [`sim_evals`](https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals) 并启动评估。\n\n```bash\n# 克隆仓库\ngit clone --recurse-submodules https:\u002F\u002Fgithub.com\u002Farhanjain\u002Fsim-evals.git\ncd sim-evals\n\n# 安装 uv\ncurl -LsSf https:\u002F\u002Fastral.sh\u002Fuv\u002Finstall.sh | sh\n\n# 激活 uv 环境\nuv sync\nsource .venv\u002Fbin\u002Factivate\n\n# 【可选】更新 PyTorch 版本\npip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu129\n\n# 下载资源（可能需要先导出 HF_TOKEN=\u003CYOUR_HUGGINGFACE_TOKEN>）\nuvx hf download owhan\u002FDROID-sim-environments --repo-type dataset --local-dir assets\n\n# 运行评估脚本\ncd ..\npython eval_utils\u002Frun_sim_eval.py --host \u003CAPI_HOST> --port \u003CAPI_PORT> \n```\n\n输出将保存在 `runs` 目录中。\n\n## 快速入门\n\n### 前置条件\n\n- **Python**：3.11\n- **硬件**：多 GPU 配置（已在 GB200、H100 上测试）\n  - 最低要求：2 张 GPU 用于分布式推理\n- **CUDA**：兼容 CUDA 12.9+ 的 GPU\n\n### 安装步骤\n\n1. **创建 conda 环境：**\n```bash\nconda create -n dreamzero python=3.11\nconda activate dreamzero\n```\n\n2. **安装依赖项（PyTorch 2.8+，CUDA 12.9+）：**\n```bash\npip install -e . --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu129\n```\n\n3. **安装 Flash Attention：**\n```bash\nMAX_JOBS=8 pip install --no-build-isolation flash-attn\n```\n\n4. **【仅限 GB200，H100 跳过】安装 Transformer Engine：**\n```bash\npip install --no-build-isolation transformer_engine[pytorch]\n```\n\n5. **【仅限 GB200，TensorRT 适用，H100 跳过】安装 Tensorrt：**\n```bash\npip install tensorrt==10.13.2.6 tensorrt_cu13==10.13.2.6 tensorrt_cu13_libs==10.13.2.6 tensorrt_cu13_bindings==10.13.2.6 --no-deps\npip install transformer_engine==2.10.0 transformer_engine_cu12==2.10.0 transformer_engine_torch==2.10.0\n```\n\n## 下载预训练检查点\n\n### DreamZero-DROID（用于推理）\n\n我们在 [Huggingface](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-DROID) 上发布了 14B 参数的 DROID 预训练检查点。要下载该检查点，请运行：\n\n```bash\nhf download GEAR-Dreams\u002FDreamZero-DROID --repo-type model --local-dir \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n### DreamZero-AgiBot（用于在新机器人形态上微调）\n\n要将 DreamZero 微调到新的机器人形态（如 YAM、AgiBot），请将预训练的 [DreamZero-AgiBot](https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot) 检查点（约 45GB）下载至 `.\u002Fcheckpoints\u002FDreamZero-AgiBot`：\n\n```bash\ngit clone https:\u002F\u002Fhuggingface.co\u002FGEAR-Dreams\u002FDreamZero-AgiBot .\u002Fcheckpoints\u002FDreamZero-AgiBot\n```\n\n或使用 Hugging Face CLI：\n\n```bash\nhf download GEAR-Dreams\u002FDreamZero-AgiBot --repo-type model --local-dir .\u002Fcheckpoints\u002FDreamZero-AgiBot\n```\n\nYAM 和 AgiBot 的训练脚本默认使用 `pretrained_model_path=.\u002Fcheckpoints\u002FDreamZero-AgiBot`。有关用法，请参阅 [新机器人形态指南](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md)。\n\n## 运行推理服务器\n\n### 命令概览\n\n推理服务器使用 PyTorch 分布式训练工具在多个 GPU 上并行化模型：\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 5000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n（仅限 GB200）Tensorrt 可实现更快的生成：\n```bash\nexport LOAD_TRT_ENGINE=\u003Cpath\u002Fto\u002Fcheckpoint>\u002Ftensorrt\u002Fwan\u002FWanModel_nvfp4.trt \nexport DYNAMIC_CACHE_SCHEDULE=true \nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 \u002Fmnt\u002Faws-lfs-02\u002Fshared\u002Fseonghyeony\u002Fdreamzero\u002Fsocket_test_optimized_AR.py --port 8000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n为验证服务器是否正常工作，可运行一个测试客户端。前几次推理需要几分钟来预热。预热完成后，GB200 上的推理耗时约 0.6 秒，H100 上则约为 3 秒。\n\n```bash\npython test_client_AR.py --port 5000\n```\n\n### 命令行参数\n\n- `--port`: WebSocket 服务器的端口号（默认：8000）\n- `--model-path`: 预训练模型检查点目录的路径\n- `--enable-dit-cache`: 启用 DiT 层缓存以加快推理速度（推荐）\n- `--max-chunk-size`: 覆盖推理的最大块大小（可选）\n- `--timeout-seconds`: 服务器超时时间，单位为秒（默认：50000）\n- `--index`: 用于输出目录命名的索引（默认：0）\n\n\n### 输出\n\n服务器会保存：\n- **视频**: 生成的视频预测以 MP4 文件形式保存在 `{model_path}\u002Freal_world_eval_gen_{date}_{index}\u002F{checkpoint_name}\u002F`\n- **输入观测**: 每条消息的输入观测保存在 `{output_dir}\u002Finputs\u002F{msg_index}_{timestamp}\u002F`\n\n\n## 训练\n\n> **要在新的机器人本体上进行训练吗？** 请参阅 [将新本体添加到 DreamZero](docs\u002FDATASET_TO_GEAR_AND_TRAIN.md)，其中提供了关于如何转换数据集、配置模态以及启动训练的完整指南。\u003Cem>请确保对齐 3 个摄像头的视图顺序，以保证正向迁移。\u003C\u002Fem>\n\n### 下载预训练基础模型权重\n\nDreamZero 构建于 [Wan2.1-I2V-14B-480P](https:\u002F\u002Fhuggingface.co\u002FWan-AI\u002FWan2.1-I2V-14B-480P) 之上，并使用 [umt5-xxl](https:\u002F\u002Fhuggingface.co\u002Fgoogle\u002Fumt5-xxl) 分词器。在开始训练前，请先下载这两个模型：\n\n```bash\npip install \"huggingface_hub[cli]\"\n\n# 您可能需要设置您的 HuggingFace 令牌：\n# export HF_TOKEN=\u003CYOUR_HUGGINGFACE_TOKEN>\n\n# 下载 Wan2.1 模型权重 (~28GB)\nhf download Wan-AI\u002FWan2.1-I2V-14B-480P --local-dir .\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\n\n# 下载 umt5-xxl 分词器\nhf download google\u002Fumt5-xxl --local-dir .\u002Fcheckpoints\u002Fumt5-xxl\n```\n\n> **注意:** 如果在配置的路径中未找到这些文件，训练脚本会自动下载它们，但建议提前下载以避免启动时的延迟。\n\n### DROID 数据集\n\n我们已在 HuggingFace 上发布了用于训练 DreamZero 的预处理 DROID 数据集：[GEAR-Dreams\u002FDreamZero-DROID-Data](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FGEAR-Dreams\u002FDreamZero-DROID-Data)。\n\n该数据集源自 [DROID 1.0.1](https:\u002F\u002Fdroid-dataset.github.io\u002F) 数据集，并进行了以下修改：\n- 从 RLDS\u002FTFDS 格式转换为 [LeRobot](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Flerobot) v2.0 格式\n- 使用 [Physical Intelligence 的空闲帧检测器](https:\u002F\u002Fgithub.com\u002FPhysical-Intelligence\u002Fopenpi\u002Fblob\u002Fmain\u002Fexamples\u002Fdroid\u002FREADME_train.md#data-filtering) (`droid_sample_ranges_v1_0_1.json`) 删除了空闲帧\n- 过滤掉了没有语言标注的片段\n- 只保留成功片段（奖励非零的片段）\n- 使用 3 个摄像头视图：`exterior_image_1_left`、`exterior_image_2_left` 和 `wrist_image_left`\n\n**下载预处理后的数据集 (~131GB）：**\n\n```bash\nhuggingface-cli download GEAR-Dreams\u002FDreamZero-DROID-Data --repo-type dataset --local-dir .\u002Fdata\u002Fdroid_lerobot\n```\n\n如果您想自行从原始 DROID 1.0.1 数据集重新生成数据集（或修改过滤条件），请参阅 [docs\u002FDROID_CONVERSION.md](docs\u002FDROID_CONVERSION.md)。\n\n### 运行训练\n\n```bash\n# 配置路径（根据需要覆盖默认值）\nexport DROID_DATA_ROOT=\".\u002Fdata\u002Fdroid_lerobot\"\nexport OUTPUT_DIR=\".\u002Fcheckpoints\u002Fdreamzero_droid\"\nexport NUM_GPUS=4\n\n# 指向您下载的模型权重（如果未使用默认路径）\nexport WAN_CKPT_DIR=\".\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\"\nexport TOKENIZER_DIR=\".\u002Fcheckpoints\u002Fumt5-xxl\"\n\n# 启动训练\nbash scripts\u002Ftrain\u002Fdroid_training.sh\n```\n\n**使用 Wan2.2-TI2V-5B 主干网络（5B 参数，显存占用更低）：** 如果您希望使用较小的 Wan2.2-TI2V-5B 模型代替 Wan2.1-I2V-14B 进行训练，请参阅 [docs\u002FWAN22_BACKBONE.md](docs\u002FWAN22_BACKBONE.md)，并运行 `bash scripts\u002Ftrain\u002Fdroid_training_wan22.sh`。\n\n### 训练配置\n\n训练脚本使用 Hydra 进行配置，并采用 DeepSpeed ZeRO Stage 2 进行分布式训练。主要默认设置如下：\n\n| 参数 | 默认值 | 描述 |\n|---|---|---|\n| `NUM_GPUS` | 4 | GPU 数量 |\n| `per_device_train_batch_size` | 1 | 每块 GPU 的批量大小 |\n| `learning_rate` | 1e-5 | 学习率 |\n| `max_steps` | 10 | 最大训练步数（完整训练时需增加） |\n| `warmup_ratio` | 0.05 | 热身比例 |\n| `weight_decay` | 1e-5 | 权重衰减 |\n| `image_resolution_width` | 320 | 图像宽度 |\n| `image_resolution_height` | 176 | 图像高度 |\n| `num_frames` | 33 | 视频帧数 |\n| `action_horizon` | 24 | 动作预测范围 |\n| `save_lora_only` | true | 只保存 LoRA 权重 |\n| `bf16` | true | 使用 bfloat16 精度 |\n\n> **注意:** `max_steps=10` 是为了快速验证而设置的。若要进行完整训练，请将其增加到所需的步数，并相应地配置 `save_steps` 和 `save_strategy`。\n\n\n## 引用\n\n如果您在研究中使用 DreamZero，请引用以下内容：\n\n```bibtex\n@misc{ye2026worldactionmodelszeroshot,\n      title={World Action Models are Zero-shot Policies}, \n      author={Seonghyeon Ye and Yunhao Ge and Kaiyuan Zheng and Shenyuan Gao and Sihyun Yu and George Kurian and Suneel Indupuru and You Liang Tan and Chuning Zhu and Jiannan Xiang and Ayaan Malik and Kyungmin Lee and William Liang and Nadun Ranawaka and Jiasheng Gu and Yinzhen Xu and Guanzhi Wang and Fengyuan Hu and Avnish Narayan and Johan Bjorck and Jing Wang and Gwanghyun Kim and Dantong Niu and Ruijie Zheng and Yuqi Xie and Jimmy Wu and Qi Wang and Ryan Julian and Danfei Xu and Yilun Du and Yevgen Chebotar and Scott Reed and Jan Kautz and Yuke Zhu and Linxi \"Jim\" Fan and Joel Jang},\n      year={2026},\n      eprint={2602.15922},\n      archivePrefix={arXiv},\n      primaryClass={cs.RO},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2602.15922}, \n}\n```\n\n## 许可证\n\n本项目采用 [Apache License 2.0](LICENSE) 许可证。\n\n## 支持\n\n如遇问题或疑问：\n- 请查看上方的故障排除部分\n- 查看服务器日志以获取详细的错误信息\n- 确认您的检查点与当前版本兼容\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdreamzero0_dreamzero_readme_b9e071e2717d.png)](https:\u002F\u002Fstar-history.com\u002F#dreamzero0\u002Fdreamzero&Date)","# DreamZero 快速上手指南\n\nDreamZero 是 NVIDIA GEAR Lab 推出的“世界动作模型”（World Action Model），能够联合预测动作和视频，在未见过的任务上实现强大的零样本（Zero-Shot）性能。本指南将帮助您快速部署预训练模型并进行推理或微调。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.11\n*   **硬件要求**:\n    *   多 GPU 设置（已测试 GB200, H100）。\n    *   **最低配置**: 分布式推理至少需要 2 张 GPU。\n    *   **CUDA**: 兼容 CUDA 12.9+ 的 GPU。\n*   **依赖库**: PyTorch 2.8+ (需匹配 CUDA 12.9+)。\n\n> **注意**：本项目对显存和计算能力要求较高，建议使用高性能服务器环境。\n\n## 安装步骤\n\n### 1. 创建 Conda 环境\n```bash\nconda create -n dreamzero python=3.11\nconda activate dreamzero\n```\n\n### 2. 安装核心依赖\n安装项目依赖及指定版本的 PyTorch（CUDA 12.9+）：\n```bash\npip install -e . --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu129\n```\n\n### 3. 安装 Flash Attention\n```bash\nMAX_JOBS=8 pip install --no-build-isolation flash-attn\n```\n\n### 4. 特定硬件额外安装 (可选)\n如果您使用的是 **NVIDIA GB200**，需额外安装 Transformer Engine 和 TensorRT 以获得最佳性能。**H100 用户可跳过此步**。\n\n**安装 Transformer Engine:**\n```bash\npip install --no-build-isolation transformer_engine[pytorch]\n```\n\n**安装 TensorRT (仅 GB200):**\n```bash\npip install tensorrt==10.13.2.6 tensorrt_cu13==10.13.2.6 tensorrt_cu13_libs==10.13.2.6 tensorrt_cu13_bindings==10.13.2.6 --no-deps\npip install transformer_engine==2.10.0 transformer_engine_cu12==2.10.0 transformer_engine_torch==2.10.0\n```\n\n## 基本使用\n\n### 场景一：运行推理服务器 (Inference)\n\n此步骤用于加载预训练的 DreamZero-DROID 模型并启动 WebSocket 服务，供机器人或仿真环境调用。\n\n#### 1. 下载预训练模型\n从 Hugging Face 下载 DROID 检查点（约 14B 参数）：\n```bash\nhf download GEAR-Dreams\u002FDreamZero-DROID --repo-type model --local-dir \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n*(注：如果国内访问 Hugging Face 较慢，建议配置镜像源或使用代理)*\n\n#### 2. 启动推理服务\n使用多卡并行启动服务器。以下命令以 2 张 GPU 为例：\n\n**通用启动命令 (H100\u002FGB200):**\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 5000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n**GB200 加速启动命令 (启用 TensorRT):**\n```bash\nexport LOAD_TRT_ENGINE=\u003Cpath\u002Fto\u002Fcheckpoint>\u002Ftensorrt\u002Fwan\u002FWanModel_nvfp4.trt \nexport DYNAMIC_CACHE_SCHEDULE=true \nCUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.run --standalone --nproc_per_node=2 socket_test_optimized_AR.py --port 8000 --enable-dit-cache --model-path \u003Cpath\u002Fto\u002Fcheckpoint>\n```\n\n#### 3. 测试连接\n启动另一个终端运行测试客户端，验证服务是否正常工作（首次推理会有几分钟预热时间，后续在 GB200 上约为 0.6s\u002F次，H100 上约为 3s\u002F次）：\n```bash\npython test_client_AR.py --port 5000\n```\n生成的视频将保存在 `{model_path}\u002Freal_world_eval_gen_{date}_{index}\u002F{checkpoint_name}\u002F` 目录下。\n\n---\n\n### 场景二：训练与微调 (Training)\n\n如果您希望在新机器人本体（如 AgiBot, YAM）上进行微调，或复现 DROID 训练过程。\n\n#### 1. 下载基础模型权重\nDreamZero 基于 Wan2.1 和 umt5-xxl 构建，需先下载权重：\n```bash\npip install \"huggingface_hub[cli]\"\n\n# 下载 Wan2.1 模型权重 (~28GB)\nhf download Wan-AI\u002FWan2.1-I2V-14B-480P --local-dir .\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\n\n# 下载 umt5-xxl 分词器\nhf download google\u002Fumt5-xxl --local-dir .\u002Fcheckpoints\u002Fumt5-xxl\n```\n\n#### 2. 下载数据集 (以 DROID 为例)\n下载预处理好的 LeRobot v2.0 格式数据集：\n```bash\nhuggingface-cli download GEAR-Dreams\u002FDreamZero-DROID-Data --repo-type dataset --local-dir .\u002Fdata\u002Fdroid_lerobot\n```\n\n#### 3. 启动训练\n配置环境变量并运行训练脚本：\n```bash\nexport DROID_DATA_ROOT=\".\u002Fdata\u002Fdroid_lerobot\"\nexport OUTPUT_DIR=\".\u002Fcheckpoints\u002Fdreamzero_droid\"\nexport NUM_GPUS=4\nexport WAN_CKPT_DIR=\".\u002Fcheckpoints\u002FWan2.1-I2V-14B-480P\"\nexport TOKENIZER_DIR=\".\u002Fcheckpoints\u002Fumt5-xxl\"\n\nbash scripts\u002Ftrain\u002Fdroid_training.sh\n```\n\n> **提示**: 默认配置中 `max_steps=10` 仅用于快速 sanity check。正式训练请修改脚本增加步数，并根据需求调整 `save_steps`。对于新本体微调，请参考官方文档 `docs\u002FDATASET_TO_GEAR_AND_TRAIN.md` 对齐相机视角顺序。","某机器人初创团队正急于将新采购的 AgiBot 机械臂部署到仓库中，执行从未训练过的“按语言指令分拣异形零件”任务。\n\n### 没有 dreamzero 时\n- **数据依赖重**：必须收集数千小时该特定机械臂的操作数据进行预训练，耗时数周且成本高昂。\n- **泛化能力差**：模型遇到未见过的新零件形状或新指令时完全失效，需针对每个新任务重新微调。\n- **开发周期长**：从数据采集、清洗到模型训练验证，整个迭代周期长达数月，无法快速响应业务需求。\n- **仿真与现实割裂**：在模拟器中训练的策略难以直接迁移到真机，现实部署时往往需要大量额外的实地调试。\n\n### 使用 dreamzero 后\n- **零样本启动**：直接加载预训练的 DreamZero-AgiBot 检查点，无需大规模预训练，机械臂即刻具备基础理解与操作能力。\n- **高效少样本适配**：仅需录制约 30 分钟的本地玩耍数据（play data）进行后训练，机器人即可精准执行特定的分拣指令。\n- **通用策略强大**：凭借联合预测动作与视频的世界动作模型架构，面对未见过的零件形状也能实现高质量的零样本推理。\n- **虚实无缝衔接**：利用内置的分布式推理服务器和仿真评估工具，可在部署前快速验证策略，显著降低真机试错成本。\n\ndreamzero 通过将世界模型与动作预测深度融合，让通用机器人策略的开发从“数月定制”转变为“分钟级适配”，真正实现了具身智能的零样本落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fdreamzero0_dreamzero_f4b1001e.png","dreamzero0","DreamZero","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fdreamzero0_12abc35d.png",null,"https:\u002F\u002Fgithub.com\u002Fdreamzero0",[20,24],{"name":21,"color":22,"percentage":23},"Python","#3572A5",97,{"name":25,"color":26,"percentage":27},"Shell","#89e051",3,1593,123,"2026-04-06T17:47:33","Apache-2.0",5,"Linux","必需 NVIDIA GPU，支持分布式推理（最少 2 张）。测试硬件：NVIDIA GB200, H100。需兼容 CUDA 12.9+。","未说明",{"notes":37,"python":38,"dependencies":39},"1. 该工具主要面向多 GPU 服务器环境（如 GB200, H100），最低要求 2 张 GPU 进行分布式推理。\n2. GB200 用户需额外安装 Transformer Engine 和特定版本的 TensorRT 以启用优化功能；H100 用户可跳过这些步骤。\n3. 推理时启用 DiT 缓存可显著提速（GB200 约 0.6 秒，H100 约 3 秒）。\n4. 训练基于 Wan2.1-I2V-14B 或 Wan2.2-TI2V-5B 模型，需预先下载约 28GB 的模型权重和分词器。\n5. 数据集需转换为 LeRobot v2.0 格式，预处理后的 DROID 数据集约为 131GB。","3.11",[40,41,42,43,44,45,46],"torch>=2.8 (CUDA 12.9+)","flash-attn","transformer_engine (GB200 必需)","tensorrt (GB200 可选，用于加速)","huggingface_hub","hydra","deepspeed",[48,49,50,51],"视频","开发框架","Agent","其他",2,"ready","2026-03-27T02:49:30.150509","2026-04-07T13:27:28.017665",[57,62,67,72,77,82,87],{"id":58,"question_zh":59,"answer_zh":60,"source_url":61},22220,"是否有计划发布基于 Flash 优化的 5B 模型检查点？","目前团队没有计划在代码库中支持 Flash 实现版本。不过，项目刚刚合并了对 WAN2.2-5B 模型的支持，该模型在 Molmospaces 上表现具有竞争力，建议尝试使用此替代方案。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F31",{"id":63,"question_zh":64,"answer_zh":65,"source_url":66},22221,"如何添加自定义机器人实体（Embodiment）以避免 KeyError 并解决初始化慢的问题？","1. 解决 KeyError：打开 `groot\u002Fvla\u002Fconfigs\u002Fmodel\u002Fdreamzero\u002Ftransform\u002Fbase.yaml`，在 `embodiment_tag_to_projector_index` 下添加你的实体标签映射。\n2. 解决 ValueError：在 `groot\u002Fvla\u002Fmodel\u002Fdreamzero\u002Ftransform\u002Fdreamzero_cotrain.py` 的 collate 函数中，找到硬编码的 if\u002Felif 分支，为你的实体添加一个新的 elif 块以构建相机布局描述文本，并确保定义了相应的 `EmbodimentTag` 枚举。\n3. 优化启动时间：建议预生成所有元数据（metadata）以减少每次运行时的索引构建时间。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F24",{"id":68,"question_zh":69,"answer_zh":70,"source_url":71},22222,"如何解决 flash-attn 与 PyTorch 版本不兼容的问题（如要求 Torch 2.8+ 但 flash-attn 仅支持到 2.5）？","flash-attn 仓库的不同版本支持不同的 PyTorch 版本。如果遇到环境冲突，请前往 [flash-attn releases 页面](https:\u002F\u002Fgithub.com\u002FDao-AILab\u002Fflash-attention\u002Freleases) 查看版本兼容性列表，选择与你当前 PyTorch 版本（如 2.5 或更低）相匹配的 flash-attn 版本进行安装，而不是强制使用最新版。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F19",{"id":73,"question_zh":74,"answer_zh":75,"source_url":76},22223,"加载 DreamZero-AgiBot 检查点时提示找不到 'experiment_cfg\u002Fconf.yaml' 文件怎么办？","DreamZero-AgiBot 检查点是一个预训练的基础模型，旨在作为微调的起点，而非独立的推理检查点。`experiment_cfg\u002F` 目录（包含 conf.yaml 和 metadata.json）通常是在训练过程中自动生成并保存到输出检查点中的。如果你需要该文件，可以手动从 HuggingFace 仓库的 `experiment_cfg` 目录下载补充文件，或者理解该缺失不影响将其作为基座模型进行微调。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F34",{"id":78,"question_zh":79,"answer_zh":80,"source_url":81},22224,"是否有在真实机械臂上部署模型的指南或示例脚本？","是的，官方已发布相关文档和代码。你可以参考 `docs\u002FDATASET_TO_GEAR_AND_TRAIN.md` 获取从数据集准备到真机部署的完整指南。此外，团队正在添加用于从预训练 DreamZero-AgiBot 检查点进行后训练的示例脚本，以替代论文中的 YAM 数据结果，请关注相关线程更新。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F3",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},22225,"是否有计划在 LIBERO 或 Bridge 数据集上预训练并发布对应的检查点？","目前团队没有集成 LIBERO 或 Bridge 数据集的计划。但是，项目欢迎社区贡献，如果你能实现对这些数据集的支持，团队很乐意合并相关的 Pull Request (PR)。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F22",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},22226,"代码是否支持在 H100、A100 或 RTX 5090 等显卡上运行 DreamZero-Flash 版本？","目前代码库中没有计划支持 DreamZero-Flash 版本（无论是在 H100\u002FA100 还是消费级显卡上）。建议用户使用最近合并支持的 WAN2.2-5B 作为骨干网络进行实验。","https:\u002F\u002Fgithub.com\u002Fdreamzero0\u002Fdreamzero\u002Fissues\u002F33",[],[94,104,112,121,129,138],{"id":95,"name":96,"github_repo":97,"description_zh":98,"stars":99,"difficulty_score":27,"last_commit_at":100,"category_tags":101,"status":53},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[50,49,102,103],"图像","数据工具",{"id":105,"name":106,"github_repo":107,"description_zh":108,"stars":109,"difficulty_score":27,"last_commit_at":110,"category_tags":111,"status":53},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[49,102,50],{"id":113,"name":114,"github_repo":115,"description_zh":116,"stars":117,"difficulty_score":52,"last_commit_at":118,"category_tags":119,"status":53},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,"2026-04-06T23:34:12",[49,50,120],"语言模型",{"id":122,"name":123,"github_repo":124,"description_zh":125,"stars":126,"difficulty_score":52,"last_commit_at":127,"category_tags":128,"status":53},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[49,102,50],{"id":130,"name":131,"github_repo":132,"description_zh":133,"stars":134,"difficulty_score":52,"last_commit_at":135,"category_tags":136,"status":53},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[137,49],"插件",{"id":139,"name":140,"github_repo":141,"description_zh":142,"stars":143,"difficulty_score":27,"last_commit_at":144,"category_tags":145,"status":53},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[120,102,50,49]]