[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA--GR00T-Dreams":3,"tool-NVIDIA--GR00T-Dreams":65},[4,18,27,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,26],"视频",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":33,"last_commit_at":34,"category_tags":35,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,2,"2026-04-10T11:13:16",[15,16,26,36,13,37,38,14,39],"插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":17},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[38,16,37],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":17},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[37,15,16,14],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":17},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[13,15,14,38,37],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":103,"forks":104,"last_commit_at":105,"license":106,"difficulty_score":107,"env_os":108,"env_gpu":109,"env_ram":110,"env_deps":111,"category_tags":119,"github_topics":80,"view_count":33,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":151},8021,"NVIDIA\u002FGR00T-Dreams","GR00T-Dreams","DreamGen: Nvidia GEAR Lab's initiative to solve the robotics data problem using world models","GR00T-Dreams 是英伟达 GEAR 实验室推出的一项创新方案，旨在利用世界模型解决机器人训练中数据匮乏的难题。它基于 NVIDIA Cosmos 视频基础模型，仅需一张初始图片和简单的语言指令，就能生成海量的合成机器人运动轨迹视频。\n\n传统机器人学习往往依赖昂贵且难以获取的真实遥操作数据，导致在新环境或新任务上的泛化能力受限。GR00T-Dreams 通过生成逼真的合成数据，让机器人无需大量真实演示即可学会在陌生环境中执行复杂任务，显著降低了数据采集成本并提升了模型的通用性。\n\n该工具主要面向机器人领域的研究人员与开发者，特别是那些从事具身智能、强化学习或需要构建大规模训练数据集的团队。其技术亮点在于完整的自动化流水线：从微调视频世界模型、生成合成视频，到利用逆动力学模型（IDM）提取动作并转换为标准格式，最终可直接用于微调如 GR00T N1 等机器人策略模型。目前，该项目已开源核心代码与预训练模型，支持多种主流机器人形态，为加速通用机器人技术的研发提供了强有力的基础设施。","# GR00T Dreams\n[![Introduction Video](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_GR00T-Dreams_readme_85c8761301bd.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=8Mwrfvq-GeY)\n\nNVIDIA Isaac GR00T-Dreams blueprint generates vast amounts of synthetic trajectory data using NVIDIA Cosmos world foundation models, prompted by a single image and language instructions. This enables robots to learn new tasks in unfamiliar environments without needing specific teleoperation data.\n\nAs a first step, we release \u003Cb>DreamGen: Unlocking Generalization in Robot Learning through Video World Models\u003C\u002Fb> \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fgear\u002Fdreamgen\u002F\">\u003Cstrong>Website\u003C\u002Fstrong>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12705\">\u003Cstrong>Paper\u003C\u002Fstrong>\u003C\u002Fa>\n\n\nWe provide the full pipeline for DreamGen, as Cosmos-Predict2 as the video world model in the repository. This repository is divided into:\n1. [Finetuning video world models](#1-fine-tuning-video-world-models)\n2. [Generating synthetic videos](#2-generating-synthetic-robot-videos-using-fine-tuned-video-world-models)\n3. [Extracting IDM actions](#3-extracting-robot-actions-using-a-fine-tuned-idm-model-to-lerobot-format)\n4. [Fine-tuning on GR00T N1](#4-fine-tuning-on-gr00t-n1)\n5. [Replicating the DreamGenBench numbers](#5-dreamgen-bench)\n\nInstall the environment for `cosmos-predict2` following [cosmos-predict2-setup](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#prerequisites).\n\nSee the high-level workflow in the [Reference Architecture](reference_architecture\u002Freference_architecture.md).\n\n## 1. Fine-tuning video world models\nSee [cosmos-predict2\u002Fdocumentations\u002Ftraining_gr00t.md](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#video2world-post-training-for-dreamgen-bench) for details.\n\n## 2. Generating Synthetic Robot Videos using Fine-tuned Video World Models\nSee [cosmos-predict2\u002Fdocumentations\u002Ftraining_gr00t.md#inference-for-dreamgen-benchmark](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#4-inference-for-dreamgen-benchmark) for details.\n\n\n## 3. Extracting robot actions using a fine-tuned IDM model to LeRobot Format\n\n### 3.1 Convert the directory structure\nThis step convert the directory structure from step 2 to the format required by step 3.2.\n```markdown\nThis scripts convert the directory structure from step 2 for step 3\nin step 2, the directory structure is like this:\n\nresults\u002Fdream_gen_benchmark\u002F\n└── cosmos_predict2_14b_gr1_object\u002F\n    ├── 0_Use_the_right_hand_to_pick_up_the_spatula_and_perform_a_serving_motion_from_the_bowl_onto_the_metal_plate.mp4\n    ├── 1_Use_the_right_hand_to_close_lunch_box.mp4\n    └── ...\n\nFor step 3, the directory structure is like this:\n\nresults\u002Fdream_gen_benchmark\u002F\n└── cosmos_predict2_14b_gr1_object_step3\u002F\n    ├── Use_the_right_hand_to_pick_up_the_spatula_and_perform_a_serving_motion_from_the_bowl_onto_the_metal_plate\u002F0.mp4\n    ├── Use_the_right_hand_to_close_lunch_box\u002F0.mp4\n    └── ...\n```\n\nSave the generated video from cosmos-predict2 in `${COSMOS_PREDICT2_OUTPUT_DIR}` in step2.\n\n```bash\npython IDM_dump\u002Fconvert_directory.py \\\n    --input_dir \"${COSMOS_PREDICT2_OUTPUT_DIR}\" \\\n    --output_dir \"results\u002Fdream_gen_benchmark\u002Fcosmos_predict2_14b_gr1_object_step3\"\n```\n\n### 3.2 Preprocess the generated videos\nScripts are below `IDM_dump\u002Fscripts\u002Fpreprocess` folder. Replace the `source_dir` with your own dataset path that contains generated videos in the command. Each script is designed for a specific embodiment. We currently support the following embodiments:\n- `franka`: Franka Emika Panda Robot Arm\n- `gr1`: Fourier GR1 Humanoid Robot\n- `so100`: SO-100 Robot Arm\n- `robocasa`: RoboCasa (Simulation)\n\n\n### (Optional) 3.3 Training Custom IDM model\n**NOTE: This is only needed if the target embodiment is different from the 4 embodiments that we provide (franka, gr1, so100, and robocasa).**\n\n#### Training IDM model within the `DreamGen` environment\nGiven a few ground-truth trajectories of a specific embodiment, we can train an IDM model. \nThe following example command will train an IDM model on `robot_sim.PickNPlace` demo dataset.\n```bash\nPYTHONPATH=. torchrun scripts\u002Fidm_training.py --dataset-path demo_data\u002Frobot_sim.PickNPlace\u002F --embodiment_tag gr1\n```\n\nHere's another example command that will train an IDM model on the `robocasa_panda_omron` embodiment (RoboCasa simulation). \n\n```bash\nPYTHONPATH=. torchrun scripts\u002Fidm_training.py --dataset-path \u003Cpath_to_dataset> --data-config single_panda_gripper --embodiment_tag \"robocasa_panda_omron\"\n```\nFor other embodiments, you need to add two things: 1)`modality.json` and `stats.json` below `IDM_dump\u002Fglobal_metadata\u002F{embodiment_name}`, 2) data config information for the new embodiment below `gr00t\u002Fexperiment\u002Fdata_config_idm.py`.\n\n\n## 4. Fine-tuning on GR00T N1\n\nScripts are below `IDM_dump\u002Fscripts\u002Ffinetune` folder. Each script is designed for a specific embodiment. We currently support the following embodiments:\n- `franka`: Franka Emika Panda Robot Arm\n- `gr1`: Fourier GR1 Humanoid Robot\n- `so100`: SO-100 Robot Arm\n- `robocasa`: RoboCasa (Simulation)\n\nThe recommended finetuning configurations is to boost your batch size to the max, and train for 20k steps.\nRun the command within the `DreamGen` environment.\n\n## 5. DreamGen Bench\n\nWe provide the code to evaluate Instruction Following (IF) and Physics Alignment (PA) from the DreamGen paper.\n\n### Environment\n\n### Before evaluation\nmake sure that your directory of video & name of videos is structured as:\n```md\n\u002Fmnt\u002Famlfs-01\u002Fhome\u002Fjoelj\u002Fhuman_evals\u002F\n└── cosmos_predict2_gr1_env\u002F\n    ├── 0_Use_the_right_hand_to_pick_up_the_spatula_and_perform_a_serving_motion_from_the_bowl_onto_the_metal_plate.mp4\n    ├── 1_Use_the_right_hand_to_close_lunch_box.mp4\n    ├── 2_Use_the_right_hand_to_close_the_black_drawer.mp4\n    ├── 3_Use_the_right_hand_to_close_the_lid_of_the_soup_tureen.mp4\n    .......\n```\n\n### Eval\n\n```bash\n# success rate (evaluated by Qwen2.5-VL)\nvideo_dir={YOUR_VIDEO_DIR} # structured as mentioned above\ncsv_path={PATH_TO_SAVE}\ndevice=\"cuda:0\"\npython -m dreamgenbench.eval_sr_qwen_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n\n# if you are a zero-shot model, you can specify zeroshot as the flag\npython -m dreamgenbench.eval_sr_qwen_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\" \\\n    --zeroshot true\n\n# success rate (evaluated by GPT-4o)\nvideo_dir={YOUR_VIDEO_DIR} # structured as mentioned above\ncsv_path={PATH_TO_SAVE}\napi_key={YOUR_OPENAI_API_KEY}\ndevice=\"cuda:0\"\npython -m dreamgenbench.eval_sr_gpt4o_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --api_key \"$api_key\"\n\n# if you are a zero-shot model, you can specify zeroshot as the flag\npython -m dreamgenbench.eval_sr_gpt4o_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --zeroshot true \\\n    --api_key \"$api_key\"\n\n# physical alignment (using QWEN-VL, get PA score I)\npython -m dreamgenbench.eval_qwen_pa\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n\n\n```\nplease refer to the README in videophy folder to evaluate the PA score II, then average the score of PA score I & II\n\nOur benchmark hopes to be friendly enough to the research community, thus only choosing ~50 videos for each dataset and using a relatively small open source VLM for major evaluation. Thus, our evaluation protocol might not be generalized well to some OOD scenarios like multi-view videos, judging physics in a detailed manner, etc.\n\n```\n@article{jang2025dreamgen,\n  title={DreamGen: Unlocking Generalization in Robot Learning through Video World Models},\n  author={Jang, Joel and Ye, Seonghyeon and Lin, Zongyu and Xiang, Jiannan and Bjorck, Johan and Fang, Yu and Hu, Fengyuan and Huang, Spencer and Kundalia, Kaushil and Lin, Yen-Chen and others},\n  journal={arXiv preprint arXiv:2505.12705v2},\n  year={2025}\n}\n```\n","# GR00T 梦想\n[![介绍视频](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_GR00T-Dreams_readme_85c8761301bd.jpg)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=8Mwrfvq-GeY)\n\nNVIDIA Isaac GR00T-Dreams 蓝图利用 NVIDIA Cosmos 世界基础模型，通过单张图像和语言指令生成海量的合成轨迹数据。这使得机器人无需特定的遥操作数据，便能在陌生环境中学习新任务。\n\n作为第一步，我们发布了 \u003Cb>DreamGen：通过视频世界模型解锁机器人学习中的泛化能力\u003C\u002Fb> \u003Ca href=\"https:\u002F\u002Fresearch.nvidia.com\u002Flabs\u002Fgear\u002Fdreamgen\u002F\">\u003Cstrong>网站\u003C\u002Fstrong>\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.12705\">\u003Cstrong>论文\u003C\u002Fstrong>\u003C\u002Fa>\n\n\n我们提供了 DreamGen 的完整流程，其中 Cosmos-Predict2 作为视频世界模型被纳入该仓库。本仓库分为以下几部分：\n1. [微调视频世界模型](#1-fine-tuning-video-world-models)\n2. [生成合成视频](#2-generating-synthetic-robot-videos-using-fine-tuned-video-world-models)\n3. [提取 IDM 动作](#3-extracting-robot-actions-using-a-fine-tuned-idm-model-to-lerobot-format)\n4. [在 GR00T N1 上进行微调](#4-fine-tuning-on-gr00t-n1)\n5. [复现 DreamGenBench 数据](#5-dreamgen-bench)\n\n请按照 [cosmos-predict2-setup](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#prerequisites) 中的说明安装 `cosmos-predict2` 的运行环境。\n\n高阶工作流请参见 [参考架构](reference_architecture\u002Freference_architecture.md)。\n\n## 1. 微调视频世界模型\n详情请参阅 [cosmos-predict2\u002Fdocumentations\u002Ftraining_gr00t.md](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#video2world-post-training-for-dreamgen-bench)。\n\n## 2. 使用微调后的视频世界模型生成合成机器人视频\n详情请参阅 [cosmos-predict2\u002Fdocumentations\u002Ftraining_gr00t.md#inference-for-dreamgen-benchmark](https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2\u002Fblob\u002Fmain\u002Fdocumentations\u002Fpost-training_video2world_gr00t.md#4-inference-for-dreamgen-benchmark)。\n\n## 3. 使用微调后的 IDM 模型将机器人动作提取为 LeRobot 格式\n\n### 3.1 转换目录结构\n此步骤将第 2 步中的目录结构转换为第 3.2 步所需的格式。\n```markdown\n此脚本用于将第 2 步的目录结构转换为第 3 步所需的格式。\n在第 2 步中，目录结构如下：\n\nresults\u002Fdream_gen_benchmark\u002F\n└── cosmos_predict2_14b_gr1_object\u002F\n    ├── 0_用右手拿起抹刀，并将碗中的食物盛到金属盘上.mp4\n    ├── 1_用右手关上饭盒.mp4\n    └── ...\n\n而在第 3 步中，目录结构应为：\n\nresults\u002Fdream_gen_benchmark\u002F\n└── cosmos_predict2_14b_gr1_object_step3\u002F\n    ├── 用右手拿起抹刀，并将碗中的食物盛到金属盘上\u002F0.mp4\n    ├── 用右手关上饭盒\u002F0.mp4\n    └── ...\n```\n\n将第 2 步中由 cosmos-predict2 生成的视频保存至 `${COSMOS_PREDICT2_OUTPUT_DIR}`。\n\n```bash\npython IDM_dump\u002Fconvert_directory.py \\\n    --input_dir \"${COSMOS_PREDICT2_OUTPUT_DIR}\" \\\n    --output_dir \"results\u002Fdream_gen_benchmark\u002Fcosmos_predict2_14b_gr1_object_step3\"\n```\n\n### 3.2 对生成的视频进行预处理\n脚本位于 `IDM_dump\u002Fscripts\u002Fpreprocess` 文件夹下。请在命令中将 `source_dir` 替换为你自己的包含生成视频的数据集路径。每个脚本都针对特定的机器人形态设计。目前我们支持以下形态：\n- `franka`：Franka Emika Panda 机械臂\n- `gr1`：Fourier GR1 类人机器人\n- `so100`：SO-100 机械臂\n- `robocasa`：RoboCasa（仿真）\n\n### （可选）3.3 训练自定义 IDM 模型\n**注意：仅当目标机器人形态不同于我们提供的四种形态（franka、gr1、so100 和 robocasa）时才需要执行此步骤。**\n\n#### 在 `DreamGen` 环境中训练 IDM 模型\n给定特定机器人的少量真实轨迹数据，我们可以训练一个 IDM 模型。以下示例命令将在 `robot_sim.PickNPlace` 演示数据集上训练 IDM 模型。\n```bash\nPYTHONPATH=. torchrun scripts\u002Fidm_training.py --dataset-path demo_data\u002Frobot_sim.PickNPlace\u002F --embodiment_tag gr1\n```\n\n另一个示例命令将在 `robocasa_panda_omron` 形态（RoboCasa 仿真）上训练 IDM 模型。\n\n```bash\nPYTHONPATH=. torchrun scripts\u002Fidm_training.py --dataset-path \u003C数据集路径> --data-config single_panda_gripper --embodiment_tag \"robocasa_panda_omron\"\n```\n对于其他形态，你需要添加两样东西：1）`IDM_dump\u002Fglobal_metadata\u002F{embodiment_name}` 下的 `modality.json` 和 `stats.json` 文件，2）在 `gr00t\u002Fexperiment\u002Fdata_config_idm.py` 中添加针对新形态的数据配置信息。\n\n## 4. 在 GR00T N1 上进行微调\n\n脚本位于 `IDM_dump\u002Fscripts\u002Ffinetune` 文件夹下。每个脚本都针对特定的机器人形态设计。目前我们支持以下形态：\n- `franka`：Franka Emika Panda 机械臂\n- `gr1`：Fourier GR1 类人机器人\n- `so100`：SO-100 机械臂\n- `robocasa`：RoboCasa（仿真）\n\n推荐的微调配置是将批次大小调至最大值，并训练 2 万步。请在 `DreamGen` 环境中运行该命令。\n\n## 5. DreamGen 基准测试\n\n我们提供了用于评估《DreamGen》论文中指令遵循（IF）和物理对齐（PA）的代码。\n\n### 环境\n\n### 评估前\n请确保你的视频目录及文件名结构如下：\n```md\n\u002Fmnt\u002Famlfs-01\u002Fhome\u002Fjoelj\u002Fhuman_evals\u002F\n└── cosmos_predict2_gr1_env\u002F\n    ├── 0_用右手拿起抹刀，并将碗中的食物盛到金属盘上.mp4\n    ├── 1_用右手关上饭盒.mp4\n    ├── 2_用右手关上黑色抽屉.mp4\n    ├── 3_用右手关上汤盆盖.mp4\n    .......\n```\n\n### 评估\n\n```bash\n# 成功率（由 Qwen2.5-VL 评估）\nvideo_dir={YOUR_VIDEO_DIR} # 结构如上所述\ncsv_path={SAVE_PATH}\ndevice=\"cuda:0\"\npython -m dreamgenbench.eval_sr_qwen_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n\n# 如果你是零样本模型，可以指定 zeroshot 标志\npython -m dreamgenbench.eval_sr_qwen_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\" \\\n    --zeroshot true\n\n# 成功率（由 GPT-4o 评估）\nvideo_dir={YOUR_VIDEO_DIR} # 结构如上所述\ncsv_path={SAVE_PATH}\napi_key={YOUR_OPENAI_API_KEY}\ndevice=\"cuda:0\"\npython -m dreamgenbench.eval_sr_gpt4o_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --api_key \"$api_key\"\n\n# 如果您使用的是零样本模型，可以将标志设置为 zeroshot\npython -m dreamgenbench.eval_sr_gpt4o_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --zeroshot true \\\n    --api_key \"$api_key\"\n\n# 物理对齐（使用 QWEN-VL，获取 PA 分数 I）\npython -m dreamgenbench.eval_qwen_pa\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n\n\n```\n请参考 videophy 文件夹中的 README 文件以评估 PA 分数 II，然后对 PA 分数 I 和 II 的得分取平均值。\n\n我们的基准测试旨在尽可能友好地服务于研究社区，因此每个数据集仅选择了约 50 个视频，并使用相对较小的开源 VLM 进行主要评估。因此，我们的评估协议可能并不适用于某些 OOD 场景，例如多视角视频、对物理细节的精确判断等。\n\n```\n@article{jang2025dreamgen,\n  title={DreamGen：通过视频世界模型解锁机器人学习中的泛化能力},\n  author={Jang, Joel 和 Ye, Seonghyeon 和 Lin, Zongyu 和 Xiang, Jiannan 和 Bjorck, Johan 和 Fang, Yu 和 Hu, Fengyuan 和 Huang, Spencer 和 Kundalia, Kaushil 和 Lin, Yen-Chen 等},\n  journal={arXiv 预印本 arXiv:2505.12705v2},\n  year={2025}\n}\n```","# GR00T-Dreams 快速上手指南\n\nGR00T-Dreams 是 NVIDIA 推出的开源工具，利用 Cosmos 世界基础模型，仅需单张图片和语言指令即可生成海量合成机器人轨迹数据。该工具旨在帮助机器人在无需特定遥操作数据的情况下，学习陌生环境中的新任务。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04\u002F22.04)\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (建议显存充足以运行视频生成模型)\n*   **前置依赖**:\n    *   Python 3.8+\n    *   PyTorch (与 CUDA 版本匹配)\n    *   Git\n*   **核心依赖**: 本项目依赖 `cosmos-predict2` 作为视频世界模型。\n\n> **注意**：由于主要依赖 NVIDIA 官方仓库，国内用户建议在配置网络代理或使用学术加速镜像的环境下进行克隆和依赖安装，以确保 `github.com` 和 `huggingface.co` 相关资源的顺利下载。\n\n## 2. 安装步骤\n\n### 2.1 设置 Cosmos-Predict2 环境\n首先，按照官方文档配置 `cosmos-predict2` 的基础环境。这是生成合成视频的核心引擎。\n\n```bash\n# 克隆 cosmos-predict2 仓库 (建议使用镜像加速)\ngit clone https:\u002F\u002Fgithub.com\u002Fnvidia-cosmos\u002Fcosmos-predict2.git\ncd cosmos-predict2\n\n# 按照官方文档安装依赖并设置环境\n# 参考文档：documentations\u002Fpost-training_video2world_gr00t.md\n```\n\n### 2.2 获取 GR00T-Dreams 代码\n克隆本仓库并进入目录：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA-ISAAC-ROS\u002Fgr00t-dreams.git\ncd gr00t-dreams\n```\n\n### 2.3 配置 DreamGen 环境\n确保在激活了 `cosmos-predict2` 环境的终端中操作，或根据项目需求安装额外的 Python 依赖（如 `IDM_dump` 模块所需的库）。\n\n```bash\n# 示例：安装当前目录下的额外依赖（如果存在 requirements.txt）\npip install -e .\n```\n\n## 3. 基本使用流程\n\n本指南演示从微调模型到生成数据的最简核心流程。\n\n### 步骤 1：微调视频世界模型\n使用特定数据集对 Cosmos 模型进行后训练（Post-training），使其适应机器人任务。具体参数请参考 `cosmos-predict2` 文档中的 `training_gr00t.md`。\n\n### 步骤 2：生成合成机器人视频\n利用微调后的模型，通过图片 + 文本指令生成合成视频。\n\n```bash\n# 执行推理生成视频 (参考 cosmos-predict2 文档中的 inference 部分)\n# 生成的视频将保存在 ${COSMOS_PREDICT2_OUTPUT_DIR}\n```\n\n### 步骤 3：转换目录结构\n生成的视频目录结构需要调整，以便后续提取动作数据。运行以下脚本将结构转换为 IDM 模型所需的格式：\n\n```bash\npython IDM_dump\u002Fconvert_directory.py \\\n    --input_dir \"${COSMOS_PREDICT2_OUTPUT_DIR}\" \\\n    --output_dir \"results\u002Fdream_gen_benchmark\u002Fcosmos_predict2_14b_gr1_object_step3\"\n```\n\n### 步骤 4：预处理视频并提取动作 (IDM)\n根据机器人的本体（Embodiment）运行预处理脚本。目前支持 `franka`, `gr1`, `so100`, `robocasa`。\n\n```bash\n# 进入预处理脚本目录\ncd IDM_dump\u002Fscripts\u002Fpreprocess\n\n# 替换 source_dir 为您的实际数据集路径\n# 示例：针对 GR1 机器人进行处理 (具体脚本文件名请参考目录下对应 embodiment 的脚本)\npython preprocess_gr1.py --source_dir \u002Fpath\u002Fto\u002Fyour\u002Fvideos\n```\n\n*(可选) 如果您的机器人本体不在上述支持列表中，需先收集少量真实轨迹数据，使用以下命令训练自定义 IDM 模型：*\n\n```bash\nPYTHONPATH=. torchrun scripts\u002Fidm_training.py --dataset-path demo_data\u002Frobot_sim.PickNPlace\u002F --embodiment_tag gr1\n```\n\n### 步骤 5：在 GR00T N1 上微调策略\n使用提取出的动作数据（LeRobot 格式）对 GR00T N1 策略模型进行微调。\n\n```bash\n# 进入微调脚本目录\ncd IDM_dump\u002Fscripts\u002Ffinetune\n\n# 运行对应本体的微调脚本\n# 建议配置：最大化 Batch Size，训练 20k steps\npython finetune_gr1.py --config_path \u003Cyour_config>\n```\n\n### 步骤 6：评估 (DreamGen Bench)\n使用提供的脚本评估生成视频的“指令遵循度 (IF)\"和“物理一致性 (PA)\"。\n\n**评估成功率 (Success Rate):**\n\n```bash\n# 使用 Qwen2.5-VL 评估\nvideo_dir=\u002Fpath\u002Fto\u002Fvideos\ncsv_path=.\u002Fresults.csv\ndevice=\"cuda:0\"\n\npython -m dreamgenbench.eval_sr_qwen_whole \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n```\n\n**评估物理一致性 (Physics Alignment):**\n\n```bash\npython -m dreamgenbench.eval_qwen_pa \\\n    --video_dir \"$video_dir\" \\\n    --output_csv \"$csv_path\" \\\n    --device \"$device\"\n```\n\n> **提示**：评估前请确保视频目录结构符合文档要求（例如：`0_指令描述.mp4`, `1_指令描述.mp4`）。","某机器人初创公司正急于让新购入的 Fourier GR1 人形机器人在未实地部署的陌生厨房环境中，学会“从碗中盛菜到盘子”的复杂操作。\n\n### 没有 GR00T-Dreams 时\n- **数据采集成本极高**：工程师需远程操控机器人反复试错，耗时数周才能收集到足够的遥操作演示数据。\n- **泛化能力严重不足**：一旦厨房布局微调或餐具颜色改变，模型因缺乏多样化样本而直接失效，需重新采集。\n- **长尾场景覆盖难**：难以模拟打滑、遮挡等罕见意外情况，导致机器人在真实落地时面对突发状况手足无措。\n- **硬件依赖性强**：在真机到位前，算法团队只能空转等待，无法提前进行有效的策略训练与验证。\n\n### 使用 GR00T-Dreams 后\n- **零样本生成轨迹**：仅需输入一张厨房照片和“盛菜”指令，GR00T-Dreams 利用 Cosmos 世界模型瞬间生成海量逼真的合成视频轨迹。\n- **环境适应性飞跃**：通过调整提示词，轻松生成不同光照、物体位置甚至突发干扰下的训练数据，大幅提升模型泛化性。\n- **自动提取动作策略**：工具链自动将合成视频转化为标准的 LeRobot 格式动作序列，无需人工标注即可用于微调 GR1 控制器。\n- **研发周期大幅缩短**：在真机抵达前，团队已利用合成数据完成预训练，将新任务部署时间从数周压缩至数天。\n\nGR00T-Dreams 通过构建虚拟世界模型，彻底打破了机器人学习对昂贵实体数据的依赖，让通用具身智能的快速落地成为可能。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_GR00T-Dreams_85c87613.jpg","NVIDIA","NVIDIA Corporation","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA_7dcf6000.png","",null,"https:\u002F\u002Fnvidia.com","https:\u002F\u002Fgithub.com\u002FNVIDIA",[84,88,92,96,100],{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",87.7,{"name":89,"color":90,"percentage":91},"Python","#3572A5",12.2,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.1,{"name":97,"color":98,"percentage":99},"Dockerfile","#384d54",0,{"name":101,"color":102,"percentage":99},"Makefile","#427819",523,52,"2026-04-14T10:59:30","Apache-2.0",5,"Linux","必需 NVIDIA GPU。需支持 Cosmos-Predict2 (14B 参数视频世界模型) 及 Qwen2.5-VL\u002FGPT-4o 评估。虽然未明确具体显存，但运行 14B 模型通常建议 24GB+ (如 A100\u002FH100)，且命令中指定了 cuda:0，表明依赖 CUDA 环境。","未说明 (建议 64GB+ 以处理视频生成和大模型推理)",{"notes":112,"python":113,"dependencies":114},"1. 核心依赖：必须首先按照外部链接安装 'cosmos-predict2' 环境，这是生成合成视频的基础。\n2. 硬件架构：主要面向 NVIDIA Isaac GR00T N1 及特定机器人实体（Franka, GR1, SO-100, RoboCasa）。\n3. 评估依赖：成功率评估需要本地部署 Qwen2.5-VL 或调用 GPT-4o API；物理一致性评估需要 videophy 相关组件。\n4. 工作流：包含微调视频世界模型、生成视频、提取动作 (IDM)、微调策略网络及基准测试五个步骤。\n5. 操作系统推断：鉴于涉及 NVIDIA 深层生态 (Cosmos, Isaac) 及 torchrun 分布式训练脚本，默认仅支持 Linux。","未说明 (需支持 torchrun，通常建议 3.10+)",[115,116,117,118],"torch","cosmos-predict2","transformers (隐含，用于 Qwen)","accelerate (隐含，用于训练)",[26,16,37],"2026-03-27T02:49:30.150509","2026-04-16T16:03:28.385565",[123,128,133,138,143,147],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},35913,"如何为自定义机器人（如 UR10、Unitree G1 或 SO101）微调 IDM 模型？","代码已更新以支持自定义本体。您需要完成以下两步：\n1. 在 `IDM_dump\u002Fglobal_metadata\u002F{embodiment_name}` 目录下添加 `modality.json` 和 `stats.json` 文件。\n2. 在 `gr00t\u002Fexperiment\u002Fdata_config_idm.py` 中添加新本体的数据配置信息。\n运行训练脚本时会自动加载 `base.yaml` 文件。对于 `modality.json`，可以参考 Isaac-GR00T 仓库中的示例；`stats.json` 可以通过 lerobot v2.0 记录数据集时生成。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FGR00T-Dreams\u002Fissues\u002F2",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},35914,"在哪里可以下载预训练的 IDM 模型检查点？","预训练的 IDM 模型已发布在 Hugging Face 上，请访问 https:\u002F\u002Fhuggingface.co\u002Fseonghyeonye 查看并下载相关模型。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FGR00T-Dreams\u002Fissues\u002F6",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},35915,"训练视频数据是如何进行预处理和帧数统一的？","在预处理阶段，无论原始视频剪辑的长度如何，都会统一进行子采样（subsampled），使其具有相同的帧数（例如 121 帧）。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FGR00T-Dreams\u002Fissues\u002F1",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},35916,"运行 IDM 训练脚本时出现 \"missing 1 required positional argument: 'local_model_path'\" 错误怎么办？","该问题通常是由于环境配置不一致导致的。尝试重新构建 Docker 环境（rebuild the docker environment）通常可以解决此错误。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FGR00T-Dreams\u002Fissues\u002F5",{"id":144,"question_zh":145,"answer_zh":146,"source_url":142},35917,"如何获取特定机器人（如 SO101）所需的 modality.json 和 stats.json 文件？","1. `stats.json`：如果您使用 lerobot v2.0 记录数据集，可以直接从中获取。\n2. `modality.json`：可以从 Isaac-GR00T 仓库中对应机器人的示例文件中获取（例如 SO100 的配置可作为参考进行修改）。",{"id":148,"question_zh":149,"answer_zh":150,"source_url":137},35918,"是否支持为 Booster T1 或 Unitree 等其他机器人生成合成数据？","目前的脚本主要支持已训练过的几种机器人类型。若要适配其他机器人，需要按照自定义本体的流程，提供相应的 `modality.json` 和 `stats.json` 配置文件，并在 `data_config_idm.py` 中注册新的数据结构，之后即可尝试进行微调或数据生成。",[]]