[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-facebookresearch--nwm":3,"tool-facebookresearch--nwm":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,2,"2026-04-10T11:39:34",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":96,"env_deps":97,"category_tags":111,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":113,"updated_at":114,"faqs":115,"releases":146},8609,"facebookresearch\u002Fnwm","nwm","Official code for the CVPR 2025 paper \"Navigation World Models\".","nwm 是 CVPR 2025 口头报告论文《导航世界模型》的官方开源实现，旨在为机器人和自动驾驶领域提供强大的视觉导航能力。它基于一种名为“条件扩散 Transformer\"（CDiT）的创新架构，能够根据当前的视觉观察和指令，预测未来的场景画面或行动轨迹。\n\n传统导航算法往往依赖精确的地图或复杂的规则，难以应对动态变化的真实环境。nwm 通过构建“世界模型”，让智能体学会在脑海中模拟未来可能发生的视觉变化，从而更灵活地规划路径并避开障碍。这种方法显著提升了机器人在未知或复杂环境中的自主决策能力。\n\n该工具主要面向人工智能研究人员、机器人开发者以及计算机视觉领域的工程师。如果你正在探索基于生成式模型的导航方案，或希望复现前沿的视觉预测技术，nwm 提供了完整的 PyTorch 训练代码、预处理脚本及预训练模型。其技术亮点在于将扩散模型与 Transformer 架构巧妙结合，支持高分辨率图像输入，并能通过简单的配置在多卡集群或单 GPU 环境下进行高效训练与推理。项目还包含了交互式演示笔记，方便用户快速上手体验模型效果。","## Navigation World Models, CVPR 2025 (Oral) \u003Cbr>\u003Csub>Official PyTorch Implementation\u003C\u002Fsub>\n\n### [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.03572) | [Project Page](https:\u002F\u002Fwww.amirbar.net\u002Fnwm\u002F) | [Notebook Demo](interactive_model.ipynb) | [Models](https:\u002F\u002Fhuggingface.co\u002Ffacebook\u002Fnwm)\n\nThis repo contains the official PyTorch implementation of Navigation World Models- the Conditional Diffusion Transformer (CDiT) model training code. See the [project page](https:\u002F\u002Fwww.amirbar.net\u002Fnwm) for additional results.\n\n> [**Navigation World Models**](https:\u002F\u002Fwww.amirbar.net\u002Fnwm)\u003Cbr>\n> [Amir Bar](https:\u002F\u002Fwww.amirbar.net), [Gaoyue \"Kathy\" Zhou](https:\u002F\u002Fgaoyuezhou.github.io\u002F), [Danny Tran](https:\u002F\u002Fdannytran123.github.io\u002F), [Trevor Darrell](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~trevor\u002F), [Yann LeCun](http:\u002F\u002Fyann.lecun.com\u002F)\n> \u003Cbr>AI at Meta, UC Berkeley, New York University\u003Cbr>\n\n## Setup\nFirst, download and set up the repo:\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\ncd nwm\n```\n\n## Data\nTo download and preprocess data, please follow the steps from [NoMaD](https:\u002F\u002Fgithub.com\u002Frobodhruv\u002Fvisualnav-transformer?tab=readme-ov-file#data-wrangling), specifically:\n- Download the datasets\n- Change the [preprocessing resolution](https:\u002F\u002Fgithub.com\u002Frobodhruv\u002Fvisualnav-transformer\u002Fblob\u002Fmain\u002Ftrain\u002Fvint_train\u002Fdata\u002Fdata_utils.py#L13) from (160, 120) to (320, 240) for higher resolution \n- run `process_bags.py` and `process_recon.py` to save each processed dataset to `path\u002Fto\u002Fnwm_repo\u002Fdata\u002F\u003Cdataset_name>`.\n\nFor [SACSon\u002FHuRoN](https:\u002F\u002Fsites.google.com\u002Fview\u002Fsacson-review\u002Fhuron-dataset), we used a private version which contains higher resolution images. Please contact the dataset authors for access (we're unable to distribute).\n\nFinally, you should have the following structure:\n\n```\nnwm\u002Fdata\n├── \u003Cdataset_name>\n│   ├── \u003Cname_of_traj1>\n│   │   ├── 0.jpg\n│   │   ├── 1.jpg\n│   │   ├── ...\n│   │   ├── T_1.jpg\n│   │   └── traj_data.pkl\n│   ├── \u003Cname_of_traj2>\n│   │   ├── 0.jpg\n│   │   ├── 1.jpg\n│   │   ├── ...\n│   │   ├── T_2.jpg\n│   │   └── traj_data.pkl\n│   ...\n└── └── \u003Cname_of_trajN>\n    \t├── 0.jpg\n    \t├── 1.jpg\n    \t├── ...\n        ├── T_N.jpg\n        └── traj_data.pkl\n```  \n\n\n## Requirements:\n```bash\nmamba create -n nwm python=3.10\nmamba activate nwm\npip3 install --pre torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fnightly\u002Fcu126\nmamba install ffmpeg\npip3 install decord einops evo transformers diffusers tqdm timm notebook dreamsim torcheval lpips ipywidgets\n```\n\n## Training\n\nUsing torchrun:\n```bash\nexport NUM_NODES=8\nexport HOST_NODE_ADDR=\u003CHOST_ADDR>\nexport CURR_NODE_RANK=\u003CNODE_RANK>\n\ntorchrun \\\n  --nnodes=${NUM_NODES} \\\n  --nproc-per-node=8 \\\n  --node-rank=${CURR_NODE_RANK} \\\n  --rdzv-backend=c10d \\\n  --rdzv-endpoint=${HOST_NODE_ADDR}:29500 \\\n  train.py --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300 --torch-compile 0\n```\n\nOr using submitit and slurm (8 machines of 8 gpus):\n```bash\npython submitit_train_cw.py --nodes 8 --partition \u003Cpartition_name> --qos \u003Cqos> --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300  --torch-compile 0\n```\n\nOr locally on one GPU for debug:\n```bash\npython train.py --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300  --torch-compile 0\n```\n\nNote: torch compile can lead to ~40%  faster training speed. However, it might lead to instabilities and inconsistent behvaior across different pytorch versions. Use carefuly.\n\n## Pretrained Models\nTo use a pretrained CDiT\u002FXL model:\n- Download a pretrained model from [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Ffacebook\u002Fnwm)\n- Place the checkpoint in .\u002Flogs\u002Fnwm_cdit_xl\u002Fcheckpoints\n\n# Evaluation\n\ndirectory to save evaluation results:\n`export RESULTS_FOLDER=\u002Fpath\u002Fto\u002Fres_folder\u002F`\n\n## Evaluate on single time step prediction \n\n### 1. Prepare ground truth frames for evaluation (one-time)\n\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --datasets recon,scand,sacson,tartan_drive \\\n    --batch_size 96 \\\n    --num_workers 12 \\\n    --eval_type time \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --gt 1\n```\n### 2. Predict future state given action\n\n```bash    \npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --ckp 0100000 \\\n    --datasets \u003Cdataset_name> \\\n    --batch_size 64 \\\n    --num_workers 12 \\\n    --eval_type time \\\n    --output_dir ${RESULTS_FOLDER}\n```\n### 3. Report metrics compared to GT (LPIPS, DreamSim, FID)\n\n```bash    \npython isolated_nwm_eval.py \\\n    --datasets \u003Cdataset_name> \\\n    --gt_dir ${RESULTS_FOLDER}\u002Fgt \\\n    --exp_dir ${RESULTS_FOLDER}\u002Fnwm_cdit_xl \\\n    --eval_types time\n```\nResults are saved in ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name>\n\n## Evaluate on following ground truth trajectories\n\n### 1. Prepare ground truth frames for evaluation (one-time)\n\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --datasets recon,scand,sacson,tartan_drive \\\n    --batch_size 96 \\\n    --num_workers 12 \\\n    --eval_type rollout \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --gt 1 \\\n    --rollout_fps_values 1,4\n```\n### 2. Simulate a GT trajectory using NWM\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --ckp 0100000 \\\n    --datasets \u003Cdataset_name> \\\n    --batch_size 64 \\\n    --num_workers 12 \\\n    --eval_type rollout \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --rollout_fps_values 1,4\n```\n\n### 3. Report metrics compared to GT trajectories (LPIPS, DreamSim, FID)\n```bash\n    python isolated_nwm_eval.py \\\n        --datasets recon \\\n        --gt_dir ${RESULTS_FOLDER}\u002Fgt \\\n        --exp_dir ${RESULTS_FOLDER}\u002Fnwm_cdit_xl \\\n        --eval_types rollout\n```\nResults are saved in ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name>\n\n### Trajectory Evaluation - Planning\n\nUsing 1-step Cross Entropy Method planning on 8 gpus (sampling 120 trajectories):\n```bash\ntorchrun --nproc-per-node=8 planning_eval.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml   \\\n    --datasets recon   \\\n    --rollout_stride 1   \\\n    --batch_size 1   \\\n    --num_samples 120   \\\n    --topk 5   \\\n    --num_workers 12   \\\n    --output_dir ${RESULTS_FOLDER}   \\\n    --save_preds   \\\n    --ckp 0100000   \\\n    --opt_steps 1   \\\n    --num_repeat_eval 3\n```\nResults are saved in ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name>\n\n## BibTeX\n\n```bibtex\n@article{bar2024navigation,\n  title={Navigation world models},\n  author={Bar, Amir and Zhou, Gaoyue and Tran, Danny and Darrell, Trevor and LeCun, Yann},\n  journal={arXiv preprint arXiv:2412.03572},\n  year={2024}\n}\n```\n\n## Acknowledgments\nWe thank Noriaki Hirose for his help with the HuRoN dataset and for sharing his insights, and to Manan Tomar, David Fan, Sonia Joseph, Angjoo Kanazawa, Ethan Weber, Nicolas Ballas, and the anonymous reviewers for their helpful discussions and feedback.\n\n## License\nThe code and model weights are licensed under Creative Commons Attribution-NonCommercial 4.0 International. See [`LICENSE.txt`](LICENSE.txt) for details.\n","## 导航世界模型，CVPR 2025（口头报告）\u003Cbr>\u003Csub>官方 PyTorch 实现\u003C\u002Fsub>\n\n### [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.03572) | [项目页面](https:\u002F\u002Fwww.amirbar.net\u002Fnwm\u002F) | [Notebook 演示](interactive_model.ipynb) | [模型](https:\u002F\u002Fhuggingface.co\u002Ffacebook\u002Fnwm)\n\n本仓库包含导航世界模型——条件扩散变换器（CDiT）模型训练代码的官方 PyTorch 实现。更多结果请参阅[项目页面](https:\u002F\u002Fwww.amirbar.net\u002Fnwm)。\n\n> [**导航世界模型**](https:\u002F\u002Fwww.amirbar.net\u002Fnwm)\u003Cbr>\n> [Amir Bar](https:\u002F\u002Fwww.amirbar.net)，[Gaoyue \"Kathy\" Zhou](https:\u002F\u002Fgaoyuezhou.github.io\u002F)，[Danny Tran](https:\u002F\u002Fdannytran123.github.io\u002F)，[Trevor Darrell](https:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~trevor\u002F)，[Yann LeCun](http:\u002F\u002Fyann.lecun.com\u002F)\n> \u003Cbr>Meta AI、加州大学伯克利分校、纽约大学\u003Cbr>\n\n## 设置\n首先，克隆并设置仓库：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\ncd nwm\n```\n\n## 数据\n要下载和预处理数据，请按照 [NoMaD](https:\u002F\u002Fgithub.com\u002Frobodhruv\u002Fvisualnav-transformer?tab=readme-ov-file#data-wrangling) 中的步骤操作，具体如下：\n- 下载数据集\n- 将[预处理分辨率](https:\u002F\u002Fgithub.com\u002Frobodhruv\u002Fvisualnav-transformer\u002Fblob\u002Fmain\u002Ftrain\u002Fvint_train\u002Fdata\u002Fdata_utils.py#L13)从 (160, 120) 改为 (320, 240)，以获得更高分辨率\n- 运行 `process_bags.py` 和 `process_recon.py`，将每个处理后的数据集保存到 `path\u002Fto\u002Fnwm_repo\u002Fdata\u002F\u003Cdataset_name>`。\n\n对于 [SACSon\u002FHuRoN](https:\u002F\u002Fsites.google.com\u002Fview\u002Fsacson-review\u002Fhuron-dataset)，我们使用的是包含更高分辨率图像的私有版本。请与数据集作者联系以获取访问权限（我们无法分发）。\n\n最终，您的目录结构应如下所示：\n\n```\nnwm\u002Fdata\n├── \u003Cdataset_name>\n│   ├── \u003Cname_of_traj1>\n│   │   ├── 0.jpg\n│   │   ├── 1.jpg\n│   │   ├── ...\n│   │   ├── T_1.jpg\n│   │   └── traj_data.pkl\n│   ├── \u003Cname_of_traj2>\n│   │   ├── 0.jpg\n│   │   ├── 1.jpg\n│   │   ├── ...\n│   │   ├── T_2.jpg\n│   │   └── traj_data.pkl\n│   ...\n└── └── \u003Cname_of_trajN>\n    \t├── 0.jpg\n    \t├── 1.jpg\n    \t├── ...\n        ├── T_N.jpg\n        └── traj_data.pkl\n```  \n\n\n## 依赖项：\n```bash\nmamba create -n nwm python=3.10\nmamba activate nwm\npip3 install --pre torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fnightly\u002Fcu126\nmamba install ffmpeg\npip3 install decord einops evo transformers diffusers tqdm timm notebook dreamsim torcheval lpips ipywidgets\n```\n\n## 训练\n\n使用 torchrun：\n```bash\nexport NUM_NODES=8\nexport HOST_NODE_ADDR=\u003CHOST_ADDR>\nexport CURR_NODE_RANK=\u003CNODE_RANK>\n\ntorchrun \\\n  --nnodes=${NUM_NODES} \\\n  --nproc-per-node=8 \\\n  --node-rank=${CURR_NODE_RANK} \\\n  --rdzv-backend=c10d \\\n  --rdzv-endpoint=${HOST_NODE_ADDR}:29500 \\\n  train.py --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300 --torch-compile 0\n```\n\n或者使用 submitit 和 slurm（8 台机器，每台 8 张 GPU）：\n```bash\npython submitit_train_cw.py --nodes 8 --partition \u003Cpartition_name> --qos \u003Cqos> --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300  --torch-compile 0\n```\n\n或者在本地单 GPU 上进行调试：\n```bash\npython train.py --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300  --torch-compile 0\n```\n\n注意：torch compile 可以使训练速度提升约 40%。然而，它可能会导致不稳定以及不同 PyTorch 版本之间的行为不一致。请谨慎使用。\n\n## 预训练模型\n要使用预训练的 CDiT\u002FXL 模型：\n- 从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Ffacebook\u002Fnwm) 下载预训练模型\n- 将检查点放置在 .\u002Flogs\u002Fnwm_cdit_xl\u002Fcheckpoints 目录下\n\n# 评估\n\n用于保存评估结果的目录：\n`export RESULTS_FOLDER=\u002Fpath\u002Fto\u002Fres_folder\u002F`\n\n## 在单步时间预测上进行评估\n\n### 1. 准备用于评估的真值帧（一次性）\n\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --datasets recon,scand,sacson,tartan_drive \\\n    --batch_size 96 \\\n    --num_workers 12 \\\n    --eval_type time \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --gt 1\n```\n### 2. 根据动作预测未来状态\n\n```bash    \npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --ckp 0100000 \\\n    --datasets \u003Cdataset_name> \\\n    --batch_size 64 \\\n    --num_workers 12 \\\n    --eval_type time \\\n    --output_dir ${RESULTS_FOLDER}\n```\n### 3. 报告与 GT 的指标（LPIPS、DreamSim、FID）\n\n```bash    \npython isolated_nwm_eval.py \\\n    --datasets \u003Cdataset_name> \\\n    --gt_dir ${RESULTS_FOLDER}\u002Fgt \\\n    --exp_dir ${RESULTS_FOLDER}\u002Fnwm_cdit_xl \\\n    --eval_types time\n```\n结果保存在 ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name> 中。\n\n## 在跟随真值轨迹上进行评估\n\n### 1. 准备用于评估的真值帧（一次性）\n\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --datasets recon,scand,sacson,tartan_drive \\\n    --batch_size 96 \\\n    --num_workers 12 \\\n    --eval_type rollout \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --gt 1 \\\n    --rollout_fps_values 1,4\n```\n### 2. 使用 NWM 模拟真值轨迹\n\n```bash\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --ckp 0100000 \\\n    --datasets \u003Cdataset_name> \\\n    --batch_size 64 \\\n    --num_workers 12 \\\n    --eval_type rollout \\\n    --output_dir ${RESULTS_FOLDER} \\\n    --rollout_fps_values 1,4\n```\n\n### 3. 报告与真值轨迹的指标（LPIPS、DreamSim、FID）\n\n```bash\n    python isolated_nwm_eval.py \\\n        --datasets recon \\\n        --gt_dir ${RESULTS_FOLDER}\u002Fgt \\\n        --exp_dir ${RESULTS_FOLDER}\u002Fnwm_cdit_xl \\\n        --eval_types rollout\n```\n结果保存在 ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name> 中。\n\n### 轨迹评估 - 规划\n\n使用 1 步交叉熵方法规划，在 8 张 GPU 上运行（采样 120 条轨迹）：\n```bash\ntorchrun --nproc-per-node=8 planning_eval.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml   \\\n    --datasets recon   \\\n    --rollout_stride 1   \\\n    --batch_size 1   \\\n    --num_samples 120   \\\n    --topk 5   \\\n    --num_workers 12   \\\n    --output_dir ${RESULTS_FOLDER}   \\\n    --save_preds   \\\n    --ckp 0100000   \\\n    --opt_steps 1   \\\n    --num_repeat_eval 3\n```\n结果保存在 ${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name> 中。\n\n## BibTeX\n\n```bibtex\n@article{bar2024navigation,\n  title={Navigation world models},\n  author={Bar, Amir and Zhou, Gaoyue and Tran, Danny and Darrell, Trevor and LeCun, Yann},\n  journal={arXiv preprint arXiv:2412.03572},\n  year={2024}\n}\n```\n\n## 致谢\n我们感谢 Hirose Noriaki 在 HuRoN 数据集方面提供的帮助及分享的见解，同时也感谢 Manan Tomar、David Fan、Sonia Joseph、Angjoo Kanazawa、Ethan Weber、Nicolas Ballas 以及匿名审稿人提供的有益讨论和反馈。\n\n## 许可证\n代码和模型权重采用知识共享署名-非商业性使用4.0国际许可协议授权。详情请参阅[`LICENSE.txt`](LICENSE.txt)。","# NWM (Navigation World Models) 快速上手指南\n\n本指南基于 CVPR 2025 Oral 论文《Navigation World Models》的官方 PyTorch 实现，帮助开发者快速部署和运行条件扩散 Transformer (CDiT) 模型。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 20.04+)\n- **GPU**: 支持 CUDA 12.6 的 NVIDIA 显卡（训练建议多卡环境，推理可单卡）\n- **Python**: 3.10\n- **包管理器**: 推荐使用 `mamba` (比 conda 更快) 或 `conda`\n\n### 前置依赖\n确保系统已安装以下基础工具：\n- Git\n- FFmpeg (用于视频处理)\n- CUDA Toolkit 12.6 (若使用预编译 PyTorch 包可省略，但需驱动匹配)\n\n## 安装步骤\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\ncd nwm\n```\n\n### 2. 创建并激活虚拟环境\n使用 mamba 创建名为 `nwm` 的环境：\n```bash\nmamba create -n nwm python=3.10\nmamba activate nwm\n```\n\n### 3. 安装深度学习框架\n安装 PyTorch 夜间构建版（适配 CUDA 12.6）：\n```bash\npip3 install --pre torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fnightly\u002Fcu126\n```\n> **提示**：国内用户若下载缓慢，可尝试使用清华或阿里镜像源替换上述 index-url，但需确保版本兼容性。\n\n### 4. 安装系统级依赖\n```bash\nmamba install ffmpeg\n```\n\n### 5. 安装 Python 依赖库\n```bash\npip3 install decord einops evo transformers diffusers tqdm timm notebook dreamsim torcheval lpips ipywidgets\n```\n\n## 基本使用\n\n### 1. 数据准备\nNWM 依赖于特定的数据结构。请参考 [NoMaD](https:\u002F\u002Fgithub.com\u002Frobodhruv\u002Fvisualnav-transformer?tab=readme-ov-file#data-wrangling) 进行数据下载和预处理。\n**关键修改**：将预处理分辨率从 `(160, 120)` 改为 `(320, 240)` 以匹配高分辨率需求。\n\n处理后的目录结构应如下：\n```text\nnwm\u002Fdata\n├── \u003Cdataset_name>\n│   ├── \u003Cname_of_traj1>\n│   │   ├── 0.jpg\n│   │   ├── 1.jpg\n│   │   ├── ...\n│   │   ├── T_1.jpg\n│   │   └── traj_data.pkl\n│   └── ...\n```\n\n### 2. 下载预训练模型\n从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Ffacebook\u002Fnwm) 下载预训练的 CDiT\u002FXL 模型检查点，并将其放置在以下目录：\n```text\n.\u002Flogs\u002Fnwm_cdit_xl\u002Fcheckpoints\n```\n\n### 3. 单步预测推理 (最简单的使用示例)\n假设已准备好数据集 `\u003Cdataset_name>` 并设置了结果输出目录，执行以下命令进行未来状态预测：\n\n```bash\nexport RESULTS_FOLDER=\u002Fpath\u002Fto\u002Fres_folder\u002F\n\npython isolated_nwm_infer.py \\\n    --exp config\u002Fnwm_cdit_xl.yaml \\\n    --ckp 0100000 \\\n    --datasets \u003Cdataset_name> \\\n    --batch_size 64 \\\n    --num_workers 12 \\\n    --eval_type time \\\n    --output_dir ${RESULTS_FOLDER}\n```\n\n### 4. 评估指标计算\n预测完成后，运行以下脚本计算与真实值 (GT) 的差异指标 (LPIPS, DreamSim, FID)：\n\n```bash\npython isolated_nwm_eval.py \\\n    --datasets \u003Cdataset_name> \\\n    --gt_dir ${RESULTS_FOLDER}\u002Fgt \\\n    --exp_dir ${RESULTS_FOLDER}\u002Fnwm_cdit_xl \\\n    --eval_types time\n```\n结果将保存至 `${RESULTS_FOLDER}\u002Fnwm_cdit_xl\u002F\u003Cdataset_name>`。\n\n### 5. (可选) 本地调试训练\n若需在单张 GPU 上进行调试训练：\n```bash\npython train.py --config config\u002Fnwm_cdit_xl.yaml --ckpt-every 2000 --eval-every 10000 --bfloat16 1 --epochs 300 --torch-compile 0\n```\n> **注意**：设置 `--torch-compile 1` 可提升约 40% 训练速度，但在不同 PyTorch 版本间可能存在不稳定性，调试阶段建议设为 0。","某自动驾驶研发团队正在开发能在复杂未知室内环境中自主导航的仓储机器人，急需提升其长距离路径规划与动态避障能力。\n\n### 没有 nwm 时\n- **环境预测能力弱**：传统模型仅能基于当前帧做反应式决策，无法“想象”未来几步的视觉画面，导致在盲区或动态障碍物前频繁急停。\n- **长程规划易迷失**：缺乏对世界状态演变的建模，机器人在长走廊或重复纹理场景中容易丢失全局位置感，规划路径经常偏离或陷入死循环。\n- **数据利用效率低**：现有的视觉导航方法难以从海量历史轨迹数据中学习通用的物理规律，每次新场景部署都需要大量微调且泛化性差。\n- **仿真与现实割裂**：由于无法生成高保真的未来视角图像，团队难以在离线阶段有效验证极端情况下的导航策略，实车测试风险高。\n\n### 使用 nwm 后\n- **具备“预见”能力**：nwm 作为条件扩散 Transformer 模型，能根据当前状态和动作指令生成高质量的未来视角图像，让机器人提前“看见”转角后的情况并平滑减速。\n- **鲁棒的长程导航**：通过构建精确的导航世界模型，机器人在无地图或特征稀疏区域也能维持稳定的空间认知，显著减少了迷路和路径震荡现象。\n- **通用性强无需重训**：利用 nwm 在大规模数据集上预训练的能力，模型直接掌握了通用的运动与物理规律，在新仓库部署时仅需少量样本即可适应。\n- **安全的离线推演**：团队可利用 nwm 生成的逼真未来帧进行大规模“脑内模拟”，在零风险环境下筛选出最优导航策略，大幅降低实车调试成本。\n\nnwm 通过将视觉导航转化为可预测的世界模型，赋予了机器人像人类一样的空间想象力，从根本上解决了复杂动态环境下的自主决策难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffacebookresearch_nwm_e6eeb1fd.png","facebookresearch","Meta Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffacebookresearch_449342bd.png","",null,"https:\u002F\u002Fopensource.fb.com","https:\u002F\u002Fgithub.com\u002Ffacebookresearch",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",93.4,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",6.6,591,61,"2026-04-17T06:45:33","NOASSERTION",4,"Linux","必需 NVIDIA GPU。训练示例显示支持多机多卡（8 节点 x 8 GPU），需支持 CUDA 12.6（基于安装命令推断）。显存需求未明确说明，但考虑到模型为 CDiT\u002FXL 且使用 bfloat16 训练，建议大显存显卡。","未说明",{"notes":98,"python":99,"dependencies":100},"1. 官方推荐使用 mamba 创建和管理虚拟环境。\n2. PyTorch 需安装特定的 nightly 版本以支持 CUDA 12.6。\n3. 训练脚本支持 torchrun 分布式训练或 Slurm 集群提交，单卡也可用于调试。\n4. 启用 torch compile 可提升约 40% 训练速度，但可能导致不同 PyTorch 版本间的不稳定。\n5. 部分数据集（如 SACSon\u002FHuRoN 的高分辨率版本）需联系作者获取，无法直接下载。\n6. 代码和模型权重遵循 CC BY-NC 4.0 许可协议（仅限非商业用途）。","3.10",[101,102,103,104,105,106,107,108,109,110],"torch (nightly, cu126)","torchvision","torchaudio","ffmpeg","decord","einops","transformers","diffusers","timm","lpips",[15,61,112],"其他","2026-03-27T02:49:30.150509","2026-04-18T02:22:12.027727",[116,121,126,131,136,141],{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},38560,"如何获取 Hugging Face 上的预训练模型？为什么我的访问请求被拒绝了？","预训练模型主要用于学术研究，目前并非对所有用户完全开放。部分用户的访问请求可能会被拒绝，这通常是因为模型仅对符合特定资格的用户开源。如果您遇到链接为空或请求被拒的情况，可能是因为您尚未获得访问权限。建议检查是否收到了作者的回复，或者尝试联系作者说明您的研究用途以申请访问权限。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F3",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},38561,"为什么规划评估使用 ATE 和 RPE 指标，而不是成功率或碰撞率？","本文主要关注与 NoMaD 的直接对比，后者生成约 2 秒的轨迹，因此采用了 ATE（绝对轨迹误差）和 RPE（相对位姿误差）作为评估指标。虽然成功率和碰撞率也很重要，但考虑导航轨迹的中间误差对于评估模型在长序列生成中的稳定性是有意义的。未来的工作可以探索分层规划策略：先在粗粒度层面规划，然后在这些点之间进行细粒度状态细化，以利用预训练期间引入的更大步长。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F23",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},38562,"在未知环境中使用预训练交互式模型时出现行为异常或模式坍塌（mode collapse），如何解决？","在未知环境中测试时，如果观察到模式坍塌或行为异常，可以尝试以下方法：1. 作者已更新了新的 CDiT-S\u002FB\u002FL 模型检查点，请确保使用最新版本；2. 注意 Jupyter Notebook 示例中定义的动作是完全解耦的（要么旋转要么移动），而真实数据通常在所有轴上都有运动，这种差异可能导致“域外”（OOD）表现；3. 可以尝试将从训练场景中采集的真实轨迹（ground truth trajectories）重新应用到新图像上进行测试。作者曾随机采样了约 100 条长度为 64 时间步的轨迹供参考。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F7",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},38563,"CDiT 模型训练难以收敛，损失卡住或预测随机，是什么原因？","如果在训练 CDiT 模型时遇到难以收敛的问题（特别是当预测噪声时损失卡住），可能与批量大小（batch size）有关。作者建议在实验中积累梯度，使总批量大小达到 1024，这有助于提高稳定性。如果您使用的批量大小较小（如 64），可能会遇到数值问题。此外，作者提到他们主要使用预测 xstart 的方式进行实验，如果您切换到预测 xstart 后模型能够收敛，这也是一种可行的替代方案。关于初始化时将调制层和最终层置零的做法，是为了特定的架构设计，建议优先调整批量大小来解决收敛问题。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F22",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},38564,"论文中 RECON 单步预测的表格（Table 1）和图表（Figure 4）在 t=4 时的数值不一致，应该以哪个为准？","表格和图表的数值差异是由于使用了不同的数据分割（split）。Table 1 的结果可以通过 `time.pkl` 分割复现，而 Figure 4 的结果则是通过 `rollout.pkl` 分割复现的。两者都是正确的，分别对应不同的评估设置。如果您需要 Figure 4 的具体数值以便复现，作者已在相关讨论中提供了包含详细数值的表格图片。请根据您的实验目的选择对应的数据分割文件。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F21",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},38565,"如何仅使用 NWM 进行导航规划？如何采样 16 条轨迹池？","要使用 NWM 进行导航规划，您需要利用模型生成多条候选轨迹并进行排序。具体步骤包括：1. 使用模型采样生成一个包含 16 条轨迹的池（pool）；2. NWM 不仅可以预测单一轨迹，还可以通过多次采样生成多样化的轨迹集合；3. 对这些轨迹进行评估或排名（Ranking），选择最优路径执行。具体的采样代码和排名逻辑可以参考仓库中的规划相关脚本或示例。","https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fnwm\u002Fissues\u002F14",[]]