[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-IGL-HKUST--DiffusionAsShader":3,"tool-IGL-HKUST--DiffusionAsShader":65},[4,18,32,41,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,3,"2026-04-06T03:28:53",[13,14,15,16],"开发框架","图像","Agent","视频","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85052,2,"2026-04-08T11:03:08",[14,27,16,28,15,29,30,13,31],"数据工具","插件","其他","语言模型","音频",{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":38,"last_commit_at":39,"category_tags":40,"status":17},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[30,27,29],{"id":42,"name":43,"github_repo":44,"description_zh":45,"stars":46,"difficulty_score":38,"last_commit_at":47,"category_tags":48,"status":17},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[29,14,27,13],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":10,"last_commit_at":55,"category_tags":56,"status":17},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,30,29],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":17},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75257,"2026-04-09T23:07:38",[30,14,13,29],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":80,"owner_twitter":79,"owner_website":79,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":99,"env_os":100,"env_gpu":101,"env_ram":102,"env_deps":103,"category_tags":115,"github_topics":116,"view_count":24,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":123,"updated_at":124,"faqs":125,"releases":158},6023,"IGL-HKUST\u002FDiffusionAsShader","DiffusionAsShader","[SIGGRAPH 2025] Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control","DiffusionAsShader 是一款面向未来的视频生成开源项目，其核心理念是将扩散模型当作“着色器”来使用。它主要解决了传统 AI 视频生成中难以精确控制摄像机运动、物体替换及风格迁移的痛点，让创作者能够像操作 3D 软件一样，对生成视频的视角、光影和动态进行精细化操控。\n\n该工具特别适合计算机视觉研究人员、AI 开发者以及需要高质量可控视频素材的专业设计师使用。通过引入 3D 感知技术，DiffusionAsShader 不仅能实现自然的动作迁移和风格转换，还支持基于 VGGT 的复杂摄像机轨迹控制，允许用户自由追加或覆盖视频中的相机运动。此外，项目集成了 MoGe、CoTracker 等先进模块，并提供了基于 Wan2.1Fun 的微调推理代码，显著提升了生成的灵活性与准确度。无论是构建合成数据集，还是通过 Gradio 界面快速演示，DiffusionAsShader 都为探索 3D 感知视频生成提供了强大且易用的技术底座。","# Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control\n\n![Version](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-1.0.0-blue)  \n \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.03847'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2501.03847-b31b1b.svg'>\u003C\u002Fa>  \n \u003Ca href='https:\u002F\u002Figl-hkust.github.io\u002Fdas\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \n[![HuggingFace Model](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Model-green)](https:\u002F\u002Fhuggingface.co\u002FEXCAI\u002FDiffusion-As-Shader) \n[![HuggingFace Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FEXCAI\u002FDiffusion-As-Shader)\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_6ffd2e9045bb.gif)\n\n## NEWS:\n- Jun 5, 2025: We released our [script](assets\u002Fdataset.md) and Blender project for creating **synthetic datasets**.\n\n- Jun 2, 2025: We added inference code based on `Wan2.1Fun 1.3B` fine-tuning to the `Wanfun` branch.\n\n- Apr 2, 2025: Added functionality for complex and precise camera control for videos, based on `VGGT`. The `--override_extrinsics` hyperparameter can be adjusted to append or override camera motion in videos.\n\n- Apr 1, 2025: Added support for `cotracker`.\n\n- Feb 17, 2025: We uploaded a validation dataset to [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1pVB_2AEoz1v4vXWe6-pdDAEQdmlGEIci\u002Fview?usp=sharing), containing 4 tasks.\n\n## Quickstart\n\n### Create environment\n1. Clone the repository and create conda environment: \n\n    ```\n    git clone https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader.git\n    conda create -n das python=3.10\n    conda activate das\n    ```\n\n2. Install pytorch, we recommend `Pytorch 2.5.1` with `CUDA 11.8`:\n\n    ```\n    pip3 install torch torchvision --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n    ```\n\n\n\u003C!-- 3. Install `MoGe`:\n```\npip install git+https:\u002F\u002Fgithub.com\u002Fasomoza\u002Fimage_gen_aux.git\n``` -->\n\n3. Make sure the submodule and requirements are installed:\n    ```\n    mkdir -p submodules\n    git submodule update --init --recursive\n    pip install -r requirements.txt\n    ```\n    If the submodules are not installed, you need to manually download them and move them to `submodules\u002F`. Run the following commands to install the submodules:\n    ```\n    # MoGe\n    git clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMoGe.git submodules\u002FMoGe\n    # VGGT\n    git clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggt.git submodules\u002Fvggt\n    ```\n\n4. Manually download these checkpoints to `checkpoints\u002F`:\n   - SpatialTracker checkpoint: [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1UtzUJLPhJdUg2XvemXXz1oe6KUQKVjsZ).\n   - Our *Diffusion as Shader* checkpoint: https:\u002F\u002Fhuggingface.co\u002FEXCAI\u002FDiffusion-As-Shader\n\n\u003C!-- 5. Manually download the ZoeDepth checkpoints (dpt_beit_large_384.pt, ZoeD_M12_K.pt, ZoeD_M12_NK.pt) to `models\u002FmonoD\u002FzoeDepth\u002Fckpts\u002F`. For more information, refer to [this issue](https:\u002F\u002Fgithub.com\u002Fhenry123-boy\u002FSpaTracker\u002Fissues\u002F20). -->\n\n\u003C!-- Then download a dataset:\n\n```bash\n# install `huggingface_hub`\nhuggingface-cli download \\\n  --repo-type dataset Wild-Heart\u002FDisney-VideoGeneration-Dataset \\\n  --local-dir video-dataset-disney\n``` -->\n\n### Inference\n\nThe inference code was tested on\n\n- Ubuntu 20.04\n- Python 3.10\n- PyTorch 2.5.1\n- 1 NVIDIA H800 with CUDA version 11.8. (32GB GPU memory is sufficient for generating videos with our code.)\n\nWe provide a inference script for our tasks. You can run the `demo.py` script directly as follows.\n**We also provide a validation dataset in [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1pVB_2AEoz1v4vXWe6-pdDAEQdmlGEIci\u002Fview?usp=sharing) for our 4 tasks. You can run the `scripts\u002Fevaluate_DaS.sh` to evaluate the performance of our model.**\n\nWe release the gradio interface for our tasks. You can run the `webui.py` script directly as follows.\n```\npython webui.py --gpu \u003Cgpu_id>\n```\n\nOr you can run these tasks one by one as follows.\n\n#### 1. Motion Transfer \n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>Original\u003C\u002Fth>\n  \u003Cth>Object Replacement\u003C\u002Fth>\n  \u003Cth>Style Transfer\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_a702348e75ee.gif\" alt=\"Original\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_688a4b9af755.gif\" alt=\"Object Replacement\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_74ca05d61fd6.gif\" alt=\"Style Transfer\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Cth>Original\u003C\u002Fth>\n  \u003Cth>Character Replacement 1\u003C\u002Fth>\n  \u003Cth>Character Replacement 2\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_3392ff575321.gif\" alt=\"Original\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_43899dfe8df3.gif\" alt=\"Character Replacement 1\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ad983f334796.gif\" alt=\"Character Replacement 2\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n(The above results must be generated with the assistance of FLUX.1 Kontext.)\n\n---\n\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # prompt text\n    --checkpoint_path \u003Cmodel_path> \\ # checkpoint path (e.g checkpoints\u002FDiffusion-As-Shader)\n    --output_dir \u003Coutput_dir> \\ # output directory\n    --input_path \u003Cinput_path> \\ # the reference video path\n    --repaint \u003C True\u002Frepaint_path > \\ # the repaint first frame image path of input source video or use FLUX to repaint the first frame\n    --gpu \u003Cgpu_id> \\ # the gpu id\n\n```\n\n#### 2. Camera Control\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>Arc Right + Zoom out\u003C\u002Fth>\n  \u003Cth>Arc Left + Zoom out\u003C\u002Fth>\n  \u003Cth>Arc Up + Zoom out\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_5fe03a33dcb1.gif\" alt=\"Pans Right + Zoom out\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_007cae473c79.gif\" alt=\"Pans Left + Zoom out\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_d0d279bd8625.gif\" alt=\"Pans Up + Zoom out\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Cth>Pans Left + Yaw Left\u003C\u002Fth>\n  \u003Cth>Static\u003C\u002Fth>\n  \u003Cth>Zoom out\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_8bba673f65f9.gif\" alt=\"Pans Right\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_0bce46b7ca73.gif\" alt=\"Static\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ab13e4a833cc.gif\" alt=\"Zoom out\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\nWe provide several template camera motion types, you can choose one of them. In practice, we find that providing a description of the camera motion in prompt will get better results.\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # prompt text\n    --checkpoint_path \u003Cmodel_path> \\ # checkpoint path (e.g checkpoints\u002FDiffusion-As-Shader)\n    --output_dir \u003Coutput_dir> \\ # output directory\n    --input_path \u003Cinput_path> \\ # the reference image or video path\n    --camera_motion \u003Ccamera_motion> \\ # the camera motion type, see examples below\n    --tracking_method \u003Ctracking_method> \\ # the tracking method (moge, spatracker, cotracker). For image input, 'moge' is necessary.\n    --override_extrinsics \u003Coverride\u002Fappend> \\ # how to apply camera motion: \"override\" to replace original camera, \"append\" to build upon it\n    --gpu \u003Cgpu_id> \\ # the gpu id\n```\n\nHere are some tips for camera motion:\n- trans: translation motion, the camera will move in the direction of the vector (dx, dy, dz) with range [-1, 1]\n  - Positive X: Move left, Negative X: Move right\n  - Positive Y: Move down, Negative Y: Move up\n  - Positive Z: Zoom in, Negative Z: Zoom out\n  - e.g., 'trans -0.1 -0.1 -0.1' moving right, down and zoom in\n  - e.g., 'trans -0.1 0.0 0.0 5 45' moving right 0.1 from frame 5 to 45\n- rot: rotation motion, the camera will rotate around the axis (x, y, z) by the angle\n  - X-axis rotation: positive X: pitch down, negative X: pitch up\n  - Y-axis rotation: positive Y: yaw left, negative Y: yaw right\n  - Z-axis rotation: positive Z: roll counter-clockwise, negative Z: roll clockwise\n  - e.g., 'rot y 25' rotating 25 degrees around y-axis (yaw left)\n  - e.g., 'rot x -30 10 40' rotating -30 degrees around x-axis (pitch up) from frame 10 to 40\n- spiral: spiral motion, the camera will move in a spiral path with the given radius\n  - e.g., 'spiral 2' spiral motion with radius 2\n  - e.g., 'spiral 2 15 35' spiral motion with radius 2 from frame 15 to 35\n\nMultiple transformations can be combined using semicolon (;) as separator:\n- e.g., \"trans 0 0 -0.5 0 30; rot x -25 0 30; trans -0.1 0 0 30 48\"\n  This will:\n  1. Zoom in (z-0.5) from frame 0 to 30\n  2. Pitch up (rotate -25 degrees around x-axis) from frame 0 to 30\n  3. Move right (x-0.1) from frame 30 to 48\n\nNotes:\n- Frame range is 0-48 (49 frames in total)\n- If start_frame and end_frame are not specified, the motion will be applied to all frames (0-48)\n- Frames after end_frame will maintain the final transformation\n- For combined transformations, they are applied in sequence\n\n#### 3. Object Manipulation\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>Move Left\u003C\u002Fth>\n  \u003Cth>Move Up\u003C\u002Fth>\n  \u003Cth>Rotate\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_426dfef1606f.gif\" alt=\"Move Left\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_198456f10f5d.gif\" alt=\"Move Right\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ca91bb4eb5e7.gif\" alt=\"Rotate\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\nWe provide several template object manipulation types, you can choose one of them. In practice, we find that providing a description of the object motion in prompt will get better results.\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # prompt text\n    --checkpoint_path \u003Cmodel_path> \\ # checkpoint path (e.g checkpoints\u002FDiffusion-As-Shader)\n    --output_dir \u003Coutput_dir> \\ # output directory\n    --input_path \u003Cinput_path> \\ # the reference image path\n    --object_motion \u003Cobject_motion> \\ # the object motion type (up, down, left, right)\n    --object_mask \u003Cobject_mask_path> \\ # the object mask path\n    --tracking_method \u003Ctracking_method> \\ # the tracking method (moge, spatracker). For image input, 'moge' is nesserary.\n    --gpu \u003Cgpu_id> \\ # the gpu id\n\n```\nOr you can create your own object motion and camera motion as follows and replace related codes in `demo.py`:\n\n1. object motion\n    ```\n    dict: Motion dictionary containing:\n      - mask (torch.Tensor): Binary mask for selected object\n      - motions (torch.Tensor): Per-frame motion vectors [49, 4, 4] (49 frames, 4x4 homogenous objects motion matrix)\n    ``` \n2. camera motion\n    ```\n    list: CameraMotion list containing:\n      - camera_motion (list): Per-frame camera poses matrix [49, 4, 4] (49 frames, 4x4 homogenous camera poses matrix)\n    ``` \nIt should be noted that depending on the tracker you choose, you may need to modify the scale of translation.\n\n#### 4. Animating meshes to video\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_f8b6280635ad.gif\" alt=\"video 1\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_6b74125bcfaa.gif\" alt=\"video 2\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\nWe only support using Blender (version > 4.0) to generate the tracking video now. Before running the following command, you need to install Blender and run the script `scripts\u002Fblender.py` in your blender project and generate the tracking video for your blender project. Then you need to provide the tracking video path to the `tracking_path` argument:\n\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # prompt text\n    --checkpoint_path \u003Cmodel_path> \\ # checkpoint path (e.g checkpoints\u002FDiffusion-As-Shader)\n    --output_dir \u003Coutput_dir> \\ # output directory\n    --input_path \u003Cinput_path> \\ # the reference video path\n    --tracking_path \u003Ctracking_path> \\ # the tracking video path (need to be generated by Blender)\n    --repaint \u003C True\u002Frepaint_path > \\ # the rendered first frame image path of input mesh video or use FLUX to repaint the first frame\n    --gpu \u003Cgpu_id> \\ # the gpu id\n\n```\n\n## Finetune Diffusion as Shader\n\n### Prepare Dataset\n\nBefore starting the training, please check whether the dataset has been prepared according to the [dataset specifications](assets\u002Fdataset.md). \n\nIn short, your dataset structure should look like this. Running the `tree` command, you should see:\n\n```\ndataset\n├── prompt.txt\n├── videos.txt\n├── trackings.txt\n\n├── tracking\n    ├── tracking\u002F00000_tracking.mp4\n    ├── tracking\u002F00001_tracking.mp4\n    ├── ...\n\n├── videos\n    ├── videos\u002F00000.mp4\n    ├── videos\u002F00001.mp4\n    ├── ...\n\n```\n\n### Training\n\nTraining can be started using the `scripts\u002Ftrain_image_to_video_sft.sh` scripts.\n\n- Configure environment variables as per your choice:\n\n  ```bash\n  export TORCH_LOGS=\"+dynamo,recompiles,graph_breaks\"\n  export TORCHDYNAMO_VERBOSE=1\n  export WANDB_MODE=\"offline\"\n  export NCCL_P2P_DISABLE=1\n  export TORCH_NCCL_ENABLE_MONITORING=0\n  ```\n\n- Configure which GPUs to use for training: `GPU_IDS=\"0,1\"`\n\n- Choose hyperparameters for training. Let's try to do a sweep on learning rate and optimizer type as an example:\n\n  ```bash\n  LEARNING_RATES=(\"1e-4\" \"1e-3\")\n  LR_SCHEDULES=(\"cosine_with_restarts\")\n  OPTIMIZERS=(\"adamw\" \"adam\")\n  MAX_TRAIN_STEPS=(\"2000\")\n  ```\n\n- Select which Accelerate configuration you would like to train with: `ACCELERATE_CONFIG_FILE=\"accelerate_configs\u002Funcompiled_1.yaml\"`. We provide some default configurations in the `accelerate_configs\u002F` directory - single GPU uncompiled\u002Fcompiled, 2x GPU DDP, DeepSpeed, etc. You can create your own config files with custom settings using `accelerate config --config_file my_config.yaml`.\n\n- Specify the absolute paths and columns\u002Ffiles for captions and videos.\n\n  ```bash\n  DATA_ROOT=\"..\u002Fdatasets\u002Fcogshader\"\n  CAPTION_COLUMN=\"prompt.txt\"\n  VIDEO_COLUMN=\"videos.txt\"\n  TRACKING_COLUMN=\"trackings.txt\"\n  ```\n\n- Launch experiments sweeping different hyperparameters:\n  ```\n  # training dataset parameters\n  DATA_ROOT=\"..\u002Fdatasets\u002Fcogshader\"\n  MODEL_PATH=\"..\u002Fckpts\u002FCogVideoX-5b-I2V\"\n  CAPTION_COLUMN=\"prompt.txt\"\n  VIDEO_COLUMN=\"videos.txt\"\n  TRACKING_COLUMN=\"trackings.txt\"\n\n  # validation parameters\n  TRACKING_MAP_PATH=\"..\u002Feval\u002F3d\u002Ftracking\u002Fdance_tracking.mp4\"\n  VALIDATION_PROMPT=\"text\"\n  VALIDATION_IMAGES=\"..\u002F000000046_0.png\"\n\n  for learning_rate in \"${LEARNING_RATES[@]}\"; do\n    for lr_schedule in \"${LR_SCHEDULES[@]}\"; do\n      for optimizer in \"${OPTIMIZERS[@]}\"; do\n        for steps in \"${MAX_TRAIN_STEPS[@]}\"; do\n          output_dir=\"\u002Faifs4su\u002Fmmcode\u002Flipeng\u002Fcogvideo\u002Fckpts\u002Fcogshader_inv-avatar-physics_steps_${steps}__optimizer_${optimizer}__lr-schedule_${lr_schedule}__learning-rate_${learning_rate}\u002F\"\n\n          cmd=\"accelerate launch --config_file $ACCELERATE_CONFIG_FILE --gpu_ids $GPU_IDS --num_processes $NUM_PROCESSES --main_process_port $PORT training\u002Fcogvideox_image_to_video_sft.py \\\n            --pretrained_model_name_or_path $MODEL_PATH \\\n            --data_root $DATA_ROOT \\\n            --caption_column $CAPTION_COLUMN \\\n            --video_column $VIDEO_COLUMN \\\n            --tracking_column $TRACKING_COLUMN \\\n            --tracking_map_path $TRACKING_MAP_PATH \\\n            --num_tracking_blocks 18 \\\n            --height_buckets 480 \\\n            --width_buckets 720 \\\n            --frame_buckets 49 \\\n            --dataloader_num_workers 8 \\\n            --pin_memory \\\n            --validation_prompt $VALIDATION_PROMPT \\\n            --validation_images $VALIDATION_IMAGES \\\n            --validation_prompt_separator ::: \\\n            --num_validation_videos 1 \\\n            --validation_epochs 1 \\\n            --seed 42 \\\n            --mixed_precision bf16 \\\n            --output_dir $output_dir \\\n            --max_num_frames 49 \\\n            --train_batch_size $TRAIN_BATCH_SIZE \\\n            --max_train_steps $steps \\\n            --checkpointing_steps $CHECKPOINT_STEPS \\\n            --gradient_accumulation_steps 4 \\\n            --gradient_checkpointing \\\n            --learning_rate $learning_rate \\\n            --lr_scheduler $lr_schedule \\\n            --lr_warmup_steps $WARMUP_STEPS \\\n            --lr_num_cycles 1 \\\n            --enable_slicing \\\n            --enable_tiling \\\n            --optimizer $optimizer \\\n            --beta1 0.9 \\\n            --beta2 0.95 \\\n            --weight_decay 0.001 \\\n            --noised_image_dropout 0.05 \\\n            --max_grad_norm 1.0 \\\n            --allow_tf32 \\\n            --report_to wandb \\\n            --resume_from_checkpoint \\\"latest\\\" \\\n            --nccl_timeout 1800\"\n          \n          echo \"Running command: $cmd\"\n          eval $cmd\n          echo -ne \"-------------------- Finished executing script --------------------\\n\\n\"\n        done\n      done\n    done\n  done\n  ```\n\n  To understand what the different parameters mean, you could either take a look at the [args](.\u002Ftraining\u002Fargs.py) file or run the training script with `--help`.\n\n## Acknowledgements\n\nThis project builds upon several excellent open source projects:\n\n* [CogVideo](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogVideo) - A large-scale video generation model developed by Tsinghua University that provides the foundational architecture for this project.\n\n* [finetrainers](https:\u002F\u002Fgithub.com\u002Fa-r-r-o-w\u002Ffinetrainers) - Offering efficient video model training scripts that helped optimize our training pipeline.\n\n* [SpaTracker](https:\u002F\u002Fgithub.com\u002Fhenry123-boy\u002FSpaTracker) - Providing excellent 2D pixel to 3D space tracking capabilities that enable our motion control features.\n\n* [MoGe](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMoGe) - Microsoft's monocular geometry estimation model that helps achieve more accurate 3D reconstruction.\n\n* [vggt](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggt) - Facebook's video generation model that provides the foundational architecture for this project.\nWe thank the authors and contributors of these projects for their valuable contributions to the open source community!\n\n## Citation\n\nIf you find this work useful for your research, please consider citing:\n\n```bibtex\n@article{gu2025das,\n    title={Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control}, \n    author={Zekai Gu and Rui Yan and Jiahao Lu and Peng Li and Zhiyang Dou and Chenyang Si and Zhen Dong and Qifeng Liu and Cheng Lin and Ziwei Liu and Wenping Wang and Yuan Liu},\n    year={2025},\n    journal={arXiv preprint arXiv:2501.03847}\n}\n```\n\n\n\n","# 扩散模型作为着色器：用于多功能视频生成控制的3D感知视频扩散模型\n\n![版本](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fversion-1.0.0-blue)  \n \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.03847'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2501.03847-b31b1b.svg'>\u003C\u002Fa>  \n \u003Ca href='https:\u002F\u002Figl-hkust.github.io\u002Fdas\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>  \n[![HuggingFace模型](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Model-green)](https:\u002F\u002Fhuggingface.co\u002FEXCAI\u002FDiffusion-As-Shader) \n[![HuggingFace Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FEXCAI\u002FDiffusion-As-Shader)\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_6ffd2e9045bb.gif)\n\n## 最新消息：\n- 2025年6月5日：我们发布了用于创建**合成数据集**的[脚本](assets\u002Fdataset.md)和Blender项目。\n  \n- 2025年6月2日：我们在`Wanfun`分支中添加了基于`Wan2.1Fun 1.3B`微调的推理代码。\n\n- 2025年4月2日：基于`VGGT`新增了对视频复杂且精确的相机控制功能。可通过调整`--override_extrinsics`超参数来追加或覆盖视频中的相机运动。\n\n- 2025年4月1日：增加了对`cotracker`的支持。\n\n- 2025年2月17日：我们已将验证数据集上传至[Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1pVB_2AEoz1v4vXWe6-pdDAEQdmlGEIci\u002Fview?usp=sharing)，其中包含4个任务。\n\n## 快速入门\n\n### 创建环境\n1. 克隆仓库并创建conda环境：\n\n    ```\n    git clone https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader.git\n    conda create -n das python=3.10\n    conda activate das\n    ```\n\n2. 安装PyTorch，推荐使用`PyTorch 2.5.1`与`CUDA 11.8`：\n\n    ```\n    pip3 install torch torchvision --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n    ```\n\n\n\u003C!-- 3. 安装 `MoGe`:\n```\npip install git+https:\u002F\u002Fgithub.com\u002Fasomoza\u002Fimage_gen_aux.git\n``` -->\n\n3. 确保子模块和依赖项已安装：\n    ```\n    mkdir -p submodules\n    git submodule update --init --recursive\n    pip install -r requirements.txt\n    ```\n    如果子模块未安装，需手动下载并将它们移动到`submodules\u002F`目录下。运行以下命令以安装子模块：\n    ```\n    # MoGe\n    git clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMoGe.git submodules\u002FMoGe\n    # VGGT\n    git clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggt.git submodules\u002Fvggt\n    ```\n\n4. 手动将以下检查点下载至`checkpoints\u002F`目录：\n   - SpatialTracker检查点：[Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1UtzUJLPhJdUg2XvemXXz1oe6KUQKVjsZ)。\n   - 我们的*扩散模型作为着色器*检查点：https:\u002F\u002Fhuggingface.co\u002FEXCAI\u002FDiffusion-As-Shader\n\n\u003C!-- 5. 手动下载ZoeDepth检查点（dpt_beit_large_384.pt、ZoeD_M12_K.pt、ZoeD_M12_NK.pt）至`models\u002FmonoD\u002FzoeDepth\u002Fckpts\u002F`。更多信息请参阅[此issue](https:\u002F\u002Fgithub.com\u002Fhenry123-boy\u002FSpaTracker\u002Fissues\u002F20)。 -->\n\n\u003C!-- 然后下载一个数据集：\n\n```bash\n# 安装 `huggingface_hub`\nhuggingface-cli download \\\n  --repo-type dataset Wild-Heart\u002FDisney-VideoGeneration-Dataset \\\n  --local-dir video-dataset-disney\n``` -->\n\n### 推理\n\n推理代码已在以下环境中测试通过：\n- Ubuntu 20.04\n- Python 3.10\n- PyTorch 2.5.1\n- 1块配备CUDA 11.8的NVIDIA H800显卡。（32GB显存足以使用我们的代码生成视频。）\n\n我们提供了针对各项任务的推理脚本。您可以直接运行`demo.py`脚本，如下所示。\n**我们还在[Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1pVB_2AEoz1v4vXWe6-pdDAEQdmlGEIci\u002Fview?usp=sharing)上提供了一个验证数据集，用于我们的4个任务。您可以通过运行`scripts\u002Fevaluate_DaS.sh`来评估模型性能。**\n\n我们还发布了针对各项任务的Gradio界面。您可以直接运行`webui.py`脚本，如下所示。\n```\npython webui.py --gpu \u003Cgpu_id>\n```\n\n或者您也可以逐个运行这些任务，如下所示。\n\n#### 1. 运动迁移 \n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>原始\u003C\u002Fth>\n  \u003Cth>物体替换\u003C\u002Fth>\n  \u003Cth>风格迁移\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_a702348e75ee.gif\" alt=\"原始\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_688a4b9af755.gif\" alt=\"物体替换\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_74ca05d61fd6.gif\" alt=\"风格迁移\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Cth>原始\u003C\u002Fth>\n  \u003Cth>角色替换1\u003C\u002Fth>\n  \u003Cth>角色替换2\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_3392ff575321.gif\" alt=\"原始\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_43899dfe8df3.gif\" alt=\"角色替换1\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ad983f334796.gif\" alt=\"角色替换2\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n（以上结果必须在FLUX.1 Kontext的协助下生成。）\n\n---\n\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # 提示词\n    --checkpoint_path \u003Cmodel_path> \\ # 检查点路径（例如 checkpoints\u002FDiffusion-As-Shader）\n    --output_dir \u003Coutput_dir> \\ # 输出目录\n    --input_path \u003Cinput_path> \\ # 参考视频路径\n    --repaint \u003C True\u002Frepaint_path > \\ # 输入源视频的第一帧重绘图像路径，或使用FLUX重绘第一帧\n    --gpu \u003Cgpu_id> \\ # GPU ID\n\n```\n\n#### 2. 相机控制\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>弧形右移 + 缩放出\u003C\u002Fth>\n  \u003Cth>弧形左移 + 缩放出\u003C\u002Fth>\n  \u003Cth>弧形上移 + 缩放出\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_5fe03a33dcb1.gif\" alt=\"右移 + 缩放出\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_007cae473c79.gif\" alt=\"左移 + 缩放出\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_d0d279bd8625.gif\" alt=\"上移 + 缩放出\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Cth>左移 + 左偏航\u003C\u002Fth>\n  \u003Cth>静止\u003C\u002Fth>\n  \u003Cth>缩放出\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_8bba673f65f9.gif\" alt=\"右移\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_0bce46b7ca73.gif\" alt=\"静止\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ab13e4a833cc.gif\" alt=\"缩放出\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n我们提供了几种模板化的相机运动类型，您可以从中选择一种。实践中发现，在提示词中详细描述相机运动可以获得更好的效果。\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # 提示词\n    --checkpoint_path \u003Cmodel_path> \\ # 检查点路径（例如 checkpoints\u002FDiffusion-As-Shader）\n    --output_dir \u003Coutput_dir> \\ # 输出目录\n    --input_path \u003Cinput_path> \\ # 参考图像或视频路径\n    --camera_motion \u003Ccamera_motion> \\ # 相机运动类型，见下方示例\n    --tracking_method \u003Ctracking_method> \\ # 跟踪方法（moge、spatracker、cotracker）。对于图像输入，'moge'是必需的。\n    --override_extrinsics \u003Coverride\u002Fappend> \\ # 如何应用相机运动：\"override\"表示替换原有相机运动，\"append\"表示在其基础上叠加\n    --gpu \u003Cgpu_id> \\ # GPU ID\n```\n\n以下是关于摄像机动画的一些提示：\n- trans：平移动画，摄像机会沿着向量（dx, dy, dz）的方向移动，范围为[-1, 1]。\n  - X轴正方向：向左移动；X轴负方向：向右移动。\n  - Y轴正方向：向下移动；Y轴负方向：向上移动。\n  - Z轴正方向：拉近镜头；Z轴负方向：推远镜头。\n  - 例如，“trans -0.1 -0.1 -0.1”表示从当前帧开始向右、向下并拉近镜头。\n  - 例如，“trans -0.1 0.0 0.0 5 45”表示从第5帧到第45帧，摄像机沿X轴负方向移动0.1个单位。\n- rot：旋转动画，摄像机会绕着（x, y, z）轴旋转指定的角度。\n  - X轴旋转：X轴正方向：俯仰向下；X轴负方向：俯仰向上。\n  - Y轴旋转：Y轴正方向：偏航向左；Y轴负方向：偏航向右。\n  - Z轴旋转：Z轴正方向：逆时针滚转；Z轴负方向：顺时针滚转。\n  - 例如，“rot y 25”表示绕Y轴旋转25度（即向左偏航）。\n  - 例如，“rot x -30 10 40”表示从第10帧到第40帧，摄像机绕X轴旋转-30度（即向上俯仰）。\n- spiral：螺旋动画，摄像机会沿着给定半径的螺旋路径移动。\n  - 例如，“spiral 2”表示半径为2的螺旋运动。\n  - 例如，“spiral 2 15 35”表示从第15帧到第35帧，摄像机以半径2进行螺旋运动。\n\n多个变换可以通过分号（;）分隔来组合使用：\n- 例如，“trans 0 0 -0.5 0 30; rot x -25 0 30; trans -0.1 0 0 30 48”\n  这将：\n  1. 从第0帧到第30帧拉近镜头（z=-0.5）；\n  2. 从第0帧到第30帧绕X轴旋转-25度（即向上俯仰）；\n  3. 从第30帧到第48帧沿X轴负方向移动0.1个单位。\n\n注意事项：\n- 帧数范围为0至48（共49帧）。\n- 如果未指定起始帧和结束帧，则动画将应用于所有帧（0至48）。\n- 结束帧之后的帧将保持最后的变换状态。\n- 对于组合变换，它们会按顺序依次应用。\n\n#### 3. 物体操控\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Cth>向左移动\u003C\u002Fth>\n  \u003Cth>向上移动\u003C\u002Fth>\n  \u003Cth>旋转\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_426dfef1606f.gif\" alt=\"Move Left\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_198456f10f5d.gif\" alt=\"Move Right\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_ca91bb4eb5e7.gif\" alt=\"Rotate\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n我们提供了几种模板化的物体操控类型，您可以从中选择一种。在实践中，我们发现，在提示词中详细描述物体的运动效果会更好。\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # 提示词文本\n    --checkpoint_path \u003Cmodel_path> \\ # 模型检查点路径（例如 checkpoints\u002FDiffusion-As-Shader）\n    --output_dir \u003Coutput_dir> \\ # 输出目录\n    --input_path \u003Cinput_path> \\ # 参考图像路径\n    --object_motion \u003Cobject_motion> \\ # 物体运动类型（上、下、左、右）\n    --object_mask \u003Cobject_mask_path> \\ # 物体掩码路径\n    --tracking_method \u003Ctracking_method> \\ # 跟踪方法（moge、spatracker）。对于图像输入，必须使用“moge”。\n    --gpu \u003Cgpu_id> \\ # GPU编号\n\n```\n或者，您也可以按照以下方式自定义物体运动和摄像机动画，并替换`demo.py`中的相关代码：\n\n1. 物体运动\n    ```\n    dict: 包含以下内容的运动字典：\n      - mask (torch.Tensor): 用于选定物体的二值掩码\n      - motions (torch.Tensor): 每帧的运动向量 [49, 4, 4]（49帧，每帧4×4齐次变换矩阵）\n    ``` \n2. 摄像机动画\n    ```\n    list: 包含以下内容的CameraMotion列表：\n      - camera_motion (list): 每帧的摄像机位姿矩阵 [49, 4, 4]（49帧，每帧4×4齐次变换矩阵）\n    ``` \n需要注意的是，根据您选择的跟踪器，可能需要调整平移的缩放比例。\n\n#### 4. 将网格动画转换为视频\n\n\u003Ctable border=\"1\">\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_f8b6280635ad.gif\" alt=\"video 1\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_readme_6b74125bcfaa.gif\" alt=\"video 2\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n目前我们仅支持使用Blender（版本>4.0）生成跟踪视频。在运行以下命令之前，您需要安装Blender，并在您的Blender项目中运行脚本`scripts\u002Fblender.py`，为您的项目生成跟踪视频。然后，您需要将跟踪视频路径提供给`tracking_path`参数：\n\n```python\npython demo.py \\\n    --prompt \u003C\"prompt text\"> \\ # 提示词文本\n    --checkpoint_path \u003Cmodel_path> \\ # 检查点路径（例如 checkpoints\u002FDiffusion-As-Shader）\n    --output_dir \u003Coutput_dir> \\ # 输出目录\n    --input_path \u003Cinput_path> \\ # 参考视频路径\n    --tracking_path \u003Ctracking_path> \\ # 跟踪视频路径（需由Blender生成）\n    --repaint \u003C True\u002Frepaint_path > \\ # 输入网格视频的第一帧渲染图像，或使用FLUX重新绘制第一帧\n    --gpu \u003Cgpu_id> \\ # GPU编号\n\n```\n\n\n\n## 微调Diffusion作为着色器\n\n### 准备数据集\n\n在开始训练之前，请检查数据集是否已按照[数据集规范](assets\u002Fdataset.md)准备妥当。\n\n简而言之，您的数据集结构应如下所示。运行`tree`命令后，您应该看到：\n\n```\ndataset\n├── prompt.txt\n├── videos.txt\n├── trackings.txt\n\n├── tracking\n    ├── tracking\u002F00000_tracking.mp4\n    ├── tracking\u002F00001_tracking.mp4\n    ├── ...\n\n├── videos\n    ├── videos\u002F00000.mp4\n    ├── videos\u002F00001.mp4\n    ├── ...\n\n```\n\n### 训练\n\n可以使用 `scripts\u002Ftrain_image_to_video_sft.sh` 脚本开始训练。\n\n- 根据需要配置环境变量：\n\n  ```bash\n  export TORCH_LOGS=\"+dynamo,recompiles,graph_breaks\"\n  export TORCHDYNAMO_VERBOSE=1\n  export WANDB_MODE=\"offline\"\n  export NCCL_P2P_DISABLE=1\n  export TORCH_NCCL_ENABLE_MONITORING=0\n  ```\n\n- 配置用于训练的 GPU：`GPU_IDS=\"0,1\"`\n\n- 选择训练的超参数。以下以学习率和优化器类型为例进行网格搜索：\n\n  ```bash\n  LEARNING_RATES=(\"1e-4\" \"1e-3\")\n  LR_SCHEDULES=(\"cosine_with_restarts\")\n  OPTIMIZERS=(\"adamw\" \"adam\")\n  MAX_TRAIN_STEPS=(\"2000\")\n  ```\n\n- 选择要使用的 Accelerate 配置文件：`ACCELERATE_CONFIG_FILE=\"accelerate_configs\u002Funcompiled_1.yaml\"`。我们在 `accelerate_configs\u002F` 目录中提供了一些默认配置，包括单 GPU 的未编译\u002F已编译版本、2x GPU DDP、DeepSpeed 等。您也可以使用 `accelerate config --config_file my_config.yaml` 创建自定义配置文件。\n\n- 指定字幕和视频的绝对路径及对应的列或文件。\n\n  ```bash\n  DATA_ROOT=\"..\u002Fdatasets\u002Fcogshader\"\n  CAPTION_COLUMN=\"prompt.txt\"\n  VIDEO_COLUMN=\"videos.txt\"\n  TRACKING_COLUMN=\"trackings.txt\"\n  ```\n\n- 启动不同超参数组合的实验：\n  ```\n  # 训练数据集参数\n  DATA_ROOT=\"..\u002Fdatasets\u002Fcogshader\"\n  MODEL_PATH=\"..\u002Fckpts\u002FCogVideoX-5b-I2V\"\n  CAPTION_COLUMN=\"prompt.txt\"\n  VIDEO_COLUMN=\"videos.txt\"\n  TRACKING_COLUMN=\"trackings.txt\"\n\n  # 验证参数\n  TRACKING_MAP_PATH=\"..\u002Feval\u002F3d\u002Ftracking\u002Fdance_tracking.mp4\"\n  VALIDATION_PROMPT=\"text\"\n  VALIDATION_IMAGES=\"..\u002F000000046_0.png\"\n\n  for learning_rate in \"${LEARNING_RATES[@]}\"; do\n    for lr_schedule in \"${LR_SCHEDULES[@]}\"; do\n      for optimizer in \"${OPTIMIZERS[@]}\"; do\n        for steps in \"${MAX_TRAIN_STEPS[@]}\"; do\n          output_dir=\"\u002Faifs4su\u002Fmmcode\u002Flipeng\u002Fcogvideo\u002Fckpts\u002Fcogshader_inv-avatar-physics_steps_${steps}__optimizer_${optimizer}__lr-schedule_${lr_schedule}__learning-rate_${learning_rate}\u002F\"\n\n          cmd=\"accelerate launch --config_file $ACCELERATE_CONFIG_FILE --gpu_ids $GPU_IDS --num_processes $NUM_PROCESSES --main_process_port $PORT training\u002Fcogvideox_image_to_video_sft.py \\\n            --pretrained_model_name_or_path $MODEL_PATH \\\n            --data_root $DATA_ROOT \\\n            --caption_column $CAPTION_COLUMN \\\n            --video_column $VIDEO_COLUMN \\\n            --tracking_column $TRACKING_COLUMN \\\n            --tracking_map_path $TRACKING_MAP_PATH \\\n            --num_tracking_blocks 18 \\\n            --height_buckets 480 \\\n            --width_buckets 720 \\\n            --frame_buckets 49 \\\n            --dataloader_num_workers 8 \\\n            --pin_memory \\\n            --validation_prompt $VALIDATION_PROMPT \\\n            --validation_images $VALIDATION_IMAGES \\\n            --validation_prompt_separator ::: \\\n            --num_validation_videos 1 \\\n            --validation_epochs 1 \\\n            --seed 42 \\\n            --mixed_precision bf16 \\\n            --output_dir $output_dir \\\n            --max_num_frames 49 \\\n            --train_batch_size $TRAIN_BATCH_SIZE \\\n            --max_train_steps $steps \\\n            --checkpointing_steps $CHECKPOINT_STEPS \\\n            --gradient_accumulation_steps 4 \\\n            --gradient_checkpointing \\\n            --learning_rate $learning_rate \\\n            --lr_scheduler $lr_schedule \\\n            --lr_warmup_steps $WARMUP_STEPS \\\n            --lr_num_cycles 1 \\\n            --enable_slicing \\\n            --enable_tiling \\\n            --optimizer $optimizer \\\n            --beta1 0.9 \\\n            --beta2 0.95 \\\n            --weight_decay 0.001 \\\n            --noised_image_dropout 0.05 \\\n            --max_grad_norm 1.0 \\\n            --allow_tf32 \\\n            --report_to wandb \\\n            --resume_from_checkpoint \\\"latest\\\" \\\n            --nccl_timeout 1800\"\n          \n          echo \"正在运行命令: $cmd\"\n          eval $cmd\n          echo -ne \"-------------------- 脚本执行完毕 --------------------\\n\\n\"\n        done\n      done\n    done\n  done\n  ```\n\n  要了解各个参数的具体含义，您可以查看 [args](.\u002Ftraining\u002Fargs.py) 文件，或者在运行训练脚本时添加 `--help` 参数。\n\n## 致谢\n\n本项目基于多个优秀的开源项目：\n\n* [CogVideo](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogVideo) - 清华大学开发的大规模视频生成模型，为本项目提供了基础架构。\n\n* [finetrainers](https:\u002F\u002Fgithub.com\u002Fa-r-r-o-w\u002Ffinetrainers) - 提供高效的视频模型训练脚本，帮助我们优化了训练流程。\n\n* [SpaTracker](https:\u002F\u002Fgithub.com\u002Fhenry123-boy\u002FSpaTracker) - 提供出色的 2D 像素到 3D 空间跟踪能力，支持我们的运动控制功能。\n\n* [MoGe](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMoGe) - 微软的单目几何估计模型，有助于实现更精确的 3D 重建。\n\n* [vggt](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggt) - Facebook 的视频生成模型，为本项目提供了基础架构。\n\n我们感谢这些项目的作者和贡献者对开源社区所做的宝贵贡献！\n\n## 引用\n\n如果您觉得这项工作对您的研究有帮助，请考虑引用：\n\n```bibtex\n@article{gu2025das,\n    title={Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control}, \n    author={Zekai Gu and Rui Yan and Jiahao Lu and Peng Li and Zhiyang Dou and Chenyang Si and Zhen Dong and Qifeng Liu and Cheng Lin and Ziwei Liu and Wenping Wang and Yuan Liu},\n    year={2025},\n    journal={arXiv preprint arXiv:2501.03847}\n}\n```","# DiffusionAsShader 快速上手指南\n\nDiffusionAsShader 是一个具备 3D 感知能力的视频扩散模型，支持运动迁移、精确相机控制、物体操控以及网格动画生成等多种任务。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Ubuntu 20.04 (推荐)\n*   **Python 版本**: 3.10\n*   **GPU**: NVIDIA 显卡 (推荐 H800 或同等算力)，显存至少 32GB\n*   **CUDA 版本**: 11.8\n*   **PyTorch 版本**: 2.5.1\n*   **其他软件**: Blender 4.0+ (仅用于“网格转视频”任务)\n\n## 2. 安装步骤\n\n### 2.1 克隆仓库与创建环境\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader.git\ncd DiffusionAsShader\nconda create -n das python=3.10\nconda activate das\n```\n\n### 2.2 安装 PyTorch\n\n推荐使用官方源安装适配 CUDA 11.8 的 PyTorch 2.5.1：\n\n```bash\npip3 install torch torchvision --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n*(注：国内用户若下载缓慢，可尝试使用清华源或阿里源镜像，但需确保版本严格匹配)*\n\n### 2.3 安装子模块与依赖\n\n初始化子模块并安装 Python 依赖：\n\n```bash\nmkdir -p submodules\ngit submodule update --init --recursive\npip install -r requirements.txt\n```\n\n**注意**：如果自动拉取子模块失败，请手动执行以下命令下载并放入 `submodules\u002F` 目录：\n```bash\n# MoGe\ngit clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FMoGe.git submodules\u002FMoGe\n# VGGT\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fvggt.git submodules\u002Fvggt\n```\n\n### 2.4 下载模型权重\n\n请手动下载以下检查点文件并放置于项目根目录的 `checkpoints\u002F` 文件夹中：\n\n1.  **SpatialTracker 检查点**: [Google Drive 下载链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1UtzUJLPhJdUg2XvemXXz1oe6KUQKVjsZ)\n2.  **Diffusion as Shader 主模型**: [HuggingFace 下载链接](https:\u002F\u002Fhuggingface.co\u002FEXCAI\u002FDiffusion-As-Shader)\n\n目录结构应如下所示：\n```text\ncheckpoints\u002F\n├── Diffusion-As-Shader\u002F\n└── [SpatialTracker 相关文件]\n```\n\n## 3. 基本使用\n\n本项目提供了 WebUI 界面和命令行脚本两种使用方式。\n\n### 3.1 启动 WebUI (推荐)\n\n最快捷的方式是启动 Gradio 界面进行交互式操作：\n\n```bash\npython webui.py --gpu \u003Cgpu_id>\n```\n将 `\u003Cgpu_id>` 替换为您的显卡编号（例如 `0`）。启动后在浏览器访问显示的本地地址即可。\n\n### 3.2 命令行推理示例\n\n您也可以通过 `demo.py` 直接运行特定任务。以下是**运动迁移 (Motion Transfer)** 的最简示例：\n\n```bash\npython demo.py \\\n    --prompt \"a rocket flying in the sky\" \\\n    --checkpoint_path checkpoints\u002FDiffusion-As-Shader \\\n    --output_dir outputs \\\n    --input_path assets\u002Fvideos\u002Frocket1.mp4 \\\n    --repaint True \\\n    --gpu 0\n```\n\n**参数说明：**\n*   `--prompt`: 生成视频的描述提示词。\n*   `--input_path`: 参考视频或图片的路径。\n*   `--repaint`: 设置为 `True` 使用 FLUX 重绘首帧，或指定重绘图片的路径。\n*   `--camera_motion`: (可选) 用于相机控制任务，如 `\"trans -0.1 -0.1 -0.1\"`。\n*   `--tracking_method`: 跟踪方法，图片输入建议使用 `moge`，视频可用 `spatracker` 或 `cotracker`。\n\n### 3.3 高级功能简述\n\n*   **相机控制**: 通过 `--camera_motion` 参数定义平移 (`trans`)、旋转 (`rot`) 或螺旋 (`spiral`) 运动。支持组合指令，例如 `\"trans 0 0 -0.5 0 30; rot x -25 0 30\"`。\n*   **物体操控**: 需提供物体掩码 (`--object_mask`) 和运动方向 (`--object_motion`)。\n*   **网格动画**: 需先使用 Blender 运行 `scripts\u002Fblender.py` 生成跟踪视频，并通过 `--tracking_path` 传入。\n\n更多详细参数配置请参考项目源码中的 `demo.py` 或官方文档。","某独立游戏开发团队正在为一款科幻冒险游戏制作宣传预告片，需要让主角驾驶飞行器在复杂的 3D 峡谷中穿梭，同时保持镜头运动与物体透视的绝对精准。\n\n### 没有 DiffusionAsShader 时\n- **镜头控制失灵**：传统视频生成模型无法理解精确的 3D 相机轨迹，生成的飞行镜头经常发生漂移或违背物理规律，导致画面眩晕。\n- **视角一致性差**：当飞行器高速转弯时，机身纹理和结构容易发生扭曲变形，缺乏真实的 3D 几何感知能力。\n- **后期修改成本极高**：若需调整摄像机角度或替换飞行器模型，必须重新渲染整个 3D 场景或手动逐帧修图，耗时数天。\n- **动态融合生硬**：将实拍素材与生成背景结合时，光影和透视关系难以对齐，合成痕迹明显，破坏沉浸感。\n\n### 使用 DiffusionAsShader 后\n- **精准相机操控**：利用基于 VGGT 的相机控制功能，开发者可直接导入预设的 3D 运镜路径，生成视频严格遵循轨迹，无任何漂移。\n- **3D 感知保真**：模型具备深层 3D 意识，即使飞行器进行剧烈机动，其几何结构和纹理依然保持稳定，无畸变。\n- **灵活内容编辑**：借助运动迁移和物体替换功能，团队能在保持原有运镜不变的情况下，瞬间将飞行器更换为不同风格模型，无需重做动画。\n- **虚实无缝衔接**：生成的视频天然具备正确的透视和光照逻辑，能直接与 Blender 制作的资产或实拍片段完美融合，大幅缩短后期流程。\n\nDiffusionAsShader 通过将扩散模型转化为可控的\"3D 着色器”，彻底解决了视频生成中几何一致性与相机控制的难题，让高质量 3D 视频创作变得像调整参数一样简单高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FIGL-HKUST_DiffusionAsShader_6ffd2e90.gif","IGL-HKUST","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FIGL-HKUST_a397fd7c.png","Intelligent Graphics Lab at Hong Kong University of Science and Technology",null,"yuanly@ust.hk","https:\u002F\u002Fgithub.com\u002FIGL-HKUST",[83,87,91],{"name":84,"color":85,"percentage":86},"Python","#3572A5",99.4,{"name":88,"color":89,"percentage":90},"Shell","#89e051",0.6,{"name":92,"color":93,"percentage":94},"Makefile","#427819",0,814,39,"2026-04-09T14:33:27","Apache-2.0",4,"Linux","必需 NVIDIA GPU，测试环境为 1x NVIDIA H800 (32GB 显存足够)，需 CUDA 11.8","未说明",{"notes":104,"python":105,"dependencies":106},"1. 官方仅在 Ubuntu 20.04 上测试通过，未提及 Windows\u002FmacOS 支持。\n2. 必须手动下载多个子模块（MoGe, VGGT）和模型权重（SpatialTracker, Diffusion-As-Shader）到指定目录。\n3. 部分功能（如网格动画）依赖 Blender 4.0+ 生成跟踪视频。\n4. 运动迁移任务可能需要 FLUX.1 Kontext 辅助生成首帧。","3.10",[107,108,109,110,111,112,113,114],"torch==2.5.1","torchvision","MoGe","VGGT","SpatialTracker","cotracker","gradio","blender>4.0",[29,16],[117,118,119,120,121,122],"3d-generation","camera-control","motion-retargeting","motion-transfer","object-manipulation","video-generation","2026-03-27T02:49:30.150509","2026-04-10T07:45:33.666106",[126,131,136,140,145,150,154],{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},27278,"推理所需的最低显存是多少？生成速度如何？","推理时的 GPU 显存占用约为 32GB。在使用 H800 GPU 的情况下，生成 49 帧视频大约需要 2.5 分钟。","https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader\u002Fissues\u002F1",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},27277,"为什么测试演示生成的效果很差或权重未正确加载？","这是由于元张量（meta tensors）被错误地移动到了错误的设备，导致部分权重未能有效加载。该问题已在最新代码中修复。请拉取（pull）最新的仓库代码并重新尝试运行。","https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader\u002Fissues\u002F27",{"id":137,"question_zh":138,"answer_zh":139,"source_url":130},27279,"训练代码是否已开源？如何使用较小的显存进行训练？","训练代码已经发布，您可以按照 README 文档中的说明对模型进行微调。关于使用较小显存（如 48GB 的 A6000）训练，虽然论文中使用的是 80GB 显存的 H800 和 batchsize 64，但您可以尝试减小 batchsize 来适配您的硬件，具体需根据显存情况调整。",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},27280,"运行 demo.py 处理个人数据时出现 'IndexError: boolean index did not match indexed array' 错误怎么办？","该错误是由于 MoGe 过滤掉了原图的部分像素，导致颜色数组维度与有效掩码维度不匹配。临时解决方法是：打开 `models\u002Fpipelines.py` 文件，删除或注释掉第 382 行和第 383 行的代码。维护者表示将在后续更新中正式修复此 bug。","https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader\u002Fissues\u002F8",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},27281,"运行时出现 torch.compile 相关报错，禁用它会有负面影响吗？","torch.compile 仅用于加速推理过程。如果您遇到兼容性问题（如在某些 GPU 驱动上），可以通过在 `demo.py` 开头添加 `import torch._dynamo; torch._dynamo.config.suppress_errors = True` 来抑制错误，或者直接删除 `self.transformer = torch.compile(self.transformer)` 这一行。移除它不会对功能产生任何负面影响，只是推理速度可能会稍慢一些。","https:\u002F\u002Fgithub.com\u002FIGL-HKUST\u002FDiffusionAsShader\u002Fissues\u002F11",{"id":151,"question_zh":152,"answer_zh":153,"source_url":130},27282,"如何使用相对尺度的单目深度代替度量尺度的深度？","虽然论文中的演示大多基于度量尺度（metric-scaled）的深度，但在实际使用中，如果条件允许，使用相对尺度（relative-scaled）的单目深度也是可行的，模型通常仍能生成合理的结果，但具体效果可能取决于场景的几何一致性。",{"id":155,"question_zh":156,"answer_zh":157,"source_url":135},27283,"相机控制命令的正确格式是什么？","参考命令格式如下：`python demo.py --prompt \"my_prompt\" --checkpoint_path .\u002FEXCAI\u002FDiffusion-As-Shader\u002F --output_dir \"my_out_dir\" --input_path \"my_input_video\" --camera_motion 'rot x -30 10 40' --tracking_method moge --override_extrinsics override --gpu 0`。请确保参数路径正确，且仅在加载 DiT 模型时根据需要修改 torch 数据类型（如 `torch_dtype=torch.bfloat16`）。",[]]