[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-fudan-generative-vision--champ":3,"tool-fudan-generative-vision--champ":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,2,"2026-04-18T11:18:24",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":77,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":106,"github_topics":107,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":111,"updated_at":112,"faqs":113,"releases":154},9290,"fudan-generative-vision\u002Fchamp","champ","[ECCV 2024] Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance","Champ 是一款基于 3D 参数化引导的可控人体图像动画生成工具，由南京大学、复旦大学与阿里巴巴集团联合研发，并入选 ECCV 2024。它能让静态的人物照片“动起来”，根据用户指定的动作序列生成连贯、自然且高度可控的人体视频。\n\n传统方法在生成人物动画时，常面临动作不精准、画面闪烁或肢体变形等问题。Champ 通过引入 SMPL（3D 人体模型）作为中间引导信号，将复杂的运动控制转化为精确的 3D 姿态驱动，从而显著提升了生成视频的时间一致性与动作准确度。无论是舞蹈、体操还是日常动作，都能得到流畅逼真的演绎效果。\n\n该工具特别适合研究人员探索可控视频生成技术，也适合开发者集成到多媒体应用中，同时为设计师和视频创作者提供了强大的内容创作辅助能力。普通用户若具备一定技术基础，也可借助社区提供的 ComfyUI 插件或在线 Demo 轻松体验。\n\n技术上，Champ 的创新在于将 3D 人体参数与扩散模型深度融合，实现了从单张图像到动态视频的端到端生成，并支持细粒度动作编辑。项目已开源训练与推理代码，并提供完整的数据处理脚本和预训练模型，便于复现与二次开发。","\u003Ch1 align='Center'>Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance\u003C\u002Fh1>\n\n\u003Cdiv align='Center'>\n    \u003Ca href='https:\u002F\u002Fgithub.com\u002FShenhaoZhu' target='_blank'>Shenhao Zhu\u003C\u002Fa>\u003Csup>*1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fgithub.com\u002FLeoooo333' target='_blank'>Junming Leo Chen\u003C\u002Fa>\u003Csup>*2\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fgithub.com\u002Fdaizuozhuo' target='_blank'>Zuozhuo Dai\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fai3.fudan.edu.cn\u002Finfo\u002F1088\u002F1266.htm' target='_blank'>Yinghui Xu\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fcite.nju.edu.cn\u002FPeople\u002FFaculty\u002F20190621\u002Fi5054.html' target='_blank'>Xun Cao\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fyoyo000.github.io\u002F' target='_blank'>Yao Yao\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup> \n    \u003Ca href='http:\u002F\u002Fzhuhao.cc\u002Fhome\u002F' target='_blank'>Hao Zhu\u003C\u002Fa>\u003Csup>+1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fsites.google.com\u002Fsite\u002Fzhusiyucs\u002Fhome' target='_blank'>Siyu Zhu\u003C\u002Fa>\u003Csup>+2\u003C\u002Fsup>\n\u003C\u002Fdiv>\n\u003Cdiv align='Center'>\n    \u003Csup>1\u003C\u002Fsup>Nanjing University \u003Csup>2\u003C\u002Fsup>Fudan University \u003Csup>3\u003C\u002Fsup>Alibaba Group\n\u003C\u002Fdiv>\n\u003Cdiv align='Center'>\n\u003Ci>\u003Cstrong>\u003Ca href='https:\u002F\u002Feccv2024.ecva.net' target='_blank'>ECCV 2024\u003C\u002Fa>\u003C\u002Fstrong>\u003C\u002Fi>\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align='Center'>\n    \u003Ca href='https:\u002F\u002Ffudan-generative-vision.github.io\u002Fchamp\u002F#\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.14781'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Fyoutu.be\u002F2XVsy9tQRAY'>\u003Cimg src='https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg'>\u003C\u002Fa>\n    \u003Ca href='assets\u002Fwechat.jpeg'>\u003Cimg src='https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fwechat.svg'>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\nhttps:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fassets\u002F82803297\u002Fb4571be6-dfb0-4926-8440-3db229ebd4aa\n\n# Framework\n\n![framework](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffudan-generative-vision_champ_readme_193e8e4b3d68.jpg)\n\n# News\n\n- **`2024\u002F05\u002F05`**:  🎉🎉🎉[Sample training data on HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample) released.\n- **`2024\u002F05\u002F02`**:  🌟🌟🌟Training source code released [#99](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F99).\n- **`2024\u002F04\u002F28`**:  👏👏👏Smooth SMPLs in Blender method released [#96](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F96).\n- **`2024\u002F04\u002F26`**:  🚁Great Blender Adds-on [CEB Studios\n](https:\u002F\u002Fwww.patreon.com\u002Fcebstudios\u002Fposts) for various SMPL process!\n- **`2024\u002F04\u002F12`**: ✨✨✨SMPL & Rendering scripts released! Champ your dance videos now💃🤸‍♂️🕺. See [docs](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md).\n  \n- **`2024\u002F03\u002F30`**: 🚀🚀🚀Amazing [ComfyUI Wrapper](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-champWrapper) by community. Here is the [video tutorial](https:\u002F\u002Fwww.youtube.com\u002Fwatch?app=desktop&v=cbElsTBv2-A). Thanks to [@kijai](https:\u002F\u002Fgithub.com\u002Fkijai)🥳\n  \n- **`2024\u002F03\u002F27`**: Cool Demo on [replicate](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fchamp)🌟. Thanks to [@camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru)👏\n\n- **`2024\u002F03\u002F27`**: Visit our [roadmap🕒](#roadmap) to preview the future of Champ.\n\n# Installation\n\n- System requirement: Ubuntu20.04\u002FWindows 11, Cuda 12.1\n- Tested GPUs: A100, RTX3090\n\nCreate conda environment:\n\n```bash\n  conda create -n champ python=3.10\n  conda activate champ\n```\n\nInstall packages with `pip`\n\n```bash\n  pip install -r requirements.txt\n```\n\nInstall packages with [poetry](https:\u002F\u002Fpython-poetry.org\u002F)\n> If you want to run this project on a Windows device, we strongly recommend to use `poetry`.\n```shell\npoetry install --no-root\n```\n\n# Inference\n\nThe inference entrypoint script is `${PROJECT_ROOT}\u002Finference.py`. Before testing your cases, there are two preparations need to be completed:\n1. [Download all required pretrained models](#download-pretrained-models).\n2. [Prepare your guidance motions](#preparen-your-guidance-motions).\n2. [Run inference](#run-inference).\n\n## Download pretrained models\n\nYou can easily get all pretrained models required by inference from our [HuggingFace repo](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp).\n\nClone the the pretrained models into `${PROJECT_ROOT}\u002Fpretrained_models` directory by cmd below:\n```shell\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp pretrained_models\n```\n\nOr you can download them separately from their source repo:\n   - [Champ ckpts](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp\u002Ftree\u002Fmain):  Consist of denoising UNet, guidance encoders, Reference UNet, and motion module.\n   - [StableDiffusion V1.5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5): Initialized and fine-tuned from Stable-Diffusion-v1-2. (*Thanks to runwayml*)\n   - [sd-vae-ft-mse](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fsd-vae-ft-mse): Weights are intended to be used with the diffusers library. (*Thanks to stablilityai*)\n   - [image_encoder](https:\u002F\u002Fhuggingface.co\u002Flambdalabs\u002Fsd-image-variations-diffusers\u002Ftree\u002Fmain\u002Fimage_encoder): Fine-tuned from CompVis\u002Fstable-diffusion-v1-4-original to accept CLIP image embedding rather than text embeddings. (*Thanks to lambdalabs*)\n\nFinally, these pretrained models should be organized as follows:\n\n```text\n.\u002Fpretrained_models\u002F\n|-- champ\n|   |-- denoising_unet.pth\n|   |-- guidance_encoder_depth.pth\n|   |-- guidance_encoder_dwpose.pth\n|   |-- guidance_encoder_normal.pth\n|   |-- guidance_encoder_semantic_map.pth\n|   |-- reference_unet.pth\n|   `-- motion_module.pth\n|-- image_encoder\n|   |-- config.json\n|   `-- pytorch_model.bin\n|-- sd-vae-ft-mse\n|   |-- config.json\n|   |-- diffusion_pytorch_model.bin\n|   `-- diffusion_pytorch_model.safetensors\n`-- stable-diffusion-v1-5\n    |-- feature_extractor\n    |   `-- preprocessor_config.json\n    |-- model_index.json\n    |-- unet\n    |   |-- config.json\n    |   `-- diffusion_pytorch_model.bin\n    `-- v1-inference.yaml\n```\n\n## Prepare your guidance motions\n\nGuidance motion data which is produced via SMPL & Rendering is necessary when performing inference.\n\nYou can download our pre-rendered samples on our [HuggingFace repo](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example) and place into `${PROJECT_ROOT}\u002Fexample_data` directory:\n```shell\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example example_data\n```\n\nOr you can follow the [SMPL & Rendering doc](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md) to produce your own motion datas.\n\nFinally, the `${PROJECT_ROOT}\u002Fexample_data` will be like this:\n```\n.\u002Fexample_data\u002F\n|-- motions\u002F  # Directory includes motions per subfolder\n|   |-- motion-01\u002F  # A motion sample\n|   |   |-- depth\u002F  # Depth frame sequance\n|   |   |-- dwpose\u002F # Dwpose frame sequance\n|   |   |-- mask\u002F   # Mask frame sequance\n|   |   |-- normal\u002F # Normal map frame sequance\n|   |   `-- semantic_map\u002F # Semanic map frame sequance\n|   |-- motion-02\u002F\n|   |   |-- ...\n|   |   `-- ...\n|   `-- motion-N\u002F\n|       |-- ...\n|       `-- ...\n`-- ref_images\u002F # Reference image samples(Optional)\n    |-- ref-01.png\n    |-- ...\n    `-- ref-N.png\n```\n\n## Run inference\n\nNow we have all prepared models and motions in `${PROJECT_ROOT}\u002Fpretrained_models` and `${PROJECT_ROOT}\u002Fexample_data` separately. \n\nHere is the command for inference:\n\n```bash\n  python inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\nIf using `poetry`, command is \n```shell\npoetry run python inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\nAnimation results will be saved in `${PROJECT_ROOT}\u002Fresults` folder. You can change the reference image or the guidance motion by modifying `inference.yaml`.\n\nThe default motion-02 in `inference.yaml` has about 250 frames, requires ~20GB VRAM.\n\n**Note**: If your VRAM is insufficient, you can switch to a shorter motion sequence or cut out a segment from a long sequence. We provide a frame range selector in `inference.yaml`, which you can replace with a list of `[min_frame_index, max_frame_index]` to conveniently cut out a segment from the sequence.\n\n# Train the Model\n\nThe training process consists of two distinct stages. For more information, refer to the `Training Section` in the [paper on arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.14781).\n\n## Prepare Datasets\n\nPrepare your own training videos with human motion (or use [our sample training data on HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)) and modify `data.video_folder` value in training config yaml.\n\nAll training videos need to be processed into SMPL & DWPose format. Refer to the [Data Process doc](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md).\n\nThe directory structure will be like this:\n```txt\n\u002Ftraining_data\u002F\n|-- video01\u002F          # A video data frame\n|   |-- depth\u002F        # Depth frame sequance\n|   |-- dwpose\u002F       # Dwpose frame sequance\n|   |-- mask\u002F         # Mask frame sequance\n|   |-- normal\u002F       # Normal map frame sequance\n|   `-- semantic_map\u002F # Semanic map frame sequance\n|-- video02\u002F\n|   |-- ...\n|   `-- ...\n`-- videoN\u002F\n|-- ...\n`-- ...\n```\n\nSelect another small batch of data as the validation set, and modify the `validation.ref_images` and `validation.guidance_folders` roots in training config yaml.\n\n## Run Training Scripts\n\nTo train the Champ model, use the following command:\n```shell\n# Run training script of stage1\naccelerate launch train_s1.py --config configs\u002Ftrain\u002Fstage1.yaml\n\n# Modify the `stage1_ckpt_dir` value in yaml and run training script of stage2\naccelerate launch train_s2.py --config configs\u002Ftrain\u002Fstage2.yaml\n```\n\n# Datasets\n\n| Type | HuggingFace |       ETA       |\n| :----: | :----------------------------------------------------------------------------------------- | :-------------: |\n|   Inference   | **[SMPL motion samples](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example)** | Thu Apr 18 2024 |\n|   Training | **[Sample datasets for Training](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)** | Sun May 05 2024 |\n# Roadmap\n\n| Status | Milestone                                                                                  |       ETA       |\n| :----: | :----------------------------------------------------------------------------------------- | :-------------: |\n|   ✅   | **[Inference source code meet everyone on GitHub first time](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp)** | Sun Mar 24 2024 |\n|   ✅   | **[Model and test data on Huggingface](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp)** | Tue Mar 26 2024 |\n|   ✅   | **[Optimize dependencies and go well on Windows](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp?tab=readme-ov-file#installation)** | Sun Mar 31 2024 |\n|   ✅   | **[Data preprocessing code release](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md)**                                                    | Fri Apr 12 2024 |\n|   ✅   | **[Training code release](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F99)**                                                  | Thu May 02 2024 |\n|   ✅   | **[Sample of training data release on HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)**                                                  | Sun May 05 2024 |\n|   ✅  | **[Smoothing SMPL motion](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F96)**                                                  | Sun Apr 28 2024 |\n|   🚀🚀🚀  | **[Gradio demo on HuggingFace]()**                                                  | TBD |\n\n# Citation\n\nIf you find our work useful for your research, please consider citing the paper:\n\n```\n@inproceedings{zhu2024champ,\n      title={Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance},\n      author={Shenhao Zhu and Junming Leo Chen and Zuozhuo Dai and Yinghui Xu and Xun Cao and Yao Yao and Hao Zhu and Siyu Zhu},\n      booktitle={European Conference on Computer Vision (ECCV)},\n      year={2024}\n}\n```\n\n# Opportunities available\n\nMultiple research positions are open at the **Generative Vision Lab, Fudan University**! Include:\n\n- Research assistant\n- Postdoctoral researcher\n- PhD candidate\n- Master students\n\nInterested individuals are encouraged to contact us at [siyuzhu@fudan.edu.cn](mailto:\u002F\u002Fsiyuzhu@fudan.edu.cn) for further information.\n","\u003Ch1 align='Center'>Champ：基于3D参数化引导的可控且一致的人体图像动画\u003C\u002Fh1>\n\n\u003Cdiv align='Center'>\n    \u003Ca href='https:\u002F\u002Fgithub.com\u002FShenhaoZhu' target='_blank'>朱申浩\u003C\u002Fa>\u003Csup>*1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fgithub.com\u002FLeoooo333' target='_blank'>陈俊明\u003C\u002Fa>\u003Csup>*2\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fgithub.com\u002Fdaizuozhuo' target='_blank'>戴作卓\u003C\u002Fa>\u003Csup>3\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fai3.fudan.edu.cn\u002Finfo\u002F1088\u002F1266.htm' target='_blank'>许英辉\u003C\u002Fa>\u003Csup>2\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fcite.nju.edu.cn\u002FPeople\u002FFaculty\u002F20190621\u002Fi5054.html' target='_blank'>曹勋\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fyoyo000.github.io\u002F' target='_blank'>姚尧\u003C\u002Fa>\u003Csup>1\u003C\u002Fsup> \n    \u003Ca href='http:\u002F\u002Fzhuhao.cc\u002Fhome\u002F' target='_blank'>朱浩\u003C\u002Fa>\u003Csup>+1\u003C\u002Fsup> \n    \u003Ca href='https:\u002F\u002Fsites.google.com\u002Fsite\u002Fzhusiyucs\u002Fhome' target='_blank'>朱思宇\u003C\u002Fa>\u003Csup>+2\u003C\u002Fsup>\n\u003C\u002Fdiv>\n\u003Cdiv align='Center'>\n    \u003Csup>1\u003C\u002Fsup>南京大学 \u003Csup>2\u003C\u002Fsup>复旦大学 \u003Csup>3\u003C\u002Fsup>阿里巴巴集团\n\u003C\u002Fdiv>\n\u003Cdiv align='Center'>\n\u003Ci>\u003Cstrong>\u003Ca href='https:\u002F\u002Feccv2024.ecva.net' target='_blank'>ECCV 2024\u003C\u002Fa>\u003C\u002Fstrong>\u003C\u002Fi>\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align='Center'>\n    \u003Ca href='https:\u002F\u002Ffudan-generative-vision.github.io\u002Fchamp\u002F#\u002F'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-Green'>\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.14781'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-Arxiv-red'>\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Fyoutu.be\u002F2XVsy9tQRAY'>\u003Cimg src='https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fyoutube.svg'>\u003C\u002Fa>\n    \u003Ca href='assets\u002Fwechat.jpeg'>\u003Cimg src='https:\u002F\u002Fbadges.aleen42.com\u002Fsrc\u002Fwechat.svg'>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\nhttps:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fassets\u002F82803297\u002Fb4571be6-dfb0-4926-8440-3db229ebd4aa\n\n# 框架\n\n![framework](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffudan-generative-vision_champ_readme_193e8e4b3d68.jpg)\n\n# 新闻\n\n- **`2024\u002F05\u002F05`**:  🎉🎉🎉[HuggingFace上的样本训练数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)发布。\n- **`2024\u002F05\u002F02`**:  🌟🌟🌟训练源代码发布 [#99](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F99)。\n- **`2024\u002F04\u002F28`**:  👏👏👏在Blender中平滑SMPL的方法发布 [#96](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F96)。\n- **`2024\u002F04\u002F26`**:  🚁各种SMPL处理的优秀Blender插件[CEB Studios](https:\u002F\u002Fwww.patreon.com\u002Fcebstudios)!\n- **`2024\u002F04\u002F12`**: ✨✨✨SMPL和渲染脚本发布！现在就可以用Champ制作你的舞蹈视频💃🤸‍♂️🕺。请参阅[文档](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md)。\n\n- **`2024\u002F03\u002F30`**: 🚀🚀🚀社区提供的惊人[ComfyUI封装](https:\u002F\u002Fgithub.com\u002Fkijai\u002FComfyUI-champWrapper)。这里有一个[视频教程](https:\u002F\u002Fwww.youtube.com\u002Fwatch?app=desktop&v=cbElsTBv2-A)。感谢[@kijai](https:\u002F\u002Fgithub.com\u002Fkijai)🥳\n\n- **`2024\u002F03\u002F27`**: 在[replicate](https:\u002F\u002Freplicate.com\u002Fcamenduru\u002Fchamp)上的酷炫演示🌟。感谢[@camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru)👏\n\n- **`2024\u002F03\u002F27`**: 访问我们的[路线图🕒](#roadmap)，预览Champ的未来。\n\n# 安装\n\n- 系统要求：Ubuntu20.04\u002FWindows 11，Cuda 12.1\n- 测试过的GPU：A100、RTX3090\n\n创建conda环境：\n\n```bash\n  conda create -n champ python=3.10\n  conda activate champ\n```\n\n使用`pip`安装包：\n\n```bash\n  pip install -r requirements.txt\n```\n\n使用[poetry](https:\u002F\u002Fpython-poetry.org\u002F)安装包：\n> 如果您想在Windows设备上运行该项目，我们强烈建议使用`poetry`。\n```shell\npoetry install --no-root\n```\n\n# 推理\n\n推理入口脚本是`${PROJECT_ROOT}\u002Finference.py`。在测试您的案例之前，需要完成两项准备工作：\n1. [下载所有必需的预训练模型](#download-pretrained-models)。\n2. [准备您的引导动作](#preparen-your-guidance-motions)。\n2. [运行推理](#run-inference)。\n\n## 下载预训练模型\n\n您可以从我们的[HuggingFace仓库](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp)轻松获取推理所需的所有预训练模型。\n\n通过以下命令将预训练模型克隆到`${PROJECT_ROOT}\u002Fpretrained_models`目录：\n```shell\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp pretrained_models\n```\n\n或者您可以从各自的源仓库单独下载：\n   - [Champ检查点](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp\u002Ftree\u002Fmain)：包括去噪UNet、引导编码器、参考UNet和运动模块。\n   - [StableDiffusion V1.5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5)：由Stable-Diffusion-v1-2初始化并微调。（*感谢runwayml*）\n   - [sd-vae-ft-mse](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fsd-vae-ft-mse)：权重旨在与diffusers库一起使用。（*感谢stabilityai*）\n   - [image_encoder](https:\u002F\u002Fhuggingface.co\u002Flambdalabs\u002Fsd-image-variations-diffusers\u002Ftree\u002Fmain\u002Fimage_encoder)：由CompVis\u002Fstable-diffusion-v1-4-original微调而来，以接受CLIP图像嵌入而非文本嵌入。（*感谢lambdalabs*）\n\n最终，这些预训练模型应按如下方式组织：\n\n```text\n.\u002Fpretrained_models\u002F\n|-- champ\n|   |-- denoising_unet.pth\n|   |-- guidance_encoder_depth.pth\n|   |-- guidance_encoder_dwpose.pth\n|   |-- guidance_encoder_normal.pth\n|   |-- guidance_encoder_semantic_map.pth\n|   |-- reference_unet.pth\n|   `-- motion_module.pth\n|-- image_encoder\n|   |-- config.json\n|   `-- pytorch_model.bin\n|-- sd-vae-ft-mse\n|   |-- config.json\n|   |-- diffusion_pytorch_model.bin\n|   `-- diffusion_pytorch_model.safetensors\n`-- stable-diffusion-v1-5\n    |-- feature_extractor\n    |   `-- preprocessor_config.json\n    |-- model_index.json\n    |-- unet\n    |   |-- config.json\n    |   `-- diffusion_pytorch_model.bin\n    `-- v1-inference.yaml\n```\n\n## 准备您的引导动作\n\n通过SMPL和渲染生成的引导动作数据，在进行推理时是必不可少的。\n\n您可以在我们的[HuggingFace仓库](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example)下载我们预先渲染好的样本，并将其放置在`${PROJECT_ROOT}\u002Fexample_data`目录下：\n```shell\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example example_data\n```\n\n或者您可以按照[SMPL和渲染文档](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md)来制作您自己的动作数据。\n\n最终，`${PROJECT_ROOT}\u002Fexample_data`将如下所示：\n```\n.\u002Fexample_data\u002F\n|-- motions\u002F  # 目录包含按子文件夹划分的动作\n|   |-- motion-01\u002F  # 一个动作样本\n|   |   |-- depth\u002F  # 深度帧序列\n|   |   |-- dwpose\u002F # Dwpose帧序列\n|   |   |-- mask\u002F   # 掩码帧序列\n|   |   |-- normal\u002F # 法线图帧序列\n|   |   `-- semantic_map\u002F # 语义地图帧序列\n|   |-- motion-02\u002F\n|   |   |-- ...\n|   |   `-- ...\n|   `-- motion-N\u002F\n|       |-- ...\n|       `-- ...\n`-- ref_images\u002F # 参考图像样本（可选）\n    |-- ref-01.png\n    |-- ...\n    `-- ref-N.png\n```\n\n## 运行推理\n\n现在，我们已经将所有准备好的模型和动作分别放置在 `${PROJECT_ROOT}\u002Fpretrained_models` 和 `${PROJECT_ROOT}\u002Fexample_data` 目录下。\n\n以下是运行推理的命令：\n\n```bash\n  python inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\n如果使用 `poetry`，命令如下：\n```shell\npoetry run python inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\n动画结果将会保存在 `${PROJECT_ROOT}\u002Fresults` 文件夹中。你可以通过修改 `inference.yaml` 来更换参考图像或引导动作。\n\n`inference.yaml` 中默认的 motion-02 约有 250 帧，需要约 20GB 的显存。\n\n**注意**：如果你的显存不足，可以切换到较短的动作序列，或者从较长的序列中截取一段。我们在 `inference.yaml` 中提供了一个帧范围选择器，你可以将其替换为 `[min_frame_index, max_frame_index]` 列表，以便方便地从序列中截取所需部分。\n\n# 训练模型\n\n训练过程分为两个不同的阶段。更多信息请参阅 [arXiv 上的论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.14781) 中的“训练部分”。\n\n## 准备数据集\n\n准备你自己的包含人体动作的训练视频（或者使用 [HuggingFace 上的示例训练数据](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)），并修改训练配置 YAML 文件中的 `data.video_folder` 值。\n\n所有训练视频都需要被处理成 SMPL 和 DWPose 格式。请参考 [数据处理文档](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md)。\n\n目录结构应如下所示：\n```txt\n\u002Ftraining_data\u002F\n|-- video01\u002F          # 一个视频数据帧\n|   |-- depth\u002F        # 深度帧序列\n|   |-- dwpose\u002F       # Dwpose 帧序列\n|   |-- mask\u002F         # 掩码帧序列\n|   |-- normal\u002F       # 法线图帧序列\n|   `-- semantic_map\u002F # 语义图帧序列\n|-- video02\u002F\n|   |-- ...\n|   `-- ...\n`-- videoN\u002F\n|-- ...\n`-- ...\n```\n\n再选择一小批数据作为验证集，并修改训练配置 YAML 文件中的 `validation.ref_images` 和 `validation.guidance_folders` 路径。\n\n## 运行训练脚本\n\n要训练 Champ 模型，请使用以下命令：\n```shell\n# 运行第一阶段的训练脚本\naccelerate launch train_s1.py --config configs\u002Ftrain\u002Fstage1.yaml\n\n# 修改 YAML 文件中的 `stage1_ckpt_dir` 值，然后运行第二阶段的训练脚本\naccelerate launch train_s2.py --config configs\u002Ftrain\u002Fstage2.yaml\n```\n\n# 数据集\n\n| 类型 | HuggingFace |       预计时间       |\n| :----: | :----------------------------------------------------------------------------------------- | :-------------: |\n|   推理   | **[SMPL 动作样本](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example)** | 2024年4月18日 |\n|   训练 | **[训练用示例数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)** | 2024年5月5日 |\n# 路线图\n\n| 状态 | 里程碑                                                                                  |       预计时间       |\n| :----: | :----------------------------------------------------------------------------------------- | :-------------: |\n|   ✅   | **[推理源代码首次在 GitHub 上公开](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp)** | 2024年3月24日 |\n|   ✅   | **[模型和测试数据上线 HuggingFace](https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp)** | 2024年3月26日 |\n|   ✅   | **[优化依赖项并在 Windows 上顺利运行](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp?tab=readme-ov-file#installation)** | 2024年3月31日 |\n|   ✅   | **[数据预处理代码发布](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fblob\u002Fmaster\u002Fdocs\u002Fdata_process.md)**                                                    | 2024年4月12日 |\n|   ✅   | **[训练代码发布](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F99)**                                                  | 2024年5月2日 |\n|   ✅   | **[训练数据示例上线 HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample)**                                                  | 2024年5月5日 |\n|   ✅  | **[平滑 SMPL 动作](https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fpull\u002F96)**                                                  | 2024年4月28日 |\n|   🚀🚀🚀  | **[Gradio 演示上线 HuggingFace]()**                                                  | 待定 |\n\n# 引用\n\n如果你的研究中使用了我们的工作，请考虑引用以下论文：\n\n```\n@inproceedings{zhu2024champ,\n      title={Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance},\n      author={Shenhao Zhu and Junming Leo Chen and Zuozhuo Dai and Yinghui Xu and Xun Cao and Yao Yao and Hao Zhu and Siyu Zhu},\n      booktitle={欧洲计算机视觉大会 (ECCV)},\n      year={2024}\n}\n```\n\n# 招聘信息\n\n**复旦大学生成视觉实验室** 正在招聘多个研究岗位！包括：\n\n- 研究助理\n- 博士后研究员\n- 博士研究生\n- 硕士研究生\n\n有意者请通过 [siyuzhu@fudan.edu.cn](mailto:\u002F\u002Fsiyuzhu@fudan.edu.cn) 联系我们以获取更多信息。","# Champ 快速上手指南\n\nChamp 是一个基于 3D 参数化引导的可控且一致的人体图像动画生成工具（ECCV 2024）。本指南将帮助你快速在本地部署并运行推理。\n\n## 环境准备\n\n在开始之前，请确保你的系统满足以下要求：\n\n*   **操作系统**: Ubuntu 20.04 或 Windows 11\n*   **CUDA 版本**: 12.1\n*   **显卡要求**: 已测试支持 NVIDIA A100, RTX 3090。\n    *   *注意*: 默认示例动作约 250 帧，推理需约 20GB 显存。若显存不足，可在配置文件中截取较短的动作片段。\n*   **基础软件**: Python 3.10, Conda, Git (需安装 `git-lfs`)\n\n## 安装步骤\n\n### 1. 创建虚拟环境\n使用 Conda 创建名为 `champ` 的 Python 3.10 环境：\n\n```bash\nconda create -n champ python=3.10\nconda activate champ\n```\n\n### 2. 安装依赖\n**Linux 用户**可直接使用 pip 安装：\n```bash\npip install -r requirements.txt\n```\n\n**Windows 用户**强烈推荐使用 `poetry` 进行依赖管理以避免兼容性问题：\n```shell\npoetry install --no-root\n```\n\n### 3. 下载预训练模型\n所有推理所需的预训练模型托管在 HuggingFace。请执行以下命令将其克隆到项目根目录下的 `pretrained_models` 文件夹：\n\n```bash\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Ffudan-generative-ai\u002Fchamp pretrained_models\n```\n*(注：若国内访问 HuggingFace 较慢，可配置镜像源或使用代理加速)*\n\n最终目录结构应包含 `champ`, `image_encoder`, `sd-vae-ft-mse`, `stable-diffusion-v1-5` 等文件夹。\n\n### 4. 准备引导动作数据\n推理需要由 SMPL 和渲染生成的引导运动数据。你可以直接下载官方提供的示例数据：\n\n```bash\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_motions_example example_data\n```\n\n数据将存放在 `${PROJECT_ROOT}\u002Fexample_data` 目录下，包含 `motions` (深度、姿态、法线图等序列) 和 `ref_images` (参考图)。\n\n## 基本使用\n\n完成上述准备后，即可运行推理脚本生成动画。\n\n### 运行推理\n在项目根目录执行以下命令：\n\n**使用标准 Python 环境：**\n```bash\npython inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\n**使用 Poetry 环境（推荐 Windows）：**\n```shell\npoetry run python inference.py --config configs\u002Finference\u002Finference.yaml\n```\n\n### 结果查看\n生成的动画视频将保存在 `${PROJECT_ROOT}\u002Fresults` 文件夹中。\n\n### 自定义配置\n你可以通过修改 `configs\u002Finference\u002Finference.yaml` 文件来：\n*   更换参考图片 (`ref_image_path`)\n*   更换引导动作文件夹 (`guidance_folder`)\n*   **节省显存**: 若显存不足，可在配置文件中修改帧范围选择器，设置为 `[min_frame_index, max_frame_index]` 以截取长序列中的一段进行生成。","某独立游戏开发者需要为角色设计一段复杂的战斗舞蹈动画，但团队缺乏专业动作捕捉设备和资深动画师。\n\n### 没有 champ 时\n- **动作僵硬不自然**：仅靠关键帧手动调整或基础算法生成的动画，人物关节转折生硬，缺乏真实肌肉运动的流畅感。\n- **角色一致性差**：在大幅度动作下，角色衣物纹理容易闪烁、变形，甚至出现肢体穿模，导致画面崩坏。\n- **可控性极低**：难以精确指定特定的舞蹈动作序列，每次修改都需要重新渲染整个视频，试错成本极高。\n- **3D 引导缺失**：无法利用现有的 3D 动作数据（如 SMPL 参数）来精准驱动 2D 图像，导致动作与预设编排严重偏离。\n\n### 使用 champ 后\n- **动作流畅逼真**：利用 3D 参数化引导技术，champ 能生成符合人体工学的连贯动作，完美还原舞蹈的韵律感。\n- **时空高度一致**：在长序列动画中，champ 确保了角色外观、衣物细节的稳定，彻底消除了闪烁和伪影问题。\n- **精准动作控制**：开发者可直接导入 Blender 制作的 SMPL 动作序列作为引导，让静态角色图精准执行指定的复杂舞步。\n- **高效迭代开发**：只需更换 3D 动作指导数据，即可快速生成不同风格的动画版本，大幅缩短了从创意到成品的周期。\n\nchamp 通过引入 3D 参数化引导，将高门槛的专业人物动画制作转化为可控、一致且高效的生成流程，让单人开发者也能产出电影级动态效果。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ffudan-generative-vision_champ_70d138e8.png","fudan-generative-vision","Fusion Lab: Generative Vision Lab of Fudan University","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ffudan-generative-vision_e50208b6.png","Fusion Lab is led by Siyu Zhu, professor of Fudan and SII. SII is an institution dedicated to innovation in education and research in the field of AI.",null,"siyuzhu@fudan.edu.cn","https:\u002F\u002Fsites.google.com\u002Fsite\u002Fzhusiyucs","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,4248,484,"2026-04-18T02:47:08","MIT","Linux (Ubuntu 20.04), Windows 11","必需 NVIDIA GPU。测试显卡：A100, RTX3090。默认运行约需 20GB 显存（针对 250 帧序列），显存不足时可缩短序列长度。CUDA 版本要求：12.1。","未说明",{"notes":94,"python":95,"dependencies":96},"Windows 用户强烈建议使用 Poetry 进行依赖管理（而非 pip）。推理前需从 HuggingFace 下载预训练模型（包含 UNet、Motion Module 等）及引导动作数据。训练分为两个阶段，需准备经 SMPL 和 DWPose 处理后的视频数据。若显存不足，可在配置文件中通过设置帧范围 `[min_frame_index, max_frame_index]` 来截取较短的动作序列进行测试。","3.10",[97,98,99,100,101,102,103,104,105],"torch","diffusers","accelerate","transformers","opencv-python","av","einops","omegaconf","safetensors",[15,61],[108,109,110],"human-animation","video-generation","image-animatioln","2026-03-27T02:49:30.150509","2026-04-19T06:02:07.742460",[114,119,124,129,134,139,144,149],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},41710,"生成的视频出现严重闪烁，如何解决？","视频闪烁通常是由于条件（如 DWPose）与输入图像未对齐造成的。请确保驱动视频的条件帧与参考图像严格对齐。虽然 SMPL 平滑可能有助于改善运动流畅度，但首要任务是检查并修正对齐问题。如果问题已解决，可关闭相关议题。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F60",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},41708,"数据集和训练代码的发布计划是什么？","数据集已于 2024 年 5 月 5 日发布。您可以查看 README 中的新闻或直接访问以下链接获取训练样本数据集：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ffudan-generative-ai\u002Fchamp_trainning_sample。请持续关注 README 以获取最新更新。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F54",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},41709,"是否提供了用于生成新动画的 Blender 脚本或文件？","是的，SMPL 和渲染代码已经发布。请克隆更新后的 Champ 仓库进行尝试。此外，您可以使用 XRFeitoria 工具库在 Blender 中设置材质（如法线贴图、语义图）并进行渲染。示例代码包括初始化 Blender、加载 Actor、创建或应用材质以及执行渲染步骤。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F3",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},41711,"如何进行视角迁移（View-Transfer）时的相机位置调整？","默认情况下，使用视角迁移时 SMPL 的全局位置（cam_t）被固定为参考值。若需支持移动位置的迁移，建议修改 `smpl_transfer.py` 第 111 行附近的逻辑。简单做法是将动作序列的相机位置均值平移至参考位置，并应用简单的透视变换和缩放因子。伪代码示例：计算 motion_loc_mean 和 ref_loc，通过 `rescale_loc_list = result_dict_list[\"camera\"] - motion_loc_mean` 去中心化，再乘以 `ref_loc \u002F motion_loc_mean` 进行重缩放，最后加回 `ref_loc`。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F87",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},41712,"论文中提到的参数化形状对齐（Parametric shape alignment）代码在哪里？","相关代码位于 fork 仓库 `4D-Humans` 中的 `transfer_smpl.py` 文件。请注意，该脚本需要在 `4D-Humans` 的 conda 环境中运行，且最好在 `4D-Humans` 目录下执行以正确处理 SMPL 和渲染任务。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F11",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},41713,"运行 inference_smpl.py 时提示找不到文件怎么办？","原仓库中的部分代码因环境配置不便已被移除或重构。请克隆 https:\u002F\u002Fgithub.com\u002FLeoooo333\u002F4D-Humans 仓库，其中包含相同的 SMPL 和渲染功能。注意：部分检查点链接在中国大陆可能无法直接访问，可能需要配置 VPN 以避免文件缺失错误。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F49",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},41714,"如何获取更准确的 SMPL 参数？使用 HMR 不够准确。","由于为用户配置 SMPL 和渲染环境存在不便，之前的提交已被撤销。修复版本已在 PR 中，即将发布。建议等待官方更新或参考已发布的 SMPL & Rendering 代码（需克隆更新后的 Champ 或 4D-Humans 仓库）。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F24",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},41715,"按照 README 组织训练数据结构后扫描报错，是文档错误还是代码错误？","该问题涉及训练数据目录结构（如 depth、dwpose、mask、normal、semantic_map 子文件夹）与代码解析逻辑不匹配。虽然具体修复方案未在评论中详述，但维护者通常会在此类情况下更新代码或文档。建议检查最新 README 或查看是否有相关 PR 修复了数据加载逻辑。若自行修复，请确保文件夹命名和层级完全符合代码预期。","https:\u002F\u002Fgithub.com\u002Ffudan-generative-vision\u002Fchamp\u002Fissues\u002F119",[]]