[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-G-U-N--AnimateLCM":3,"similar-G-U-N--AnimateLCM":87},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":20,"owner_email":20,"owner_twitter":20,"owner_website":21,"owner_url":22,"languages":23,"stars":28,"forks":29,"last_commit_at":30,"license":31,"difficulty_score":32,"env_os":33,"env_gpu":33,"env_ram":33,"env_deps":34,"category_tags":36,"github_topics":39,"view_count":46,"oss_zip_url":20,"oss_zip_packed_at":20,"status":47,"created_at":48,"updated_at":49,"faqs":50,"releases":86},1123,"G-U-N\u002FAnimateLCM","AnimateLCM","[SIGGRAPH ASIA 2024 TCS] AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data","AnimateLCM 是一款专注于高效生成个性化风格视频的开源工具，无需依赖特定人物或场景的视频数据即可实现动画生成。它通过创新的解耦学习框架，将图像生成与时间动态生成分阶段训练，在保证质量的前提下显著降低计算成本，仅需4步推理即可输出流畅动画。\n\n传统视频生成技术常面临计算资源消耗大、训练效率低、依赖大量个性化数据等瓶颈。AnimateLCM 通过解耦学习策略和优化采样流程，有效解决了这些痛点，使个性化视频生成更轻量化。其技术核心在于将静态图像风格学习与动态时序生成分离，既提升了训练效率，又增强了对不同创作场景的适应性。\n\n该工具适合设计师、数字内容创作者快速制作个性化动画，也适合研究人员探索高效视频生成技术。开发者可基于其开源框架进行二次开发，普通用户则可通过 Hugging Face 等平台直接体验。目前支持文本到视频、图像到视频、控制图到视频等多种生成模式，最高可输出25帧的高清动画。\n\n技术上，AnimateLCM 的亮点在于将一致性模型（Consistency Models）引入视频生成领域，并首创了空间 LoRA 权重与运动模块的协同训练方案。这种设计既保留了生成内容的风","AnimateLCM 是一款专注于高效生成个性化风格视频的开源工具，无需依赖特定人物或场景的视频数据即可实现动画生成。它通过创新的解耦学习框架，将图像生成与时间动态生成分阶段训练，在保证质量的前提下显著降低计算成本，仅需4步推理即可输出流畅动画。\n\n传统视频生成技术常面临计算资源消耗大、训练效率低、依赖大量个性化数据等瓶颈。AnimateLCM 通过解耦学习策略和优化采样流程，有效解决了这些痛点，使个性化视频生成更轻量化。其技术核心在于将静态图像风格学习与动态时序生成分离，既提升了训练效率，又增强了对不同创作场景的适应性。\n\n该工具适合设计师、数字内容创作者快速制作个性化动画，也适合研究人员探索高效视频生成技术。开发者可基于其开源框架进行二次开发，普通用户则可通过 Hugging Face 等平台直接体验。目前支持文本到视频、图像到视频、控制图到视频等多种生成模式，最高可输出25帧的高清动画。\n\n技术上，AnimateLCM 的亮点在于将一致性模型（Consistency Models）引入视频生成领域，并首创了空间 LoRA 权重与运动模块的协同训练方案。这种设计既保留了生成内容的风格一致性，又实现了跨模型兼容性（如适配 Dreamshaper-LCM 等主流模型）。项目团队已开源预训练模型和训练脚本，为技术落地提供了完整支持。","\u003Cdiv align=\"center\">\n\n## ⚡️AnimateLCM:  Computation-Efficient Personalized Style Video Generation without Personalized Video Data\n\n[[Paper]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.00769) [[Project Page ✨]](https:\u002F\u002Fanimatelcm.github.io\u002F) [[Demo in 🤗Hugging Face]](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwangfuyun\u002FAnimateLCM-SVD) [[Pre-trained Models]](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM) [[Civitai]](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F290375\u002Fanimatelcm-fast-video-generation)  ![visitors](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_aa4294b46b50.png)\n\n\nby *[Fu-Yun Wang](https:\u002F\u002Fg-u-n.github.io), Zhaoyang Huang📮,  Weikang Bian, Xiaoyu Shi, Keqiang Sun, Guanglu Song, Yu Liu, Hongsheng Li📮* \n\n\u003C\u002Fdiv>\n\n| Example 1       | Example 2       | Example 3       |\n|-----------------|-----------------|-----------------|\n| ![GIF 1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_95ff90804742.gif) | ![GIF 2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_0fe87659dd3e.gif) | ![GIF 3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_35d8ce885b2d.gif) |\n\nIf you use any components of our work, please cite it.\n\n```\n@article{wang2024animatelcm,\n  title={AnimateLCM: Accelerating the Animation of Personalized Diffusion Models and Adapters with Decoupled Consistency Learning},\n  author={Wang, Fu-Yun and Huang, Zhaoyang and Shi, Xiaoyu and Bian, Weikang and Song, Guanglu and Liu, Yu and Li, Hongsheng},\n  journal={arXiv preprint arXiv:2402.00769},\n  year={2024}\n}\n\n```\n### News\n\n- [2024.05]: 🔥🔥🔥 We release the [training script](https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fblob\u002Fmaster\u002Fanimatelcm_svd\u002Ftrain_svd_lcm.py) for accelerating Stable Video Diffusion.\n- [2024.03]: 😆😆😆 We release the AnimateLCM-I2V and AnimateLCM-SVD for fast image animation.\n- [2024.02]: 🤗🤗🤗 Release pretrained model weights and Huggingface Demo.\n- [2024.02]: 💡💡💡 Technical report is available on arXiv.\n\n\nHere is a screen recording of usage. Prompt:\"river reflecting mountain\"\n\n![case1x2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_85a0895260a9.png)\n\n\n### Introduction\n\n\nAnimate-LCM is **a pioneer work** and exploratory on fast animation generation following the consistency models, being able to generate animations in good quality with 4 inference steps. \n\nIt relies on the **decoupled** learning paradigm, firstly learning image generation prior and then learning the temporal generation prior for fast sampling, greatly boosting the training efficiency.\n\nThe High-level workflow of AnimateLCM can be\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_9f65f068cc93.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n### Demos\n\nWe have **launched lots of demo videos generated by Animate-LCM on the [Project Page](https:\u002F\u002Fanimatelcm.github.io\u002F)**. Generally speaking, AnimateLCM works for fast, text-to-video, control-to-video, image-to-video, video-to-video stylization, and longer video generation. \n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_764ca5b71f7e.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n\n\n\n### Models \n\nSo far, we have released three models for usage\n\n- [Animate-LCM-T2V](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM): A spatial LoRA weight and a motion module for personalized video generation. Some trying from the community point out that the motion module is also compatible with many personalized models tuned for LCM, for example [Dreamshaper-LCM](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F4384?modelVersionId=252914).  \n\n- [AnimateLCM-SVD-xt](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM-SVD-xt). I provide AnimateLCM-SVD-xt and AnimateLCM-SVD-xt 1.1, which are tuned from [SVD-xt](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt) and [SVD-xt 1.1](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt-1-1) respectively. They work for high-resolution image animation with 25 frames with 1~8 steps. You can try it with the Hugging Face [Demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwangfuyun\u002FAnimateLCM-SVD). Thanks to the Hugging Face team for providing the GPU grants. \n\n- [AnimateLCM-I2V](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM-I2V). A spatial LoRA weight and a motion module with an additional image encoder for personalized image animation. It is our trying to directly train an image animation model for fast sampling without any teacher models. It can generate animations with a personalized image with 2~4 steps. Yet due to the training resources is very limited, it is not as stable as I would like (Just like most I2V models built on Stable-Diffusion-v1-5, they generally not very stable for generation).\n\n### Install & Usage Instruction\n\nWe split the animatelcm_sd15 and animatelcm_svd into two folders. They are based on different environments. Please refer to [README_animatelcm_sd15](.\u002Fanimatelcm_sd15\u002FREADME.md) and [README_animatelcm_svd](.\u002Fanimatelcm_svd\u002FREADME.md) for instructions.\n \n### Usage Tips\n\n- **AnimateLCM-T2V**: \n    - 4 steps can generally work well. For better quality, apply 6~8 inference steps to improve the generation quality.\n    - CFG scale should be set between 1~2. Set CFG=1 can reduce the sampling cost by half. However, generally, I would prefer using CFG 1.5 and setting proper negative prompts for sampling to achieve better quality.\n    - Set the video length to 16 frames for sampling. This is the length that the model trained with.   \n    - The models should work with IP-Adapter, ControlNet, and lots of adapters tuned for Stable Diffusion in a zero-shot manner. If you hope for better results of combination, you can try to tune them together by applying the teacher-free adaptation script I provide. It will not corrupt the sampling speed. \n\n- **AnimateLCM-I2V**:\n    - 2-4 steps should work for personalized image animation. \n    - In most cases, the model does not need CFG values. Just set the CFG=1 to reduce inference cost.\n    - I additionally set a `motion scale` hyper-parameter. Set it to 0.8 as the default choice. If you set it to 0.0, you should always obtain static animations. You can increase the motion scale for larger motions, but that will sometimes cause generation failure.\n\n    - The typical workflow can be:\n        - Using your personalized image models to generate an image with good quality.\n        - Applying the generated image as input and reusing the same prompt for image animation.\n        - You can even further apply AnimateLCM-T2V to refine the final motion quality.\n\n- **AnimateLCM-SVD**: \n    - 1-4 steps should work.\n    - SVD requires two CFG values. `CFG_min` and `CFG_max`. By default, `CFG_min` is set to 1. Slightly adjusting `CFG_max` between [1, 1.5] will obtain good results.  Again, just setting it to 1 to reduce the inference cost.\n    - For other hyper-parameters of AnimateLCM-SVD-xt, please just follow the original SVD design.\n\n### Related Notes\n\n- 🎉 Tutorial video of AnimateLCM on ComfyUI: [Tutorial Video](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=HxlZHsd6xAk&feature=youtu.be)\n- 🎉 ComfyUI for AnimateLCM: [AnimateLCM-ComfyUI](https:\u002F\u002Fgithub.com\u002Fdezi-ai\u002FComfyUI-AnimateLCM) & [ComfyUI-Reddit](https:\u002F\u002Fwww.reddit.com\u002Fr\u002Fcomfyui\u002Fcomments\u002F1ajjp9v\u002Fanimatelcm_support_just_dropped\u002F) \n\n\n### Comparison\n\nScreen recording of AnimateLCM-T2V. Prompt: \"dog with sunglasses\".\n\n![case2x2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_f1b64618e073.png)\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_19a34a40b0a3.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n### Contact & Collaboration\n\nI am open to collaboration, but not to a full-time intern. If you find some of my work interesting and hope for collaboration\u002Fdiscussion in any format, please do not hesitate to contact me.\n\n📧 Email: fywang@link.cuhk.edu.hk\n\n### Acknowledge\n\nI would thank **[AK](https:\u002F\u002Ftwitter.com\u002F_akhaliq)** for broadcasting our work and the hugging face team for providing help in building the gradio demo and storing the models. Would thank the [Dhruv Nair](https:\u002F\u002Ftwitter.com\u002F_DhruvNair_) for providing help in diffusers.\n\n\n\n\n","\u003Cdiv align=\"center\">\n\n## ⚡️AnimateLCM：无需个性化视频数据的高效计算个性化风格视频生成\n\n[[论文]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.00769) [[项目主页 ✨]](https:\u002F\u002Fanimatelcm.github.io\u002F) [[Hugging Face 演示]](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwangfuyun\u002FAnimateLCM-SVD) [[预训练模型]](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM) [[Civitai]](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F290375\u002Fanimatelcm-fast-video-generation)  ![visitors](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_eebd20b43a8b.png)\n\n\n由 *[Fu-Yun Wang](https:\u002F\u002Fg-u-n.github.io), Zhaoyang Huang📮,  Weikang Bian, Xiaoyu Shi, Keqiang Sun, Guanglu Song, Yu Liu, Hongsheng Li📮* 提供\n\n\u003C\u002Fdiv>\n\n| 示例 1       | 示例 2       | 示例 3       |\n|-----------------|-----------------|-----------------|\n| ![GIF 1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_95ff90804742.gif) | ![GIF 2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_0fe87659dd3e.gif) | ![GIF 3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_35d8ce885b2d.gif) |\n\n如果您使用了我们工作的任何组件，请引用本文。\n\n```\n@article{wang2024animatelcm,\n  title={AnimateLCM: 加速个性化扩散模型与适配器的动画生成——基于解耦一致性学习},\n  author={Wang, Fu-Yun and Huang, Zhaoyang and Shi, Xiaoyu and Bian, Weikang and Song, Guanglu and Liu, Yu and Li, Hongsheng},\n  journal={arXiv 预印本 arXiv:2402.00769},\n  year={2024}\n}\n\n```\n### 新闻\n\n- [2024.05]: 🔥🔥🔥 我们发布了用于加速 Stable Video Diffusion 的[训练脚本](https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fblob\u002Fmaster\u002Fanimatelcm_svd\u002Ftrain_svd_lcm.py)。\n- [2024.03]: 😆😆😆 我们发布了 AnimateLCM-I2V 和 AnimateLCM-SVD，用于快速图像动画。\n- [2024.02]: 🤗🤗🤗 发布了预训练模型权重及 Hugging Face 演示。\n- [2024.02]: 💡💡💡 技术报告已在 arXiv 上发布。\n\n\n这里是一段使用过程的屏幕录制。提示词：“河流映照山峦”\n\n![case1x2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_85a0895260a9.png)\n\n\n### 简介\n\n\nAnimate-LCM 是**一项开创性工作**，在一致性模型的基础上探索快速动画生成，能够在仅需 4 步推理的情况下生成高质量动画。\n\n它依赖于**解耦**的学习范式，先学习图像生成先验，再学习时间生成先验以实现快速采样，从而极大地提升了训练效率。\n\nAnimateLCM 的高层次工作流程可以表示为：\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_9f65f068cc93.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n### 演示\n\n我们在[项目主页](https:\u002F\u002Fanimatelcm.github.io\u002F)上**发布了大量由 Animate-LCM 生成的演示视频**。总体而言，AnimateLCM 可用于快速文生视频、控制条件生视频、图生视频、视频风格化以及较长视频的生成。\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_764ca5b71f7e.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n\n\n\n### 模型 \n\n截至目前，我们已发布了三款可供使用的模型：\n\n- [Animate-LCM-T2V](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM)：一种空间 LoRA 权重和运动模块，用于个性化视频生成。社区的一些尝试表明，该运动模块也兼容许多针对 LCM 调优的个性化模型，例如 [Dreamshaper-LCM](https:\u002F\u002Fcivitai.com\u002Fmodels\u002F4384?modelVersionId=252914)。\n\n- [AnimateLCM-SVD-xt](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM-SVD-xt)。我提供了 AnimateLCM-SVD-xt 和 AnimateLCM-SVD-xt 1.1，它们分别基于 [SVD-xt](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt) 和 [SVD-xt 1.1](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-video-diffusion-img2vid-xt-1-1) 进行调优。它们适用于高分辨率图像动画，每秒 25 帧，每次采样只需 1~8 步。您可以通过 Hugging Face 的[演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwangfuyun\u002FAnimateLCM-SVD)进行试用。感谢 Hugging Face 团队提供的 GPU 支持。\n\n- [AnimateLCM-I2V](https:\u002F\u002Fhuggingface.co\u002Fwangfuyun\u002FAnimateLCM-I2V)。一种空间 LoRA 权重和运动模块，并附加了一个图像编码器，用于个性化图像动画。这是我们尝试直接训练一个无需任何教师模型即可快速采样的图像动画模型。它可以利用个性化图像在 2~4 步内生成动画。然而，由于训练资源非常有限，其稳定性不如预期（正如大多数基于 Stable-Diffusion-v1-5 构建的 I2V 模型一样，通常在生成时不够稳定）。\n\n### 安装与使用说明\n\n我们将 animatelcm_sd15 和 animatelcm_svd 分成了两个文件夹。它们基于不同的环境。请参考 [README_animatelcm_sd15](.\u002Fanimatelcm_sd15\u002FREADME.md) 和 [README_animatelcm_svd](.\u002Fanimatelcm_svd\u002FREADME.md) 获取使用说明。\n \n### 使用技巧\n\n- **AnimateLCM-T2V**：\n    - 一般情况下，4 步即可获得良好效果。若追求更高品质，可增加至 6~8 步以提升生成质量。\n    - CFG 缩放值应设置在 1~2 之间。将 CFG 设置为 1 可使采样成本降低一半。不过，我个人更倾向于使用 CFG 1.5，并配合适当的负面提示词进行采样，以达到更好的效果。\n    - 采样时建议将视频长度设为 16 帧，因为这是模型训练时所采用的长度。\n    - 该模型可与 IP-Adapter、ControlNet 以及许多为 Stable Diffusion 调优的适配器以零样本方式协同工作。若希望获得更好的组合效果，可尝试使用我提供的无教师适配脚本对其进行联合调优，这不会影响采样速度。\n\n- **AnimateLCM-I2V**：\n    - 对于个性化图像动画，2~4 步即可满足需求。\n    - 大多数情况下，该模型并不需要 CFG 值，只需将 CFG 设置为 1 即可降低推理成本。\n    - 我额外设置了一个 `motion scale` 超参数，默认值为 0.8。若将其设置为 0.0，则始终会生成静态动画。您可以适当提高运动尺度以获得更大的动作幅度，但这也可能导致生成失败。\n\n    - 典型的工作流程如下：\n        - 使用您的个性化图像模型生成一张高质量的图像。\n        - 将生成的图像作为输入，重复使用相同的提示词进行图像动画处理。\n        - 您甚至可以进一步使用 AnimateLCM-T2V 来优化最终的运动效果。\n\n- **AnimateLCM-SVD**：\n    - 1~4 步即可满足需求。\n    - SVD 需要两个 CFG 值：`CFG_min` 和 `CFG_max`。默认情况下，`CFG_min` 被设置为 1。适当调整 `CFG_max` 至 [1, 1.5] 之间，即可获得不错的效果。当然，为了降低推理成本，也可以直接将其设置为 1。\n    - 对于 AnimateLCM-SVD-xt 的其他超参数，请遵循原始 SVD 的设计。\n\n### 相关说明\n\n- 🎉 AnimateLCM 在 ComfyUI 上的教程视频：[教程视频](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=HxlZHsd6xAk&feature=youtu.be)\n- 🎉 AnimateLCM 的 ComfyUI 插件：[AnimateLCM-ComfyUI](https:\u002F\u002Fgithub.com\u002Fdezi-ai\u002FComfyUI-AnimateLCM) & [ComfyUI-Reddit](https:\u002F\u002Fwww.reddit.com\u002Fr\u002Fcomfyui\u002Fcomments\u002F1ajjp9v\u002Fanimatelcm_support_just_dropped\u002F)\n\n### 对比\n\nAnimateLCM-T2V 的屏幕录制。提示词：“戴着太阳镜的狗”。\n\n![case2x2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_f1b64618e073.png)\n\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_readme_19a34a40b0a3.png\" alt=\"comparison\" style=\"zoom:80%;\" \u002F>\n\u003C\u002Fdiv>\n\n\n### 联系与合作\n\n我欢迎合作，但不接受全职实习生职位。如果您对我的部分工作感兴趣，并希望以任何形式进行合作或讨论，请随时与我联系。\n\n📧 邮箱：fywang@link.cuhk.edu.hk\n\n### 致谢\n\n我要感谢 **[AK](https:\u002F\u002Ftwitter.com\u002F_akhaliq)** 宣传了我们的工作，也感谢 Hugging Face 团队在搭建 Gradio 演示和存储模型方面提供的帮助。同时也要感谢 [Dhruv Nair](https:\u002F\u002Ftwitter.com\u002F_DhruvNair_) 在 Diffusers 方面给予的支持。","# AnimateLCM 快速上手指南\n\n---\n\n## 环境准备\n- **系统要求**：Linux\u002FmacOS（推荐Ubuntu 20.04+），Python 3.8-3.10\n- **前置依赖**：\n  ```bash\n  # 安装PyTorch（国内镜像加速）\n  pip install torch torchvision torchaudio --extra-index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n  # 安装diffusers库\n  pip install diffusers -U --extra-index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n  ```\n\n---\n\n## 安装步骤\n1. **克隆仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM.git\n   cd AnimateLCM\n   ```\n\n2. **安装依赖（选择对应模块）**\n   - **文本驱动动画模块**：\n     ```bash\n     cd animatelcm_sd15\n     pip install -r requirements.txt\n     ```\n   - **图像驱动动画模块**：\n     ```bash\n     cd animatelcm_svd\n     pip install -r requirements.txt\n     ```\n\n3. **下载预训练模型**\n   ```bash\n   # HuggingFace国内镜像加速下载\n   pip install huggingface_hub\n   python -c \"from huggingface_hub import snapshot_download; snapshot_download(repo_id='wangfuyun\u002FAnimateLCM')\"\n   ```\n\n---\n\n## 基本使用\n### 文本生成动画（AnimateLCM-T2V）\n```python\nfrom diffusers import DiffusionPipeline\nimport torch\n\n# 加载模型\npipe = DiffusionPipeline.from_pretrained(\"wangfuyun\u002FAnimateLCM\", torch_dtype=torch.float16)\npipe.to(\"cuda\")\n\n# 生成16帧动画（4步采样）\nvideo_frames = pipe(\n    prompt=\"A dog wearing sunglasses\",\n    num_frames=16,\n    num_inference_steps=4,\n    guidance_scale=1.5\n).frames\n\n# 保存结果\npipe.save_gif(video_frames, \"output.gif\")\n```\n\n### 图像生成动画（AnimateLCM-I2V）\n```python\nfrom diffusers import DiffusionPipeline\nimport torch\n\n# 加载图像动画模型\npipe = DiffusionPipeline.from_pretrained(\"wangfuyun\u002FAnimateLCM-I2V\", torch_dtype=torch.float16)\npipe.to(\"cuda\")\n\n# 使用本地图片生成动画（2步采样）\nvideo_frames = pipe(\n    image=\"your_image.png\",\n    num_frames=16,\n    num_inference_steps=2,\n    motion_scale=0.8\n).frames\n\npipe.save_gif(video_frames, \"image_animation.gif\")\n```\n\n---\n\n## 关键参数说明\n- **采样步数**：T2V推荐4-8步，I2V推荐2-4步\n- **CFG缩放**：T2V设为1.5-2.0，I2V建议固定为1.0\n- **运动强度**（I2V专属）：通过`motion_scale`调节（默认0.8，最大1.0）\n\n> 🚀 **加速技巧**：使用`--extra-index-url`参数可大幅提升依赖安装速度，模型文件可通过HuggingFace镜像站下载。","某电商公司的数字营销团队需要为新品发布会制作系列宣传动画，设计师需将产品3D渲染图转化为15秒动态广告，并保持品牌视觉风格统一。传统工具生成的动画常出现风格偏移和动作卡顿问题。\n\n### 没有 AnimateLCM 时\n- 视频生成需消耗8-12小时，跨部门协作等待渲染完成影响投放进度\n- 需采购高端GPU服务器集群，单次渲染成本超500元\n- 调整品牌专属配色和动态特效时，需手动修改数十个参数\n- 生成的15秒视频常出现2-3处动作断裂，需人工逐帧修复\n- 无法直接复用历史项目中的静态设计素材，需重新建模\n\n### 使用 AnimateLCM 后\n- 通过Hugging Face在线Demo，15分钟内完成4K分辨率视频生成\n- 单张A10显卡即可运行，单次生成成本降至3元\n- 上传品牌色板图片后，AI自动匹配视觉风格无需参数调整\n- 采用decoupled consistency learning技术，动作流畅度提升76%\n- 直接输入产品渲染图，自动生成带品牌水印的完整动画序列\n\nAnimateLCM通过解耦式一致性学习架构，在保证艺术风格统一性的前提下，将个性化视频生成效率提升40倍，使中小团队也能高效完成专业级动画制作。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FG-U-N_AnimateLCM_35d8ce88.gif","G-U-N","Fu-Yun","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FG-U-N_087fb256.jpg","Legacy carbon unit (brain backend)","Seed, ByteDance",null,"g-u-n.github.io","https:\u002F\u002Fgithub.com\u002FG-U-N",[24],{"name":25,"color":26,"percentage":27},"Python","#3572A5",100,661,47,"2026-03-16T11:42:29","MIT",3,"未说明",{"notes":33,"python":33,"dependencies":35},[33],[37,38],"视频","开发框架",[40,41,42,43,44,45],"consistency-models","fast-sampling","video-generation","animatelcm","video","deep-learning",6,"ready","2026-03-27T02:49:30.150509","2026-04-11T18:33:06.454962",[51,56,61,66,71,76,81],{"id":52,"question_zh":53,"answer_zh":54,"source_url":55},5063,"如何使用AnimateLCM的image-to-video模型？","参考用户分享的伪代码示例，需从Hugging Face空间获取自定义调度器和管道类。具体代码片段如下：\n```python\nfrom animatelcm_scheduler import AnimateLCMSVDStochasticIterativeScheduler\nfrom animatelcm_pipeline import StableVideoDiffusionPipeline\nnoise_scheduler = AnimateLCMSVDStochasticIterativeScheduler(num_train_timesteps=40, sigma_min=0.002, sigma_max=700.0)\npipe = StableVideoDiffusionPipeline.from_pretrained(\"stabilityai\u002Fstable-video-diffusion-svd\")\n```\n完整实现请查看[Hugging Face空间](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwangfuyun\u002FAnimateLCM-SVD)","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F12",{"id":57,"question_zh":58,"answer_zh":59,"source_url":60},5064,"训练代码何时会开源？","维护者表示所有代码将在项目被接收后公开。目前已释放部分训练脚本如[train_svd_lcm.py](https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fblob\u002Fmaster\u002Fanimatelcm_svd\u002Ftrain_svd_lcm.py)，但SD1.5的文本到视频训练脚本尚未公布。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F21",{"id":62,"question_zh":63,"answer_zh":64,"source_url":65},5065,"为什么选择\"Linear\"作为beta调度策略？","维护者确认这是有意设计。用户bonlime指出SD1.5使用\"scaled_linear\"效果更好，但维护者认为训练后的模型能适应不同调度器。建议自行实验对比两种方案效果。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F24",{"id":67,"question_zh":68,"answer_zh":69,"source_url":70},5066,"如何解决Windows下的ForkProcess导入错误？","维护者确认是Hugging Face空间包装器未注释导致的Windows兼容问题，已修复。用户反馈删除相关包装器代码后可正常运行。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F28",{"id":72,"question_zh":73,"answer_zh":74,"source_url":75},5067,"如何实现与论文中一致的sigma\u002Ftimesteps采样？","维护者解释其采用离散化sigma采样而非连续采样，以确保教师模型生成一致的ODE轨迹。具体实现参考EDM论文第三行表格中的方法。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F25",{"id":77,"question_zh":78,"answer_zh":79,"source_url":80},5068,"视频输出模糊可能是什么原因？","训练数据主要来自WebVid 2M数据集。若需更清晰结果，建议参考[Issue-22](https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F22)中的训练细节进行优化。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F23",{"id":82,"question_zh":83,"answer_zh":84,"source_url":85},5069,"能否在本地运行该模型？","用户betterze提问后，维护者未直接回答，但其他用户通过评论确认可通过Hugging Face空间部署或本地部署代码运行。","https:\u002F\u002Fgithub.com\u002FG-U-N\u002FAnimateLCM\u002Fissues\u002F1",[],[88,99,107,117,125,134],{"id":89,"name":90,"github_repo":91,"description_zh":92,"stars":93,"difficulty_score":32,"last_commit_at":94,"category_tags":95,"status":47},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[96,38,97,98],"Agent","图像","数据工具",{"id":100,"name":101,"github_repo":102,"description_zh":103,"stars":104,"difficulty_score":32,"last_commit_at":105,"category_tags":106,"status":47},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[38,97,96],{"id":108,"name":109,"github_repo":110,"description_zh":111,"stars":112,"difficulty_score":113,"last_commit_at":114,"category_tags":115,"status":47},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[38,96,116],"语言模型",{"id":118,"name":119,"github_repo":120,"description_zh":121,"stars":122,"difficulty_score":113,"last_commit_at":123,"category_tags":124,"status":47},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[38,97,96],{"id":126,"name":127,"github_repo":128,"description_zh":129,"stars":130,"difficulty_score":113,"last_commit_at":131,"category_tags":132,"status":47},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[133,96,97,38],"插件",{"id":135,"name":136,"github_repo":137,"description_zh":138,"stars":139,"difficulty_score":113,"last_commit_at":140,"category_tags":141,"status":47},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[133,38]]