[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-menyifang--MIMO":3,"tool-menyifang--MIMO":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":121,"forks":122,"last_commit_at":123,"license":124,"difficulty_score":125,"env_os":126,"env_gpu":127,"env_ram":128,"env_deps":129,"category_tags":136,"github_topics":137,"view_count":23,"oss_zip_url":82,"oss_zip_packed_at":82,"status":16,"created_at":144,"updated_at":145,"faqs":146,"releases":147},3314,"menyifang\u002FMIMO","MIMO","Official implementation of \"MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling\"","MIMO 是一款由阿里巴巴通义实验室研发的可控角色视频生成模型，旨在通过简单的用户输入，合成具有高度真实感的角色动画。它主要解决了传统方法在角色多样性、动作泛化性及场景交互性上的局限，让用户能够在一个统一框架下，自由控制视频中的人物形象、动作姿态以及背景环境。无论是让静态图片“动起来”，还是利用现实视频中的复杂 3D 动作驱动新角色，MIMO 都能出色完成。\n\n该工具特别适合 AI 研究人员、开发者以及数字内容创作者使用。研究人员可基于其开源代码探索空间分解建模的前沿技术；开发者能将其集成到互动应用或游戏开发中；设计师则能快速制作高质量的角色动画素材。普通用户也可通过在线演示体验自定义视频驱动的乐趣。\n\nMIMO 的核心技术亮点在于其“空间分解建模”机制，这一创新使其具备卓越的泛化能力：不仅能适配任意未知角色，还能理解并迁移新颖的 3D 运动数据，甚至处理包含复杂交互的真实世界场景。作为 CVPR 2025 的接收论文成果，MIMO 已开放简化版代码与预训练模型，支持在主流 GPU 环境下快速部署，为可控视频合成领域提供了强大且易用的新选择。","# MIMO - Official PyTorch Implementation\n\n### [Project page](https:\u002F\u002Fmenyifang.github.io\u002Fprojects\u002FMIMO\u002Findex.html) | [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.16160) | [Video](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=skw9lPKFfcE) | [Online Demo](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO)\n\n> **MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling**\u003Cbr>\n> [Yifang Men](https:\u002F\u002Fmenyifang.github.io\u002F), [Yuan Yao](mailto:yaoy92@gmail.com), [Miaomiao Cui](mailto:miaomiao.cmm@alibaba-inc.com), [Liefeng Bo](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FJwtMf0AAAAJ&hl=en)\u003Cbr>\n> Institute for Intelligent Computing (Tongyi Lab), Alibaba Group\n> In: CVPR 2025 \n\nMIMO is a generalizable model for controllable video synthesis, which can not only synthesize realistic character videos with controllable attributes (i.e., character, motion and scene) provided by very simple user inputs, but also simultaneously achieve advanced scalability to arbitrary characters, generality to novel 3D motions, and applicability to interactive real-world scenes in a unified framework. \n\n## Demo\n\nAnimating character image with driving 3D pose from motion dataset\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F3a13456f-9ee5-437c-aba4-30d8c3b6e251\n\nDriven by in-the-wild video with spatial 3D motion and interactive scene\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F4d989e7f-a623-4339-b3d1-1d1a33ad25f2\n\n\nMore results can be found in [project page](https:\u002F\u002Fmenyifang.github.io\u002Fprojects\u002FMIMO\u002Findex.html).\n\n\n## 📢 News\n(2025-06-11) The code is released! We released a simplified version of full implementation, but it could achieve comparable performance.\n\n(2025-02-27) The paper is accepted by CVPR 2025! The full version of the paper is available on [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.16160).\n\n(2024-01-07) The online demo (v1.5) supporting custom driving videos is available now! Try out [![ModelScope Spaces](\nhttps:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Spaces-blue)](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO).\n\n(2024-11-26) The online demo (v1.0) is available on ModelScope now! Try out [![ModelScope Spaces](\nhttps:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Spaces-blue)](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO). The 1.5 version to support custom driving videos will be coming soon.\n\n(2024-09-25) The project page, demo video and technical report are released. The full paper version with more details is in process.\n\n\n\n## Requirements\n* python (>=3.10)\n* pyTorch\n* tensorflow\n* cuda 12.1\n* GPU (tested on A100, L20)\n\n\n## 🚀 Getting Started\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmenyifang\u002FMIMO.git\ncd MIMO\n```\n\n### Installation\n```bash\nconda create -n mimo python=3.10\nconda activate mimo\nbash install.sh\n```\n\n### Downloads\n\n#### Model Weights \n\nYou can manually download model weights from [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FMIMO\u002Ffiles) or [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fmenyifang\u002FMIMO\u002Ftree\u002Fmain), or automatically using follow commands.\n\nDownload from HuggingFace\n```python\nfrom huggingface_hub import snapshot_download \nmodel_dir = snapshot_download(repo_id='menyifang\u002FMIMO', cache_dir='.\u002Fpretrained_weights')\n```\n\nDownload from ModelScope \n```python\nfrom modelscope import snapshot_download\nmodel_dir = snapshot_download(model_id='iic\u002FMIMO', cache_dir='.\u002Fpretrained_weights')\n```\n\n\n#### Prior Model Weights \n\nDownload pretrained weights of based model and other components: \n- [StableDiffusion V1.5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5)\n- [sd-vae-ft-mse](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fsd-vae-ft-mse)\n- [image_encoder](https:\u002F\u002Fhuggingface.co\u002Flambdalabs\u002Fsd-image-variations-diffusers\u002Ftree\u002Fmain\u002Fimage_encoder)\n\n\n#### Data Preparation\n\nDownload examples and resources (`assets.zip`) from [google drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1dg0SDAxEARClYq_6L1T1XIfWvC5iA8WD\u002Fview?usp=drive_link) and unzip it under `${PROJECT_ROOT}\u002F`.\nYou can also process custom videos following [Process driving templates](#process-driving-templates).\n\nAfter downloading weights and data, the folder of the project structure seems like:\n\n```text\n.\u002Fpretrained_weights\u002F\n|-- image_encoder\n|   |-- config.json\n|   `-- pytorch_model.bin\n|-- denoising_unet.pth\n|-- motion_module.pth\n|-- pose_guider.pth\n|-- reference_unet.pth\n|-- sd-vae-ft-mse\n|   |-- config.json\n|   |-- diffusion_pytorch_model.bin\n|   `-- diffusion_pytorch_model.safetensors\n`-- stable-diffusion-v1-5\n    |-- feature_extractor\n    |   `-- preprocessor_config.json\n    |-- model_index.json\n    |-- unet\n    |   |-- config.json\n    |   `-- diffusion_pytorch_model.bin\n    `-- v1-inference.yaml\n.\u002Fassets\u002F\n|-- video_template\n|   |-- template1\n\n```\n\nNote: If you have installed some of the pretrained models, such as `StableDiffusion V1.5`, you can specify their paths in the config file (e.g. `.\u002Fconfig\u002Fprompts\u002Fanimation_edit.yaml`).\n\n\n### Inference\n\n- video character editing\n```bash\npython run_edit.py\n```\n\n- character image animation\n```bash\npython run_animate.py\n```\n\n\n### Process driving templates\n\n- install external dependencies by\n```bash\nbash setup.sh\n```\nyou can also use dockerfile(`video_decomp\u002Fdocker\u002Fdecomp.dockerfile`) to build a docker image with all dependencies installed.\n\n\n- download model weights and data from [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fmenyifang\u002FMIMO_VidDecomp\u002Ftree\u002Fmain) and put them under `${PROJECT_ROOT}\u002Fvideo_decomp\u002F`.\n\n```python\nfrom huggingface_hub import snapshot_download \nmodel_dir = snapshot_download(repo_id='menyifang\u002FMIMO_VidDecomp', cache_dir='.\u002Fvideo_decomp\u002F')\n```\n\n\n- process the driving video by\n```bash\ncd video_decomp\npython run.py\n```\n\nThe processed template can be putted under `${PROJECT_ROOT}\u002Fassets\u002Fvideo_template` for editing and animation tasks as follows:\n```\n.\u002Fassets\u002Fvideo_template\u002F\n|-- template1\u002F\n|   |-- vid.mp4\n|   |-- mask.mp4\n|   |-- sdc.mp4\n|   |-- bk.mp4\n|   |-- occ.mp4 (if existing)\n|-- template2\u002F\n|-- ...\n|-- templateN\u002F\n```\n\n### Training\n\n\n\n## 🎨 Gradio Demo\n\n**Online Demo**: We launch an online demo of MIMO at [ModelScope Studio](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO).\n\nIf you have your own GPU resource (>= 40GB vram), you can run a local gradio app via following commands:\n\n`python app.py`\n\n\n\n## Acknowledgments\n\nThanks for great work from [Moore-AnimateAnyone](https:\u002F\u002Fgithub.com\u002FMooreThreads\u002FMoore-AnimateAnyone), [SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything), [4D-Humans](https:\u002F\u002Fgithub.com\u002Fshubham-goel\u002F4D-Humans), [ProPainter](https:\u002F\u002Fgithub.com\u002Fsczhou\u002FProPainter)\n\n\n## Citation\n\nIf you find this code useful for your research, please use the following BibTeX entry.\n\n```bibtex\n@inproceedings{men2025mimo,\n  title={MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling},\n  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Liefeng Bo},\n  booktitle={Computer Vision and Pattern Recognition (CVPR), 2025 IEEE Conference on},\n  year={2025}}\n}\n```\n\n\n\n","# MIMO - 官方 PyTorch 实现\n\n### [项目页面](https:\u002F\u002Fmenyifang.github.io\u002Fprojects\u002FMIMO\u002Findex.html) | [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.16160) | [视频](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=skw9lPKFfcE) | [在线演示](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO)\n\n> **MIMO：基于空间分解建模的可控角色视频合成**\u003Cbr>\n> [Yifang Men](https:\u002F\u002Fmenyifang.github.io\u002F)、[Yuan Yao](mailto:yaoy92@gmail.com)、[Miaomiao Cui](mailto:miaomiao.cmm@alibaba-inc.com)、[Liefeng Bo](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=FJwtMf0AAAAJ&hl=en)\u003Cbr>\n> 阿里巴巴集团智能计算实验室（通义实验室）\n> 收录于：CVPR 2025\n\nMIMO 是一种可推广的可控视频合成模型，它不仅能够根据用户提供的简单输入，生成具有可控属性（如角色、动作和场景）的真实感角色视频，还能在统一框架下同时实现对任意角色的高级扩展性、对新型3D动作的通用性以及对交互式真实场景的应用能力。\n\n## 演示\n\n使用运动数据集中的3D姿态驱动角色图像进行动画制作\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F3a13456f-9ee5-437c-aba4-30d8c3b6e251\n\n由包含空间3D动作和交互场景的野外视频驱动\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F4d989e7f-a623-4339-b3d1-1d1a33ad25f2\n\n\n更多结果请参见 [项目页面](https:\u002F\u002Fmenyifang.github.io\u002Fprojects\u002FMIMO\u002Findex.html)。\n\n\n## 📢 最新消息\n(2025-06-11) 代码已发布！我们发布了完整实现的简化版本，但其性能与完整版相当。\n\n(2025-02-27) 论文已被 CVPR 2025 接收！完整版论文已在 [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.16160) 上公开。\n\n(2024-01-07) 支持自定义驱动视频的在线演示（v1.5）现已上线！快来体验 [![ModelScope Spaces](\nhttps:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Spaces-blue)](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO)。\n\n(2024-11-26) ModelScope 上的在线演示（v1.0）现已上线！快来体验 [![ModelScope Spaces](\nhttps:\u002F\u002Fimg.shields.io\u002Fbadge\u002FModelScope-Spaces-blue)](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO)。支持自定义驱动视频的 1.5 版本也将很快推出。\n\n(2024-09-25) 项目页面、演示视频和技术报告已发布。包含更多细节的完整论文版本正在准备中。\n\n\n\n## 系统要求\n* Python (>=3.10)\n* PyTorch\n* TensorFlow\n* CUDA 12.1\n* GPU（已在 A100、L20 上测试）\n\n\n## 🚀 快速入门\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmenyifang\u002FMIMO.git\ncd MIMO\n```\n\n### 安装\n```bash\nconda create -n mimo python=3.10\nconda activate mimo\nbash install.sh\n```\n\n### 下载\n\n#### 模型权重 \n\n您可以从 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FMIMO\u002Ffiles) 或 [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fmenyifang\u002FMIMO\u002Ftree\u002Fmain) 手动下载模型权重，也可以使用以下命令自动下载。\n\n从 HuggingFace 下载\n```python\nfrom huggingface_hub import snapshot_download \nmodel_dir = snapshot_download(repo_id='menyifang\u002FMIMO', cache_dir='.\u002Fpretrained_weights')\n```\n\n从 ModelScope 下载\n```python\nfrom modelscope import snapshot_download\nmodel_dir = snapshot_download(model_id='iic\u002FMIMO', cache_dir='.\u002Fpretrained_weights')\n```\n\n\n#### 先验模型权重 \n\n下载基础模型及其他组件的预训练权重：\n- [StableDiffusion V1.5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5)\n- [sd-vae-ft-mse](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fsd-vae-ft-mse)\n- [image_encoder](https:\u002F\u002Fhuggingface.co\u002Flambdalabs\u002Fsd-image-variations-diffusers\u002Ftree\u002Fmain\u002Fimage_encoder)\n\n\n#### 数据准备\n\n从 [google drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1dg0SDAxEARClYq_6L1T1XIfWvC5iA8WD\u002Fview?usp=drive_link) 下载示例和资源（`assets.zip`），并将其解压到 `${PROJECT_ROOT}\u002F` 目录下。您也可以按照 [处理驱动模板](#process-driving-templates) 的说明处理自定义视频。\n\n下载完权重和数据后，项目目录结构大致如下：\n\n```text\n.\u002Fpretrained_weights\u002F\n|-- image_encoder\n|   |-- config.json\n|   `-- pytorch_model.bin\n|-- denoising_unet.pth\n|-- motion_module.pth\n|-- pose_guider.pth\n|-- reference_unet.pth\n|-- sd-vae-ft-mse\n|   |-- config.json\n|   |-- diffusion_pytorch_model.bin\n|   `-- diffusion_pytorch_model.safetensors\n`-- stable-diffusion-v1-5\n    |-- feature_extractor\n    |   `-- preprocessor_config.json\n    |-- model_index.json\n    |-- unet\n    |   |-- config.json\n    |   `-- diffusion_pytorch_model.bin\n    `-- v1-inference.yaml\n.\u002Fassets\u002F\n|-- video_template\n|   |-- template1\n\n```\n\n注意：如果您已经安装了一些预训练模型，例如 `StableDiffusion V1.5`，可以在配置文件中指定它们的路径（例如 `.\u002Fconfig\u002Fprompts\u002Fanimation_edit.yaml`）。\n\n\n### 推理\n\n- 视频角色编辑\n```bash\npython run_edit.py\n```\n\n- 角色图像动画\n```bash\npython run_animate.py\n```\n\n\n### 处理驱动模板\n\n- 安装外部依赖\n```bash\nbash setup.sh\n```\n您也可以使用 Dockerfile (`video_decomp\u002Fdocker\u002Fdecomp.dockerfile`) 构建一个包含所有依赖的 Docker 镜像。\n\n\n- 从 [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fmenyifang\u002FMIMO_VidDecomp\u002Ftree\u002Fmain) 下载模型权重和数据，并将其放置在 `${PROJECT_ROOT}\u002Fvideo_decomp\u002F` 目录下。\n\n```python\nfrom huggingface_hub import snapshot_download \nmodel_dir = snapshot_download(repo_id='menyifang\u002FMIMO_VidDecomp', cache_dir='.\u002Fvideo_decomp\u002F')\n```\n\n\n- 处理驱动视频\n```bash\ncd video_decomp\npython run.py\n```\n\n处理后的模板可以放置在 `${PROJECT_ROOT}\u002Fassets\u002Fvideo_template` 中，用于后续的编辑和动画任务，如下所示：\n```\n.\u002Fassets\u002Fvideo_template\u002F\n|-- template1\u002F\n|   |-- vid.mp4\n|   |-- mask.mp4\n|   |-- sdc.mp4\n|   |-- bk.mp4\n|   |-- occ.mp4（如果存在）\n|-- template2\u002F\n|-- ...\n|-- templateN\u002F\n```\n\n### 训练\n\n\n\n## 🎨 Gradio 演示\n\n**在线演示**：我们在 [ModelScope Studio](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FMIMO) 上推出了 MIMO 的在线演示。\n\n如果您有自己的 GPU 资源（≥ 40GB 显存），可以通过以下命令运行本地 Gradio 应用程序：\n\n`python app.py`\n\n\n\n## 致谢\n\n感谢 [Moore-AnimateAnyone](https:\u002F\u002Fgithub.com\u002FMooreThreads\u002FMoore-AnimateAnyone)、[SAM](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fsegment-anything)、[4D-Humans](https:\u002F\u002Fgithub.com\u002Fshubham-goel\u002F4D-Humans) 和 [ProPainter](https:\u002F\u002Fgithub.com\u002Fsczhou\u002FProPainter) 的出色工作。\n\n\n## 引用\n\n如果您认为此代码对您的研究有所帮助，请使用以下 BibTeX 条目。\n\n```bibtex\n@inproceedings{men2025mimo,\n  title={MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling},\n  author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Liefeng Bo},\n  booktitle={Computer Vision and Pattern Recognition (CVPR), 2025 IEEE Conference on},\n  year={2025}}\n}\n```","# MIMO 快速上手指南\n\nMIMO 是一个通用的可控角色视频合成模型，支持通过简单的用户输入（角色、动作、场景）生成逼真的角色视频。该模型在统一框架下实现了对任意角色的扩展性、对新 3D 动作的通用性以及对交互式真实场景的适用性。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐)\n*   **Python**: >= 3.10\n*   **GPU**: 显存建议 >= 40GB (已在 A100, L20 上测试)\n*   **CUDA**: 12.1\n*   **核心依赖**: PyTorch, TensorFlow\n\n## 安装步骤\n\n### 1. 克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmenyifang\u002FMIMO.git\ncd MIMO\n```\n\n### 2. 创建虚拟环境并安装依赖\n推荐使用 Conda 进行环境管理。国内用户若遇到网络问题，可配置清华或阿里镜像源加速。\n\n```bash\nconda create -n mimo python=3.10\nconda activate mimo\nbash install.sh\n```\n\n### 3. 下载模型权重\n\n您可以选择从 **ModelScope (魔搭)** 或 **HuggingFace** 下载权重。国内开发者强烈推荐优先使用 ModelScope 以获得更快的下载速度。\n\n**方式一：使用 Python 脚本自动下载 (推荐 ModelScope)**\n\n```python\nfrom modelscope import snapshot_download\n# 将权重下载到 .\u002Fpretrained_weights 目录\nmodel_dir = snapshot_download(model_id='iic\u002FMIMO', cache_dir='.\u002Fpretrained_weights')\n```\n\n**方式二：手动下载**\n访问 [ModelScope MIMO 模型页](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fiic\u002FMIMO\u002Ffiles) 下载文件并放置于 `.\u002Fpretrained_weights\u002F` 目录下。\n\n**补充依赖模型下载**\n本项目还依赖以下基础模型，请确保它们已存在于本地或指定路径：\n*   [StableDiffusion V1.5](https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5)\n*   [sd-vae-ft-mse](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fsd-vae-ft-mse)\n*   [image_encoder](https:\u002F\u002Fhuggingface.co\u002Flambdalabs\u002Fsd-image-variations-diffusers\u002Ftree\u002Fmain\u002Fimage_encoder)\n\n> **注意**：如果您已安装上述预训练模型，可在配置文件（如 `.\u002Fconfig\u002Fprompts\u002Fanimation_edit.yaml`）中指定其本地路径。\n\n### 4. 准备示例数据\n\n下载示例资源 `assets.zip` 并解压至项目根目录。\n\n*   **下载地址**: [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1dg0SDAxEARClYq_6L1T1XIfWvC5iA8WD\u002Fview?usp=drive_link) (若无法访问，可参考项目 Issue 或自行准备符合格式的视频模板)\n*   **解压后结构**:\n    ```text\n    .\u002Fassets\u002F\n    |-- video_template\n        |-- template1\n            |-- vid.mp4\n            |-- mask.mp4\n            |-- sdc.mp4\n            |-- bk.mp4\n            |-- occ.mp4 (可选)\n    ```\n\n## 基本使用\n\n确保当前处于 `mimo` 虚拟环境中，且位于项目根目录。\n\n### 1. 角色图像动画化 (Image Animation)\n使用驱动视频让静态角色图片动起来。\n\n```bash\npython run_animate.py\n```\n\n### 2. 视频角色编辑 (Video Editing)\n对现有视频中的角色进行编辑或替换。\n\n```bash\npython run_edit.py\n```\n\n### 3. (可选) 处理自定义驱动视频模板\n如果您想使用自己的视频作为驱动源，需要先进行空间分解处理。\n\n**安装处理工具依赖：**\n```bash\nbash setup.sh\n# 或者使用 Docker (见 video_decomp\u002Fdocker\u002Fdecomp.dockerfile)\n```\n\n**下载视频分解模型权重：**\n```python\nfrom huggingface_hub import snapshot_download \n# 国内用户若 HuggingFace 连接困难，请尝试配置代理或使用镜像\nmodel_dir = snapshot_download(repo_id='menyifang\u002FMIMO_VidDecomp', cache_dir='.\u002Fvideo_decomp\u002F')\n```\n\n**运行处理脚本：**\n```bash\ncd video_decomp\npython run.py\n```\n处理完成后，将生成的模板文件夹移至 `.\u002Fassets\u002Fvideo_template\u002F` 即可用于上述动画或编辑任务。\n\n### 4. 启动本地 Gradio 演示界面\n如果您拥有足够显存 (>= 40GB) 的 GPU，可以启动本地 Web UI 进行交互式体验：\n\n```bash\npython app.py\n```","某独立游戏开发团队需要为一款复古风格的动作游戏快速生成大量不同角色执行相同连招动作的宣传视频，以测试市场反应。\n\n### 没有 MIMO 时\n- **制作成本高昂**：每更换一个主角形象，都需要重新进行昂贵的 3D 建模、绑定骨骼并手动 K 帧动画，耗时数天才能产出一条几秒的视频。\n- **动作迁移困难**：难以将专业动捕数据或参考视频中的复杂 3D 动作（如空中翻转）完美迁移到新的 2D 角色上，经常出现肢体扭曲或滑步。\n- **场景互动缺失**：生成的角色往往像“纸片人”悬浮在背景上，无法根据地面起伏或遮挡物产生自然的透视变化和空间交互感。\n- **迭代周期漫长**：策划想要尝试“同一套动作由不同体型角色演绎”的效果时，技术美术需反复调整参数，严重拖慢原型验证速度。\n\n### 使用 MIMO 后\n- **一键角色替换**：只需提供一张静态角色图和一段驱动视频，MIMO 即可利用空间分解建模技术，瞬间合成该角色执行复杂动作的高保真视频。\n- **精准 3D 动作复现**：模型能泛化至任意新颖的 3D 姿态，完美还原驱动源中的高难度动作，保持角色结构稳定，无伪影或变形。\n- **真实空间交互**：生成的视频自动处理角色与背景的遮挡关系及透视变化，使角色仿佛真正置身于交互式现实场景中。\n- **高效批量生产**：团队可在几分钟内批量生成数十个不同角色演示同一招式的效果，极大加速了美术风格定案和营销素材制作。\n\nMIMO 通过统一框架实现了角色、动作与场景的解耦控制，将传统需数天的视频合成工作压缩至分钟级，彻底改变了动态内容生产的效率瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmenyifang_MIMO_c7f063fc.png","menyifang","Men Yifang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmenyifang_47836576.jpg","Research @ Alibaba TongYi Lab","Alibaba Group","Beijing","yifangmen@pku.edu.cn",null,"https:\u002F\u002Fmenyifang.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fmenyifang",[86,90,94,98,102,105,109,112,115,118],{"name":87,"color":88,"percentage":89},"Python","#3572A5",68.4,{"name":91,"color":92,"percentage":93},"C++","#f34b7d",21.2,{"name":95,"color":96,"percentage":97},"Cuda","#3A4E3A",10.1,{"name":99,"color":100,"percentage":101},"Objective-C++","#6866fb",0.1,{"name":103,"color":104,"percentage":101},"Dockerfile","#384d54",{"name":106,"color":107,"percentage":108},"C","#555555",0,{"name":110,"color":111,"percentage":108},"Makefile","#427819",{"name":113,"color":114,"percentage":108},"Batchfile","#C1F12E",{"name":116,"color":117,"percentage":108},"Shell","#89e051",{"name":119,"color":120,"percentage":108},"CSS","#663399",1576,71,"2026-03-31T23:38:32","Apache-2.0",4,"Linux","必需，NVIDIA GPU (测试于 A100, L20)，显存 >= 40GB (本地 Gradio 演示要求)","未说明",{"notes":130,"python":131,"dependencies":132},"代码发布为简化版但性能相当。运行本地 Gradio 演示需至少 40GB 显存。处理驱动视频模板时需安装额外依赖或使用提供的 Docker 镜像。需手动或通过脚本下载 Stable Diffusion V1.5 等预训练权重及示例数据。",">=3.10",[133,134,135],"pytorch","tensorflow","cuda 12.1",[14,35],[138,139,140,141,142,143],"character-animation","diffusion-models","human-animation","image-animation","video-editing","video-generation","2026-03-27T02:49:30.150509","2026-04-06T08:41:36.663883",[],[]]