[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Kevin-thu--DiffMorpher":3,"tool-Kevin-thu--DiffMorpher":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":80,"owner_twitter":80,"owner_website":82,"owner_url":83,"languages":84,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":102,"github_topics":103,"view_count":23,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":108,"updated_at":109,"faqs":110,"releases":141},2453,"Kevin-thu\u002FDiffMorpher","DiffMorpher","Official Code for DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing (CVPR 2024)","DiffMorpher 是一款基于扩散模型（Diffusion Models）的先进图像变形工具，由清华大学等机构的研究团队开发，并入选 CVPR 2024。它的核心功能是将两张不同的图片平滑、自然地过渡融合，生成高质量的中间动画序列。\n\n传统图像变形技术往往难以处理结构差异巨大的对象，或者在过渡过程中产生模糊、伪影等问题。DiffMorpher 通过释放扩散模型的强大生成能力，有效解决了这一痛点。它不仅能保持源图像和目标图像的语义一致性，还能在形态变化中保留丰富的细节纹理，实现从“猫”到“狗”或不同人物面部之间极具真实感的流畅变换。\n\n在技术层面，DiffMorpher 引入了自适应实例归一化（AdaIN）和重调度采样（reschedule sampling）等创新机制，并支持 LoRA 微调与自注意力替换策略。这些技术亮点确保了变形过程既符合逻辑又具备高度的视觉保真度，避免了常见的时间不一致性问题。\n\n这款工具非常适合多类用户群体：AI 研究人员可以借此探索扩散模型在视频生成和图像编辑领域的潜力；开发者可以利用其开源代码进行二次开发或集成到自己的应用中；设计师和创意工作者则能将其作","DiffMorpher 是一款基于扩散模型（Diffusion Models）的先进图像变形工具，由清华大学等机构的研究团队开发，并入选 CVPR 2024。它的核心功能是将两张不同的图片平滑、自然地过渡融合，生成高质量的中间动画序列。\n\n传统图像变形技术往往难以处理结构差异巨大的对象，或者在过渡过程中产生模糊、伪影等问题。DiffMorpher 通过释放扩散模型的强大生成能力，有效解决了这一痛点。它不仅能保持源图像和目标图像的语义一致性，还能在形态变化中保留丰富的细节纹理，实现从“猫”到“狗”或不同人物面部之间极具真实感的流畅变换。\n\n在技术层面，DiffMorpher 引入了自适应实例归一化（AdaIN）和重调度采样（reschedule sampling）等创新机制，并支持 LoRA 微调与自注意力替换策略。这些技术亮点确保了变形过程既符合逻辑又具备高度的视觉保真度，避免了常见的时间不一致性问题。\n\n这款工具非常适合多类用户群体：AI 研究人员可以借此探索扩散模型在视频生成和图像编辑领域的潜力；开发者可以利用其开源代码进行二次开发或集成到自己的应用中；设计师和创意工作者则能将其作为强大的辅助工具，快速制作出引人注目的视觉特效和动态内容。此外，项目提供了便捷的 Gradio 网页界面和在线演示，即使是不熟悉编程的普通用户，也能轻松上传图片和提示词，体验前沿 AI 带来的创作乐趣。","\u003Cp align=\"center\">\n  \u003Ch1 align=\"center\">DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing\u003C\u002Fh1>\n  \u003Ch3 align=\"center\">CVPR 2024\u003C\u002Fh3>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fkevin-thu.github.io\u002Fhomepage\u002F\">\u003Cstrong>Kaiwen Zhang\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fzhouyifan.net\u002Fabout\u002F\">\u003Cstrong>Yifan Zhou\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fsheldontsui.github.io\u002F\">\u003Cstrong>Xudong Xu\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fxingangpan.github.io\u002F\">\u003Cstrong>Xingang Pan\u003Csep>✉\u003C\u002Fsep>\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"http:\u002F\u002Fdaibo.info\u002F\">\u003Cstrong>Bo Dai\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\n  \u003Cp align=\"center\">\n    \u003Csep>✉\u003C\u002Fsep>Corresponding Author\n  \u003C\u002Fp>\n\n  \u003Cdiv align=\"center\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKevin-thu_DiffMorpher_readme_80ed4b72b989.gif\", width=\"500\">\n  \u003C\u002Fdiv>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.07409\">\u003Cimg alt='arXiv' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2312.07409-b31b1b.svg\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fkevin-thu.github.io\u002FDiffMorpher_page\u002F\">\u003Cimg alt='page' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-orange\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fsze68zkw\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fsze68zkw?label=%40KaiwenZhang\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002FXingangP\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FXingangP?label=%40XingangPan\">\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\u003C\u002Fp>\n\n## Web Demos\n\n[![Open in OpenXLab](https:\u002F\u002Fcdn-static.openxlab.org.cn\u002Fapp-center\u002Fopenxlab_app.svg)](https:\u002F\u002Fopenxlab.org.cn\u002Fapps\u002Fdetail\u002FKaiwenZhang\u002FDiffMorpher)\n\n\u003Cp align=\"left\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FKevin-thu\u002FDiffMorpher\">\u003Cimg alt=\"Huggingface\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-DiffMorpher-orange\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C!-- Great thanks to [OpenXLab](https:\u002F\u002Fopenxlab.org.cn\u002Fhome) for the NVIDIA A100 GPU support! -->\n\n## Requirements\nTo install the requirements, run the following in your environment first:\n```bash\npip install -r requirements.txt\n```\nTo run the code with CUDA properly, you can comment out `torch` and `torchvision` in `requirement.txt`, and install the appropriate version of `torch` and `torchvision` according to the instructions on [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F).\n\nYou can also download the pretrained model *Stable Diffusion v2.1-base* from [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-diffusion-2-1-base), and specify the `model_path` to your local directory.\n\n## Run Gradio UI\nTo start the Gradio UI of DiffMorpher, run the following in your environment:\n```bash\npython app.py\n```\nThen, by default, you can access the UI at [http:\u002F\u002F127.0.0.1:7860](http:\u002F\u002F127.0.0.1:7860).\n\n## Run the code\nYou can also run the code with the following command:\n```bash\npython main.py \\\n  --image_path_0 [image_path_0] --image_path_1 [image_path_1] \\ \n  --prompt_0 [prompt_0] --prompt_1 [prompt_1] \\\n  --output_path [output_path] \\\n  --use_adain --use_reschedule --save_inter\n```\nThe script also supports the following options:\n\n- `--image_path_0`: Path of the first image (default: \"\")\n- `--prompt_0`: Prompt of the first image (default: \"\")\n- `--image_path_1`: Path of the second image (default: \"\")\n- `--prompt_1`: Prompt of the second image (default: \"\")\n- `--model_path`: Pretrained model path (default: \"stabilityai\u002Fstable-diffusion-2-1-base\")\n- `--output_path`: Path of the output image (default: \"\")\n- `--save_lora_dir`: Path of the output lora directory (default: \".\u002Flora\")\n- `--load_lora_path_0`: Path of the lora directory of the first image (default: \"\")\n- `--load_lora_path_1`: Path of the lora directory of the second image (default: \"\")\n- `--use_adain`: Use AdaIN (default: False)\n- `--use_reschedule`: Use reschedule sampling (default: False)\n- `--lamb`: Hyperparameter $\\lambda \\in [0,1]$ for self-attention replacement, where a larger $\\lambda$ indicates more replacements (default: 0.6)\n- `--fix_lora_value`: Fix lora value (default: LoRA Interpolation, not fixed)\n- `--save_inter`: Save intermediate results (default: False)\n- `--num_frames`: Number of frames to generate (default: 50)\n- `--duration`: Duration of each frame (default: 50)\n\nExamples:\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002FTrump.jpg --image_path_1 .\u002Fassets\u002FBiden.jpg \\ \n  --prompt_0 \"A photo of an American man\" --prompt_1 \"A photo of an American man\" \\\n  --output_path \".\u002Fresults\u002FTrump_Biden\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002Fvangogh.jpg --image_path_1 .\u002Fassets\u002Fpearlgirl.jpg \\ \n  --prompt_0 \"An oil painting of a man\" --prompt_1 \"An oil painting of a woman\" \\\n  --output_path \".\u002Fresults\u002Fvangogh_pearlgirl\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002Flion.png --image_path_1 .\u002Fassets\u002Ftiger.png \\ \n  --prompt_0 \"A photo of a lion\" --prompt_1 \"A photo of a tiger\" \\\n  --output_path \".\u002Fresults\u002Flion_tiger\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n## MorphBench\nTo evaluate the effectiveness of our methods, we present *MorphBench*, the first benchmark dataset for assessing image morphing of general objects. You can download the dataset from [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1NWPzJhOgP-udP_wYbd0selRG4cu8xsu4\u002Fview?usp=sharing) or [Baidu Netdisk](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1J3xE3OJdEhKyoc1QObyYaA?pwd=putk).\n\n\n## License\nThe code related to the DiffMorpher algorithm is licensed under [LICENSE](LICENSE.txt). \n\nHowever, this project is mostly built on the open-sourse library [diffusers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers), which is under a separate license terms [Apache License 2.0](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers\u002Fblob\u002Fmain\u002FLICENSE). (Cheers to the community as well!)\n\n## Citation\n\n```bibtex\n@article{zhang2023diffmorpher,\n    title={DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing},\n    author={Zhang, Kaiwen and Zhou, Yifan and Xu, Xudong and Pan, Xingang and Dai, Bo},\n    journal={arXiv preprint arXiv:2312.07409},\n    year={2023}\n}\n```\n","\u003Cp align=\"center\">\n  \u003Ch1 align=\"center\">DiffMorpher：释放扩散模型在图像变形中的潜力\u003C\u002Fh1>\n  \u003Ch3 align=\"center\">CVPR 2024\u003C\u002Fh3>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fkevin-thu.github.io\u002Fhomepage\u002F\">\u003Cstrong>张凯文\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fzhouyifan.net\u002Fabout\u002F\">\u003Cstrong>周一帆\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fsheldontsui.github.io\u002F\">\u003Cstrong>徐旭东\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fxingangpan.github.io\u002F\">\u003Cstrong>潘星刚\u003Csep>✉\u003C\u002Fsep>\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"http:\u002F\u002Fdaibo.info\u002F\">\u003Cstrong>戴博\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\n  \u003Cp align=\"center\">\n    \u003Csep>✉\u003C\u002Fsep>通讯作者\n  \u003C\u002Fp>\n\n  \u003Cdiv align=\"center\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKevin-thu_DiffMorpher_readme_80ed4b72b989.gif\", width=\"500\">\n  \u003C\u002Fdiv>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.07409\">\u003Cimg alt='arXiv' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2312.07409-b31b1b.svg\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fkevin-thu.github.io\u002FDiffMorpher_page\u002F\">\u003Cimg alt='page' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-orange\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fsze68zkw\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fsze68zkw?label=%40KaiwenZhang\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002FXingangP\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FXingangP?label=%40XingangPan\">\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\u003C\u002Fp>\n\n## 网页演示\n\n[![在 OpenXLab 中打开](https:\u002F\u002Fcdn-static.openxlab.org.cn\u002Fapp-center\u002Fopenxlab_app.svg)](https:\u002F\u002Fopenxlab.org.cn\u002Fapps\u002Fdetail\u002FKaiwenZhang\u002FDiffMorpher)\n\n\u003Cp align=\"left\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FKevin-thu\u002FDiffMorpher\">\u003Cimg alt=\"Huggingface\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-DiffMorpher-orange\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003C!-- 非常感谢 [OpenXLab](https:\u002F\u002Fopenxlab.org.cn\u002Fhome) 提供的 NVIDIA A100 GPU 支持！ -->\n\n## 环境要求\n要安装所需的依赖，请先在您的环境中运行以下命令：\n```bash\npip install -r requirements.txt\n```\n为了正确使用 CUDA 运行代码，您可以将 `requirements.txt` 文件中的 `torch` 和 `torchvision` 注释掉，并根据 [PyTorch](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F) 的说明安装相应版本的 `torch` 和 `torchvision`。\n\n您还可以从 [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-diffusion-2-1-base) 下载预训练模型 *Stable Diffusion v2.1-base*，并将 `model_path` 指定为您本地的目录。\n\n## 运行 Gradio 界面\n要启动 DiffMorpher 的 Gradio 界面，请在您的环境中运行以下命令：\n```bash\npython app.py\n```\n默认情况下，您可以通过 [http:\u002F\u002F127.0.0.1:7860](http:\u002F\u002F127.0.0.1:7860) 访问该界面。\n\n## 直接运行代码\n您也可以通过以下命令直接运行代码：\n```bash\npython main.py \\\n  --image_path_0 [image_path_0] --image_path_1 [image_path_1] \\ \n  --prompt_0 [prompt_0] --prompt_1 [prompt_1] \\\n  --output_path [output_path] \\\n  --use_adain --use_reschedule --save_inter\n```\n该脚本还支持以下选项：\n\n- `--image_path_0`: 第一张图片的路径（默认为空）\n- `--prompt_0`: 第一张图片的提示词（默认为空）\n- `--image_path_1`: 第二张图片的路径（默认为空）\n- `--prompt_1`: 第二张图片的提示词（默认为空）\n- `--model_path`: 预训练模型的路径（默认为“stabilityai\u002Fstable-diffusion-2-1-base”）\n- `--output_path`: 输出图片的路径（默认为空）\n- `--save_lora_dir`: 输出 LoRA 目录的路径（默认为“.\u002Flora”）\n- `--load_lora_path_0`: 第一张图片的 LoRA 目录路径（默认为空）\n- `--load_lora_path_1`: 第二张图片的 LoRA 目录路径（默认为空）\n- `--use_adain`: 使用 AdaIN（默认为 False）\n- `--use_reschedule`: 使用重新调度采样（默认为 False）\n- `--lamb`: 用于自注意力替换的超参数 $\\lambda \\in [0,1]$，$\\lambda$ 越大表示替换越多（默认为 0.6）\n- `--fix_lora_value`: 固定 LoRA 值（默认为 LoRA 插值，不固定）\n- `--save_inter`: 保存中间结果（默认为 False）\n- `--num_frames`: 生成的帧数（默认为 50）\n- `--duration`: 每帧持续的时间（默认为 50）\n\n示例：\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002FTrump.jpg --image_path_1 .\u002Fassets\u002FBiden.jpg \\ \n  --prompt_0 \"一张美国男士的照片\" --prompt_1 \"一张美国男士的照片\" \\\n  --output_path \".\u002Fresults\u002FTrump_Biden\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002Fvangogh.jpg --image_path_1 .\u002Fassets\u002Fpearlgirl.jpg \\ \n  --prompt_0 \"一幅男子的油画\" --prompt_1 \"一幅女子的油画\" \\\n  --output_path \".\u002Fresults\u002Fvangogh_pearlgirl\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002Flion.png --image_path_1 .\u002Fassets\u002Ftiger.png \\ \n  --prompt_0 \"一张狮子的照片\" --prompt_1 \"一张老虎的照片\" \\\n  --output_path \".\u002Fresults\u002Flion_tiger\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n## MorphBench\n为了评估我们方法的有效性，我们提出了 *MorphBench*，这是首个用于评估通用物体图像变形的基准数据集。您可以从 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1NWPzJhOgP-udP_wYbd0selRG4cu8xsu4\u002Fview?usp=sharing) 或 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1J3xE3OJdEhKyoc1QObyYaA?pwd=putk) 下载该数据集。\n\n\n## 许可证\n与 DiffMorpher 算法相关的代码遵循 [LICENSE](LICENSE.txt) 许可协议。\n\n然而，本项目主要基于开源库 [diffusers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers)，该库采用单独的许可条款 [Apache License 2.0](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers\u002Fblob\u002Fmain\u002FLICENSE)。（也向社区致敬！）\n\n## 引用\n\n```bibtex\n@article{zhang2023diffmorpher,\n    title={DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing},\n    author={Zhang, Kaiwen and Zhou, Yifan and Xu, Xudong and Pan, Xingang and Dai, Bo},\n    journal={arXiv preprint arXiv:2312.07409},\n    year={2023}\n}\n```","# DiffMorpher 快速上手指南\n\nDiffMorpher 是一个基于扩散模型（Diffusion Models）的图像变形（Image Morphing）工具，能够生成高质量、平滑的图像过渡动画。本项目入选 CVPR 2024。\n\n## 环境准备\n\n*   **系统要求**：支持 Linux\u002FWindows\u002FmacOS，推荐使用 NVIDIA GPU 以加速 CUDA 计算。\n*   **Python 版本**：建议 Python 3.8+。\n*   **前置依赖**：需安装 PyTorch 和 torchvision。为了获得最佳性能，建议根据 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F) 指引安装与你的 CUDA 版本匹配的 `torch` 和 `torchvision`。\n    *   *注意*：若手动安装了特定版本的 PyTorch，请在 `requirements.txt` 中注释掉 `torch` 和 `torchvision` 行，避免版本冲突。\n*   **模型权重**：代码默认使用 `Stable Diffusion v2.1-base`。你可以选择在线自动下载，或从 [Huggingface](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-diffusion-2-1-base) 手动下载到本地并指定路径。\n\n## 安装步骤\n\n1.  **克隆仓库**（假设已获取代码目录）：\n    进入项目根目录。\n\n2.  **安装依赖**：\n    ```bash\n    pip install -r requirements.txt\n    ```\n\n3.  **配置模型（可选）**：\n    如果网络环境不佳，建议提前下载 `stabilityai\u002Fstable-diffusion-2-1-base` 模型到本地，并在运行时通过 `--model_path` 参数指定本地路径。\n\n## 基本使用\n\nDiffMorpher 提供两种使用方式：Gradio 可视化界面和命令行脚本。\n\n### 方式一：启动 Gradio UI（推荐新手）\n\n运行以下命令启动本地 Web 界面：\n\n```bash\npython app.py\n```\n\n启动成功后，在浏览器中访问 [http:\u002F\u002F127.0.0.1:7860](http:\u002F\u002F127.0.0.1:7860) 即可上传两张图片并生成变形动画。\n\n### 方式二：命令行运行\n\n使用 `main.py` 进行更灵活的配置。以下是一个标准的运行示例，将两张图片进行变形处理：\n\n```bash\npython main.py \\\n  --image_path_0 .\u002Fassets\u002FTrump.jpg --image_path_1 .\u002Fassets\u002FBiden.jpg \\ \n  --prompt_0 \"A photo of an American man\" --prompt_1 \"A photo of an American man\" \\\n  --output_path \".\u002Fresults\u002FTrump_Biden\" \\\n  --use_adain --use_reschedule --save_inter\n```\n\n**关键参数说明：**\n\n*   `--image_path_0` \u002F `--image_path_1`：起始图片和结束图片的路径。\n*   `--prompt_0` \u002F `--prompt_1`：对应图片的描述提示词（Prompt）。\n*   `--output_path`：输出结果保存路径。\n*   `--use_adain`：启用 AdaIN 风格适配，提升变形效果。\n*   `--use_reschedule`：启用重调度采样，优化时间步长。\n*   `--save_inter`：保存中间帧结果。\n*   `--model_path`：指定本地 Stable Diffusion 模型路径（如需使用本地模型）。\n\n**更多高级选项：**\n*   `--num_frames`：生成帧数（默认 50）。\n*   `--lamb`：自注意力替换的超参数 $\\lambda$，范围 [0,1]，值越大替换越多（默认 0.6）。\n*   `--load_lora_path_0\u002F1`：加载预训练的 LoRA 权重以增强特定主体的一致性。","某独立游戏开发者正在制作一款奇幻题材的 RPG 游戏，需要为角色“人类法师”变身为“火焰元素”的过程制作一段流畅且符合逻辑的过场动画，以增强玩家的沉浸感。\n\n### 没有 DiffMorpher 时\n- **人工成本极高**：传统逐帧手绘或 3D 建模绑定骨骼变形需要数天时间，对于独立开发者而言，时间和算力成本难以承受。\n- **过渡生硬不自然**：使用简单的线性淡入淡出（Cross-dissolve）效果，两幅图像之间缺乏语义关联，导致变身过程像“贴图切换”，毫无魔法转化的真实感。\n- **结构一致性差**：若尝试使用早期的 AI 插值工具，往往会出现人物肢体扭曲、面部特征在变换中丢失或错位的问题，无法保证从人形到元素形态的结构连贯性。\n- **细节控制力弱**：难以精确控制变身过程中特定属性（如皮肤纹理逐渐燃烧化）的演变节奏，后期调整需重新渲染整个序列，迭代效率极低。\n\n### 使用 DiffMorpher 后\n- **自动化生成高质量序列**：只需输入起始和结束图片及对应提示词，DiffMorpher 利用扩散模型能力，在短时间内自动生成平滑、高保真的中间过渡帧，大幅缩短制作周期。\n- **语义级平滑过渡**：基于自注意力替换机制，工具能理解“法师”与“火焰元素”的语义联系，使衣物自然转化为火焰粒子，而非简单的像素混合，视觉效果极具冲击力。\n- **保持结构连贯性**：通过 AdaIN 和重调度采样技术，确保在形态剧烈变化中，角色的核心姿态和空间结构保持稳定，避免了肢体断裂或扭曲的伪影。\n- **灵活的可控性**：开发者可通过调整超参数 $\\lambda$ 精细控制注意力替换程度，或使用 LoRA 微调特定风格，快速迭代出符合游戏美术标准的变身效果。\n\nDiffMorpher 将原本耗时数天的专业特效制作简化为分钟级的自动化流程，让独立开发者也能以低成本实现电影级的视觉叙事效果。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKevin-thu_DiffMorpher_48a9271e.png","Kevin-thu","Kaiwen Zhang (Kevin)","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FKevin-thu_e61b1b35.jpg","MMLab@NTU",null,"Singapore","https:\u002F\u002Fkevin-thu.github.io\u002Fhomepage\u002F","https:\u002F\u002Fgithub.com\u002FKevin-thu",[85],{"name":86,"color":87,"percentage":88},"Python","#3572A5",100,507,53,"2026-03-31T08:22:56","NOASSERTION","未说明","需要 NVIDIA GPU（支持 CUDA），具体型号和显存大小未说明，需根据 PyTorch 官方指南安装对应版本的 CUDA 工具包",{"notes":96,"python":93,"dependencies":97},"1. 为了正确运行 CUDA，建议注释掉 requirements.txt 中的 torch 和 torchvision，并根据 PyTorch 官网指示安装与本地 CUDA 版本匹配的特定版本。\n2. 需要下载预训练模型 Stable Diffusion v2.1-base（可从 Huggingface 下载），并可通过 model_path 参数指定本地路径。\n3. 项目主要基于 diffusers 库构建。",[98,99,100,101],"torch","torchvision","diffusers","gradio",[14,35],[104,105,106,107],"diffusion-models","image-editing","image-morphing","video-generation","2026-03-27T02:49:30.150509","2026-04-06T05:18:03.930663",[111,116,121,126,131,136],{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},11291,"运行 Gradio 界面时出现错误或执行失败怎么办？","这通常是由于 diffusers 库的版本不兼容导致的。维护者已修复相关 bug，请更新代码仓库到最新版本后重试。如果问题依旧，请确保已正确下载预训练模型并放置在指定文件夹中。","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F16",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},11292,"点击训练 LoRA 时出现 \"AssertionError: Torch not compiled with CUDA enabled\" 或类似错误如何解决？","首先检查 PyTorch 是否正确安装了 CUDA 支持。如果环境配置无误，请注意区分警告和错误：某些情况下显示的可能是警告而非致命错误，您可以忽略它并等待 LoRA 训练继续。如果确实无法运行，请参考 StackOverflow 上关于 \"Torch not compiled with CUDA enabled\" 的解决方案重新安装 PyTorch。","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F4",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},11293,"运行 main.py 时出现 \"--prompt_0: command not found\" 错误是什么原因？","这通常是因为命令行中的换行符（反斜杠 \\）使用不当或格式错误导致的。建议将所有参数写在一行中执行，例如：\npython main.py --image_path_0 .\u002Fassets\u002Fvangogh.jpg --image_path_1 .\u002Fassets\u002Fpearlgirl.jpg --prompt_0 \"An oil painting of a man\" --prompt_1 \"An oil painting of a woman\" --output_path \".\u002Fresults\u002Fvangogh_pearlgirl\" --use_adain --use_reschedule --save_inter","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F24",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},11294,"该模型是否支持仅输入一张图片和一个文本提示词进行变形（Morphing）？","该方法原生不支持仅通过一张图片和一个提示词进行变形。变通方法是：先使用文生图模型（Text-to-Image）根据提示词生成第二张图片，然后使用 DiffMorpher 对原始图片和生成的图片进行变形处理。","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F27",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},11295,"如何获取用于计算 PPL、PDV 和 FID 指标的评估代码和提示词（Prompts）？","由于直接使用 LPIPS 可能导致结果与论文不符，作者未公开完整的评估代码。如需获取评估代码和数据集提示词以复现论文结果，需要直接发送电子邮件联系作者索取。","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F28",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},11296,"代码和推理权重什么时候发布？","作者计划首先发布 Gradio 演示版本，随后会根据情况决定完整代码和权重的发布时间。请关注项目后续更新。","https:\u002F\u002Fgithub.com\u002FKevin-thu\u002FDiffMorpher\u002Fissues\u002F1",[]]