[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Yujun-Shi--DragDiffusion":3,"tool-Yujun-Shi--DragDiffusion":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,2,"2026-04-06T23:34:12",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":96,"env_deps":97,"category_tags":106,"github_topics":107,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":114,"updated_at":115,"faqs":116,"releases":147},4743,"Yujun-Shi\u002FDragDiffusion","DragDiffusion","[CVPR2024, Highlight] Official code for DragDiffusion","DragDiffusion 是一款基于扩散模型的交互式图像编辑工具，让用户能通过简单的“拖拽”操作精准控制图像内容。它主要解决了传统 AI 绘图难以对生成图或真实照片进行局部微调的痛点：用户只需在界面上标记想要移动的特征点并拖动到目标位置，即可实现如调整物体姿态、改变五官位置等精细编辑，同时保持画面整体自然协调。\n\n该工具特别适合设计师、数字艺术家以及希望深入探索可控图像生成的研究人员使用。虽然普通用户也可通过其图形界面尝试操作，但由于涉及 LoRA 模型训练且对显卡资源有一定要求（推荐 NVIDIA GPU），具备一定技术背景的用户体验会更佳。\n\nDragDiffusion 的技术亮点在于创新性地结合了 LoRA 微调技术与一种受 MasaCtrl 启发的新型引导机制，显著提升了拖拽编辑后的图像质量与细节保真度。此外，它还支持任意宽高比图像编辑，并集成了 FreeU 等优化模块，在 A100 显卡上将真实图像的编辑训练时间压缩至约 20 秒，大幅提高了工作效率。作为一个开源研究项目，它为社区提供了强大的点基图像编辑新范式。","\u003Cp align=\"center\">\n  \u003Ch1 align=\"center\">DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing\u003C\u002Fh1>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fyujun-shi.github.io\u002F\">\u003Cstrong>Yujun Shi\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Cstrong>Chuhui Xue\u003C\u002Fstrong>\n      \n    \u003Cstrong>Jun Hao Liew\u003C\u002Fstrong>\n      \n    \u003Cstrong>Jiachun Pan\u003C\u002Fstrong>\n      \n    \u003Cbr>\n    \u003Cstrong>Hanshu Yan\u003C\u002Fstrong>\n      \n    \u003Cstrong>Wenqing Zhang\u003C\u002Fstrong>\n      \n    \u003Ca href=\"https:\u002F\u002Fvyftan.github.io\u002F\">\u003Cstrong>Vincent Y. F. Tan\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fsongbai.site\u002F\">\u003Cstrong>Song Bai\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_1f1b9107f7cd.png\", width=\"700\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_13285895a68b.png\", width=\"700\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_57f23ef8f3c1.png\", width=\"700\">\n  \u003C\u002Fdiv>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_c02afe91da7e.gif\", width=\"700\">\n  \u003C\u002Fdiv>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.14435\">\u003Cimg alt='arXiv' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2306.14435-b31b1b.svg\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyujun-shi.github.io\u002Fprojects\u002Fdragdiffusion.html\">\u003Cimg alt='page' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-orange\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002FYujunPeiyangShi\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FYujunPeiyangShi?label=%40YujunPeiyangShi\">\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\u003C\u002Fp>\n\n## Disclaimer\nThis is a research project, NOT a commercial product. Users are granted the freedom to create images using this tool, but they are expected to comply with local laws and utilize it in a responsible manner. The developers do not assume any responsibility for potential misuse by users.\n\n## News and Update\n* [Jan 29th] Update to support diffusers==0.24.0!\n* [Oct 23rd] Code and data of DragBench are released! Please check README under \"drag_bench_evaluation\" for details.\n* [Oct 16th] Integrate [FreeU](https:\u002F\u002Fchenyangsi.top\u002FFreeU\u002F) when dragging generated image.\n* [Oct 3rd] Speeding up LoRA training when editing real images. (**Now only around 20s on A100!**)\n* [Sept 3rd] v0.1.0 Release.\n  * Enable **Dragging Diffusion-Generated Images.**\n  * Introducing a new guidance mechanism that **greatly improve quality of dragging results.** (Inspired by [MasaCtrl](https:\u002F\u002Fljzycmd.github.io\u002Fprojects\u002FMasaCtrl\u002F))\n  * Enable Dragging Images with arbitrary aspect ratio\n  * Adding support for DPM++Solver (Generated Images)\n* [July 18th] v0.0.1 Release.\n  * Integrate LoRA training into the User Interface. **No need to use training script and everything can be conveniently done in UI!**\n  * Optimize User Interface layout.\n  * Enable using better VAE for eyes and faces (See [this](https:\u002F\u002Fstable-diffusion-art.com\u002Fhow-to-use-vae\u002F))\n* [July 8th] v0.0.0 Release.\n  * Implement Basic function of DragDiffusion\n\n## Installation\n\nIt is recommended to run our code on a Nvidia GPU with a linux system. We have not yet tested on other configurations. Currently, it requires around 14 GB GPU memory to run our method. We will continue to optimize memory efficiency\n\nTo install the required libraries, simply run the following command:\n```\nconda env create -f environment.yaml\nconda activate dragdiff\n```\n\n## Run DragDiffusion\nTo start with, in command line, run the following to start the gradio user interface:\n```\npython3 drag_ui.py\n```\n\nYou may check our [GIF above](https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fblob\u002Fmain\u002Frelease-doc\u002Fasset\u002Fgithub_video.gif) that demonstrate the usage of UI in a step-by-step manner.\n\nBasically, it consists of the following steps:\n\n### Case 1: Dragging Input Real Images\n#### 1) train a LoRA\n* Drop our input image into the left-most box.\n* Input a prompt describing the image in the \"prompt\" field\n* Click the \"Train LoRA\" button to train a LoRA given the input image\n\n#### 2) do \"drag\" editing\n* Draw a mask in the left-most box to specify the editable areas.\n* Click handle and target points in the middle box. Also, you may reset all points by clicking \"Undo point\".\n* Click the \"Run\" button to run our algorithm. Edited results will be displayed in the right-most box.\n\n### Case 2: Dragging Diffusion-Generated Images\n#### 1) generate an image\n* Fill in the generation parameters (e.g., positive\u002Fnegative prompt, parameters under Generation Config & FreeU Parameters).\n* Click \"Generate Image\".\n\n#### 2) do \"drag\" on the generated image\n* Draw a mask in the left-most box to specify the editable areas\n* Click handle points and target points in the middle box.\n* Click the \"Run\" button to run our algorithm. Edited results will be displayed in the right-most box.\n\n\n\u003C!---\n## Explanation for parameters in the user interface:\n#### General Parameters\n|Parameter|Explanation|\n|-----|------|\n|prompt|The prompt describing the user input image (This will be used to train the LoRA and conduct \"drag\" editing).|\n|lora_path|The directory where the trained LoRA will be saved.|\n\n\n#### Algorithm Parameters\nThese parameters are collapsed by default as we normally do not have to tune them. Here are the explanations:\n* Base Model Config\n\n|Parameter|Explanation|\n|-----|------|\n|Diffusion Model Path|The path to the diffusion models. By default we are using \"runwayml\u002Fstable-diffusion-v1-5\". We will add support for more models in the future.|\n|VAE Choice|The Choice of VAE. Now there are two choices, one is \"default\", which will use the original VAE. Another choice is \"stabilityai\u002Fsd-vae-ft-mse\", which can improve results on images with human eyes and faces (see [explanation](https:\u002F\u002Fstable-diffusion-art.com\u002Fhow-to-use-vae\u002F))|\n\n* Drag Parameters\n\n|Parameter|Explanation|\n|-----|------|\n|n_pix_step|Maximum number of steps of motion supervision. **Increase this if handle points have not been \"dragged\" to desired position.**|\n|lam|The regularization coefficient controlling unmasked region stays unchanged. Increase this value if the unmasked region has changed more than what was desired (do not have to tune in most cases).|\n|n_actual_inference_step|Number of DDIM inversion steps performed (do not have to tune in most cases).|\n\n* LoRA Parameters\n\n|Parameter|Explanation|\n|-----|------|\n|LoRA training steps|Number of LoRA training steps (do not have to tune in most cases).|\n|LoRA learning rate|Learning rate of LoRA (do not have to tune in most cases)|\n|LoRA rank|Rank of the LoRA (do not have to tune in most cases).|\n\n--->\n\n## License\nCode related to the DragDiffusion algorithm is under Apache 2.0 license.\n\n\n## BibTeX\nIf you find our repo helpful, please consider leaving a star or cite our paper :)\n```bibtex\n@article{shi2023dragdiffusion,\n  title={DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing},\n  author={Shi, Yujun and Xue, Chuhui and Pan, Jiachun and Zhang, Wenqing and Tan, Vincent YF and Bai, Song},\n  journal={arXiv preprint arXiv:2306.14435},\n  year={2023}\n}\n```\n\n## Contact\nFor any questions on this project, please contact [Yujun](https:\u002F\u002Fyujun-shi.github.io\u002F) (shi.yujun@u.nus.edu)\n\n## Acknowledgement\nThis work is inspired by the amazing [DragGAN](https:\u002F\u002Fvcai.mpi-inf.mpg.de\u002Fprojects\u002FDragGAN\u002F). The lora training code is modified from an [example](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers\u002Fblob\u002Fv0.17.1\u002Fexamples\u002Fdreambooth\u002Ftrain_dreambooth_lora.py) of diffusers. Image samples are collected from [unsplash](https:\u002F\u002Funsplash.com\u002F), [pexels](https:\u002F\u002Fwww.pexels.com\u002Fzh-cn\u002F), [pixabay](https:\u002F\u002Fpixabay.com\u002F). Finally, a huge shout-out to all the amazing open source diffusion models and libraries.\n\n## Related Links\n* [Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold](https:\u002F\u002Fvcai.mpi-inf.mpg.de\u002Fprojects\u002FDragGAN\u002F)\n* [MasaCtrl: Tuning-free Mutual Self-Attention Control for Consistent Image Synthesis and Editing](https:\u002F\u002Fljzycmd.github.io\u002Fprojects\u002FMasaCtrl\u002F)\n* [Emergent Correspondence from Image Diffusion](https:\u002F\u002Fdiffusionfeatures.github.io\u002F)\n* [DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models](https:\u002F\u002Fmc-e.github.io\u002Fproject\u002FDragonDiffusion\u002F)\n* [FreeDrag: Point Tracking is Not You Need for Interactive Point-based Image Editing](https:\u002F\u002Flin-chen.site\u002Fprojects\u002Ffreedrag\u002F)\n\n\n## Common Issues and Solutions\n1) For users struggling in loading models from huggingface due to internet constraint, please 1) follow this [links](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F475260268) and download the model into the directory \"local\\_pretrained\\_models\"; 2) Run \"drag\\_ui.py\" and select the directory to your pretrained model in \"Algorithm Parameters -> Base Model Config -> Diffusion Model Path\".\n\n\n","\u003Cp align=\"center\">\n  \u003Ch1 align=\"center\">DragDiffusion：利用扩散模型实现基于点的交互式图像编辑\u003C\u002Fh1>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fyujun-shi.github.io\u002F\">\u003Cstrong>史宇俊\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Cstrong>薛楚辉\u003C\u002Fstrong>\n      \n    \u003Cstrong>刘俊豪\u003C\u002Fstrong>\n      \n    \u003Cstrong>潘嘉纯\u003C\u002Fstrong>\n      \n    \u003Cbr>\n    \u003Cstrong>颜汉书\u003C\u002Fstrong>\n      \n    \u003Cstrong>张文清\u003C\u002Fstrong>\n      \n    \u003Ca href=\"https:\u002F\u002Fvyftan.github.io\u002F\">\u003Cstrong>谭文杰\u003C\u002Fstrong>\u003C\u002Fa>\n      \n    \u003Ca href=\"https:\u002F\u002Fsongbai.site\u002F\">\u003Cstrong>白松\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_1f1b9107f7cd.png\", width=\"700\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_13285895a68b.png\", width=\"700\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_57f23ef8f3c1.png\", width=\"700\">\n  \u003C\u002Fdiv>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_readme_c02afe91da7e.gif\", width=\"700\">\n  \u003C\u002Fdiv>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.14435\">\u003Cimg alt='arXiv' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2306.14435-b31b1b.svg\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyujun-shi.github.io\u002Fprojects\u002Fdragdiffusion.html\">\u003Cimg alt='page' src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-orange\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002FYujunPeiyangShi\">\u003Cimg alt='Twitter' src=\"https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002FYujunPeiyangShi?label=%40YujunPeiyangShi\">\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Cbr>\n\u003C\u002Fp>\n\n## 免责声明\n本项目为研究项目，而非商业产品。用户可以自由使用该工具生成图像，但应遵守当地法律法规，并以负责任的方式使用。开发者对用户的任何不当使用不承担任何责任。\n\n## 新闻与更新\n* [1月29日] 更新以支持 diffusers==0.24.0！\n* [10月23日] DragBench 的代码和数据已发布！详情请查看“drag_bench_evaluation”下的 README。\n* [10月16日] 在拖拽生成图像时集成 [FreeU](https:\u002F\u002Fchenyangsi.top\u002FFreeU\u002F)。\n* [10月3日] 加速真实图像编辑时的 LoRA 训练。（**现在在 A100 上仅需约 20 秒！**）\n* [9月3日] v0.1.0 发布。\n  * 支持 **拖拽扩散生成的图像。**\n  * 引入新的引导机制，**显著提升拖拽结果的质量。**（受 [MasaCtrl](https:\u002F\u002Fljzycmd.github.io\u002Fprojects\u002FMasaCtrl\u002F) 启发）\n  * 支持任意长宽比的图像拖拽。\n  * 添加对 DPM++Solver 的支持（生成图像）。\n* [7月18日] v0.0.1 发布。\n  * 将 LoRA 训练集成到用户界面中。**无需使用训练脚本，所有操作均可在界面中便捷完成！**\n  * 优化了用户界面布局。\n  * 支持使用更好的 VAE 来处理眼睛和面部细节（参见 [此链接](https:\u002F\u002Fstable-diffusion-art.com\u002Fhow-to-use-vae\u002F)）。\n* [7月8日] v0.0.0 发布。\n  * 实现了 DragDiffusion 的基本功能。\n\n## 安装\n建议在配备 NVIDIA GPU 和 Linux 系统的环境中运行我们的代码。我们尚未在其他配置上进行测试。目前，运行该方法大约需要 14 GB 的 GPU 内存。我们将继续优化内存效率。\n\n要安装所需的库，只需运行以下命令：\n```\nconda env create -f environment.yaml\nconda activate dragdiff\n```\n\n## 运行 DragDiffusion\n首先，在命令行中运行以下命令启动 Gradio 用户界面：\n```\npython3 drag_ui.py\n```\n\n您可以通过我们上面的 [GIF 动画](https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fblob\u002Fmain\u002Frelease-doc\u002Fasset\u002Fgithub_video.gif) 按步骤了解如何使用该界面。\n\n基本上，操作流程如下：\n\n### 场景 1：拖拽输入的真实图像\n#### 1) 训练 LoRA\n* 将输入图像拖放到最左侧的框中。\n* 在“prompt”字段中输入描述该图像的提示词。\n* 点击“Train LoRA”按钮，根据输入图像训练一个 LoRA。\n\n#### 2) 执行“拖拽”编辑\n* 在最左侧的框中绘制遮罩，以指定可编辑区域。\n* 在中间的框中点击控制点和目标点。您也可以通过点击“Undo point”来重置所有点。\n* 点击“Run”按钮运行我们的算法。编辑后的结果将显示在最右侧的框中。\n\n### 场景 2：拖拽扩散生成的图像\n#### 1) 生成图像\n* 填写生成参数（例如，正面\u002F负面提示词、生成配置和 FreeU 参数）。\n* 点击“Generate Image”。\n\n#### 2) 对生成的图像进行“拖拽”\n* 在最左侧的框中绘制遮罩，以指定可编辑区域。\n* 在中间的框中点击控制点和目标点。\n* 点击“Run”按钮运行我们的算法。编辑后的结果将显示在最右侧的框中。\n\n\n\u003C!--\n## 用户界面参数说明：\n#### 通用参数\n|参数|说明|\n|-----|------|\n|prompt|描述用户输入图像的提示词（将用于训练 LoRA 和执行“拖拽”编辑）。|\n|lora_path|训练好的 LoRA 将保存的目录路径。|\n\n\n#### 算法参数\n这些参数默认是折叠状态，因为我们通常不需要调整它们。以下是解释：\n* 基础模型配置\n\n|参数|说明|\n|-----|------|\n|扩散模型路径|扩散模型的路径。默认使用 “runwayml\u002Fstable-diffusion-v1-5”。未来我们会增加对更多模型的支持。|\n|VAE 选择|VAE 的选择。目前有两个选项，一个是“default”，即使用原始 VAE；另一个是“stabilityai\u002Fsd-vae-ft-mse”，它可以改善包含人眼和人脸的图像效果（参见 [说明](https:\u002F\u002Fstable-diffusion-art.com\u002Fhow-to-use-vae\u002F)）。|\n\n* 拖拽参数\n\n|参数|说明|\n|-----|------|\n|n_pix_step|运动监督的最大步数。**如果控制点未能拖动到期望位置，请增加此值。**|\n|lam|正则化系数，用于控制未遮罩区域保持不变。如果未遮罩区域的变化超过预期，请增加此值（大多数情况下无需调整）。|\n|n_actual_inference_step|执行的 DDIM 反演步数（大多数情况下无需调整）。|\n\n* LoRA 参数\n\n|参数|说明|\n|-----|------|\n|LoRA 训练步数|LoRA 训练的步数（大多数情况下无需调整）。|\n|LoRA 学习率|LoRA 的学习率（大多数情况下无需调整）。|\n|LoRA 阶数|LoRA 的阶数（大多数情况下无需调整）。|\n\n--->\n## 许可证\nDragDiffusion 算法相关的代码采用 Apache 2.0 许可证。\n\n\n## BibTeX\n如果您觉得我们的仓库有用，请考虑给个 Star 或引用我们的论文 :)\n```bibtex\n@article{shi2023dragdiffusion,\n  title={DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing},\n  author={Shi, Yujun and Xue, Chuhui and Pan, Jiachun and Zhang, Wenqing and Tan, Vincent YF and Bai, Song},\n  journal={arXiv preprint arXiv:2306.14435},\n  year={2023}\n}\n```\n\n## 联系方式\n如对本项目有任何疑问，请联系 [Yujun](https:\u002F\u002Fyujun-shi.github.io\u002F) (shi.yujun@u.nus.edu)\n\n## 致谢\n本工作受到令人惊叹的 [DragGAN](https:\u002F\u002Fvcai.mpi-inf.mpg.de\u002Fprojects\u002FDragGAN\u002F) 的启发。LoRA 训练代码基于 diffusers 的一个 [示例](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers\u002Fblob\u002Fv0.17.1\u002Fexamples\u002Fdreambooth\u002Ftrain_dreambooth_lora.py) 修改而来。图像样本收集自 [unsplash](https:\u002F\u002Funsplash.com\u002F)、[pexels](https:\u002F\u002Fwww.pexels.com\u002Fzh-cn\u002F) 和 [pixabay](https:\u002F\u002Fpixabay.com\u002F)。最后，向所有优秀的开源扩散模型和库致以衷心的感谢。\n\n## 相关链接\n* [Drag Your GAN：生成图像流形上的交互式点操控](https:\u002F\u002Fvcai.mpi-inf.mpg.de\u002Fprojects\u002FDragGAN\u002F)\n* [MasaCtrl：无需调优的一致性图像合成与编辑的互斥自注意力控制](https:\u002F\u002Fljzycmd.github.io\u002Fprojects\u002FMasaCtrl\u002F)\n* [从图像扩散中涌现的对应关系](https:\u002F\u002Fdiffusionfeatures.github.io\u002F)\n* [DragonDiffusion：在扩散模型上实现拖拽式操控](https:\u002F\u002Fmc-e.github.io\u002Fproject\u002FDragonDiffusion\u002F)\n* [FreeDrag：交互式点操控并不需要点跟踪技术](https:\u002F\u002Flin-chen.site\u002Fprojects\u002Ffreedrag\u002F)\n\n\n## 常见问题及解决方案\n1) 对于因网络限制而无法从 Hugging Face 加载模型的用户，请按以下步骤操作：1) 参考此 [链接](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F475260268) 下载模型至 “local_pretrained_models” 目录；2) 运行 “drag_ui.py”，并在“算法参数 -> 基础模型配置 -> 扩散模型路径” 中选择您预训练模型所在的目录。","# DragDiffusion 快速上手指南\n\nDragDiffusion 是一个基于扩散模型的交互式图像编辑工具，允许用户通过拖拽点的方式对真实图像或生成图像进行精准操控。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐)\n*   **硬件要求**: NVIDIA GPU，显存至少 **14 GB**\n*   **软件依赖**: \n    *   Conda (用于环境管理)\n    *   Python (通过 conda 自动安装)\n    *   CUDA (需与 PyTorch 版本匹配)\n\n> **注意**: 本项目目前仅在 Linux + NVIDIA GPU 环境下经过测试。\n\n## 安装步骤\n\n1.  **创建并激活虚拟环境**\n    在项目根目录下运行以下命令，将自动安装所有必要的依赖库：\n    ```bash\n    conda env create -f environment.yaml\n    conda activate dragdiff\n    ```\n\n2.  **模型下载（可选，针对网络受限用户）**\n    如果无法直接从 Hugging Face 加载模型，可手动下载预训练模型至 `local_pretrained_models` 目录，并在启动后于界面中指定路径（详见“基本使用”中的参数配置）。\n\n## 基本使用\n\n### 1. 启动界面\n在终端中运行以下命令启动 Gradio 用户界面：\n```bash\npython3 drag_ui.py\n```\n启动成功后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），请在浏览器中打开该地址。\n\n### 2. 操作流程\n\n根据图片来源不同，分为两种使用模式：\n\n#### 模式一：编辑真实图片 (Dragging Input Real Images)\n\n1.  **训练 LoRA**:\n    *   将待编辑的真实图片拖入左侧第一个输入框。\n    *   在 \"prompt\" 字段中输入描述该图片的提示词。\n    *   点击 **\"Train LoRA\"** 按钮，系统将基于该图片训练一个轻量级 LoRA 模型（A100 上约需 20 秒）。\n2.  **执行拖拽编辑**:\n    *   在左侧图片框中绘制蒙版（Mask），圈定允许编辑的区域。\n    *   在中间的预览框中，依次点击设置 **控制点 (Handle Point)** 和 **目标点 (Target Point)**。如需重置可点击 \"Undo point\"。\n    *   点击 **\"Run\"** 按钮，编辑后的结果将显示在右侧输出框。\n\n#### 模式二：编辑扩散模型生成的图片 (Dragging Diffusion-Generated Images)\n\n1.  **生成图片**:\n    *   填写生成参数（如正向\u002F负向提示词、Generation Config 及 FreeU 参数等）。\n    *   点击 **\"Generate Image\"** 生成底图。\n2.  **执行拖拽编辑**:\n    *   在左侧生成的图片上绘制蒙版，指定编辑区域。\n    *   在中间框设置 **控制点** 和 **目标点**。\n    *   点击 **\"Run\"** 按钮获取编辑结果。\n\n### 3. 关键参数说明（界面内折叠项）\n\n*   **Diffusion Model Path**: 默认使用 `runwayml\u002Fstable-diffusion-v1-5`。若使用本地下载的模型，请在此处修改路径。\n*   **VAE Choice**: \n    *   `default`: 使用原始 VAE。\n    *   `stabilityai\u002Fsd-vae-ft-mse`: 推荐用于包含人脸或眼睛的图像，可提升细节质量。\n*   **n_pix_step**: 运动监督的最大步数。如果控制点未移动到预期位置，可适当增加此数值。","一位电商设计师急需将一张实拍产品图的商品手柄从左侧移至右侧，以适配新的广告版面布局，但必须保持产品原有的光影质感和材质细节不变。\n\n### 没有 DragDiffusion 时\n- **重绘成本高昂**：传统方法需手动抠图、移动图层并重新绘制背景遮挡部分，耗时数小时且极易破坏原图光影。\n- **生成不可控**：若使用常规 AI 重绘（Inpainting），难以精确控制物体移动的具体坐标和角度，往往需要反复尝试数十次才能凑巧成功。\n- **细节丢失严重**：强制移动容易导致物体边缘模糊、纹理断裂，或与背景融合生硬，失去真实照片的质感。\n- **技术门槛高**：非专业修图师难以通过 Photoshop 内容识别填充完美处理复杂背景的透视变化。\n\n### 使用 DragDiffusion 后\n- **交互式精准拖拽**：设计师只需在 UI 界面上标记手柄的关键点并拖动至目标位置，DragDiffusion 即可自动计算并执行移动，过程直观如操作矢量图形。\n- **语义一致性保持**：依托扩散模型的特性，拖拽后的手柄自动适应新位置的光照和透视，材质纹理自然连贯，无需人工修补边缘。\n- **极速迭代修改**：结合 LoRA 微调技术，针对实拍图的编辑可在秒级内完成预览，不满意可随时撤销并重新拖拽，大幅缩短试错周期。\n- **背景智能补全**：工具自动根据语义理解填补物体移走后留下的背景空缺，确保整体画面逻辑合理，无需额外_mask_绘制。\n\nDragDiffusion 将原本繁琐的“抠图 - 重绘”工作流转化为简单的“点对点拖拽”，让基于真实图像的精细化编辑变得像搭积木一样简单高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYujun-Shi_DragDiffusion_1f1b9107.png","Yujun-Shi","Yujun Shi","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FYujun-Shi_bc7b5a5f.jpg","MTS @ Microsoft AI, PhD @ NUS.\r\nEnvision & Deliver.","National University of Singapore",null,"YujunPeiyangShi","https:\u002F\u002Fyujun-shi.github.io\u002F","https:\u002F\u002Fgithub.com\u002FYujun-Shi",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",99.7,{"name":87,"color":88,"percentage":89},"Shell","#89e051",0.3,1253,94,"2026-04-04T09:46:47","Apache-2.0","Linux","必需 NVIDIA GPU，显存约 14GB（文中提及在 A100 上运行），未明确指定 CUDA 版本","未说明",{"notes":98,"python":99,"dependencies":100},"该项目目前仅在 Linux 系统下的 NVIDIA GPU 上经过测试。运行需要约 14GB 显存。建议使用 conda 创建环境（environment.yaml）。支持拖动真实图像（需先训练 LoRA）和扩散生成的图像。若网络受限无法从 Hugging Face 下载模型，需手动下载至本地目录并在界面中配置路径。","未说明 (通过 conda environment.yaml 安装)",[101,102,103,104,105],"diffusers==0.24.0","gradio","torch","transformers","accelerate",[14,15],[108,109,110,111,112,113],"artificial-intelligence","diffusion-models","draggan","image-editing","dragdiffusion","cvpr2024","2026-03-27T02:49:30.150509","2026-04-07T09:55:19.621075",[117,122,127,132,137,142],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},21548,"为什么直接反演（不使用 Drag 方式）的结果会偏向洋红色或出现色彩偏移？","这主要是 VAE（变分自编码器）自身的上限问题。目前的 VAE 通道数（4 个通道）较低，导致信息损失和色彩伪影。虽然可以通过微调 VAE 的 decoder 来消除单张图的反演偏移，但在编辑过程中中间向量的变化仍可能导致最终结果色彩不对应。根本解决需要更好的模型（如增加 VAE 通道数的模型），但目前相关改进模型尚未开源。后续可关注 SDXL 等更先进的开源模型是否能缓解此问题。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F39",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},21549,"无法复现演示中的动漫风格图片效果，生成的图像很奇怪怎么办？","演示中的结果是基于扩散模型生成的图像（使用 Counterfeit-V2.5 模型，seed=65536）进行拖拽编辑的，且在编辑扩散生成的图像时**不需要训练任何 LoRA**。如果你使用的是真实图片并试图用 Stable Diffusion 1.5 处理动漫风格的图像，由于 SD1.5 是在通用数据集上训练的，其对动漫图像的处理能力较弱，因此效果不佳。请确保使用正确的源图像类型和模型配置。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F38",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},21550,"运行时遇到 'Expecting value: line 1 column 1 (char 0)' 错误或 Hugging Face 下载超时怎么办？","这通常是由于系统代理设置导致的网络连接问题。请检查并清除系统代理设置：\n1. 检查代理：运行 `echo $http_proxy`, `echo $https_proxy`, `echo $ftp_proxy`。\n2. 清除代理：运行 `unset http_proxy`, `unset https_proxy`, `unset ftp_proxy`。\n如果是国内用户访问 Hugging Face 超时，可能需要配置合适的网络环境或镜像源，确保能正常下载模型文件（如 tokenizer_config.json）。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F27",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},21551,"如何处理不同宽高比（aspect ratios）的图片以避免运行错误？","原代码在处理非标准比例图片时可能会出错。用户可以修改 `utils\u002Fui_utils.py` 中的代码逻辑，确保在拼接结果图像时维度匹配。例如，调整 `torch.cat` 中的占位符尺寸以适配输入图片的实际分辨率。对于复杂图像，建议适当增加 LoRA 的训练步数（例如 300 步）以获得更好的编辑效果。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F29",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},21552,"是否可以将 VAE 编码过程移出 LoRA 训练循环以优化速度？","不建议简单地将 VAE 编码移出训练循环。虽然权重和输入看似未变，但这样做有两个主要问题：1) 对于非正方形图片，如果只应用一次图像变换（image_transforms），只会裁剪固定的正方形区域进行训练，而我们需要每次裁剪不同的区域以更好地保持原图特征；2) VAE 的前向传播后包含采样过程（`latent_dist.sample()`），这在训练中提供了必要的多样性。因此，保留在循环内是保证效果和泛化性的关键。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F43",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},21553,"在 Colab 或本地运行时遇到 'AttributeError: AttnProcessor2_0 object has no attribute to_q_lora' 错误如何解决？","该错误通常是由于使用的 Diffusers 库版本与代码不兼容导致的。DragDiffusion 依赖于特定版本的 diffusers 库来处理 LoRA 注入。请检查并安装与项目兼容的 diffusers 版本（通常需要在 requirements.txt 中指定，或尝试升级到最新版\u002F回退到稳定版，如 0.20.0 左右，具体视项目依赖而定）。确保环境中没有冲突的库版本。","https:\u002F\u002Fgithub.com\u002FYujun-Shi\u002FDragDiffusion\u002Fissues\u002F37",[148,153,158,162],{"id":149,"version":150,"summary_zh":151,"released_at":152},127538,"v0.1.1","在本次发布中，我们正在更新 DragBench 的数据和代码。","2023-10-23T05:24:58",{"id":154,"version":155,"summary_zh":156,"released_at":157},127539,"v0.1.0","1. 启用拖拽扩散生成的图像功能。2. 引入一种新的引导机制，显著提升拖拽结果的质量。（受 https:\u002F\u002Fljzycmd.github.io\u002Fprojects\u002FMasaCtrl\u002F 启发）3. 支持拖拽任意宽高比的图像。4. 增加对 DPM++ 求解器（生成图像）的支持。","2023-09-03T08:23:14",{"id":159,"version":160,"summary_zh":77,"released_at":161},127540,"v0.0.1","2023-09-03T08:19:51",{"id":163,"version":164,"summary_zh":165,"released_at":166},127541,"v0.0.0","初始发布","2023-07-23T10:17:44"]