[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-omriav--blended-diffusion":3,"similar-omriav--blended-diffusion":103},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":19,"owner_email":19,"owner_twitter":19,"owner_website":20,"owner_url":21,"languages":22,"stars":31,"forks":32,"last_commit_at":33,"license":34,"difficulty_score":35,"env_os":36,"env_gpu":37,"env_ram":36,"env_deps":38,"category_tags":50,"github_topics":55,"view_count":35,"oss_zip_url":19,"oss_zip_packed_at":19,"status":63,"created_at":64,"updated_at":65,"faqs":66,"releases":102},3243,"omriav\u002Fblended-diffusion","blended-diffusion","Official implementation for \"Blended Diffusion for Text-driven Editing of Natural Images\" [CVPR 2022]","blended-diffusion 是一款基于扩散模型的开源图像编辑工具，旨在通过自然语言指令实现对真实照片的局部精准修改。它主要解决了传统 AI 绘图难以在保持背景不变的前提下，仅对指定区域进行高质量内容替换或增删的难题。无论是想给风景照换个天空、移除路人，还是改变物体材质，用户只需提供一张原图、一个标记编辑区域的蒙版以及一段文字描述，blended-diffusion 即可生成融合自然、毫无违和感的编辑结果。\n\n该工具特别适合计算机视觉研究人员、AI 开发者以及需要精细控制图像内容的数字艺术家使用。其核心技术亮点在于巧妙结合了 CLIP 模型的语言理解能力与去噪扩散概率模型（DDPM）的生成能力。独创的“空间混合”技术能在不同噪声层级下，将编辑区域的生成内容与原图背景无缝融合，有效避免了边缘生硬或光影不一致的问题。此外，引入数据增强机制进一步提升了生成结果的稳定性与真实感。作为 CVPR 2022 的获奖成果，blended-diffusion 为文本驱动的图像编辑提供了坚实的技术基准，虽然操作需要一定的命令行基础，但其生成的逼真效果极具参考价值。","# Blended Diffusion for Text-driven Editing of Natural Images [CVPR 2022]\n\n\u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-diffusion-page\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Project&message=Website&color=blue\">\u003C\u002Fa> \n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.14818\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2111.14818-b31b1b.svg\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fpytorch.org\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.9.0-Red?logo=pytorch\">\u003C\u002Fa>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_40df25d934fd.jpg\" width=\"800px\">\n\n> \u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-diffusion-page\u002F\">**Blended Diffusion for Text-driven Editing of Natural Images**\u003C\u002Fa>\n>\n> Omri Avrahami, Dani Lischinski, Ohad Fried\n>\n> Abstract: Natural language offers a highly intuitive interface for image editing. In this paper, we introduce the first solution for performing local (region-based) edits in generic natural images, based on a natural language description along with an ROI mask.\nWe achieve our goal by leveraging and combining a pretrained language-image model (CLIP), to steer the edit towards a user-provided text prompt, with a denoising diffusion probabilistic model (DDPM) to generate natural-looking results.\nTo seamlessly fuse the edited region with the unchanged parts of the image, we spatially blend noised versions of the input image with the local text-guided diffusion latent at a progression of noise levels.\nIn addition, we show that adding augmentations to the diffusion process mitigates adversarial results.\nWe compare against several baselines and related methods, both qualitatively and quantitatively, and show that our method outperforms these solutions in terms of overall realism, ability to preserve the background and matching the text. Finally, we show several text-driven editing applications, including adding a new object to an image, removing\u002Freplacing\u002Faltering existing objects, background replacement, and image extrapolation.\n\n# News\nYou may be interested in the follow-up project \u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-latent-diffusion-page\u002F\">Blended Latent Diffusion\u003C\u002Fa>, which produces better results and with a significant speed-up. Code is available \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-latent-diffusion\">here\u003C\u002Fa>.\n\n# Getting Started\n## Installation\n1. Create the virtual environment:\n\n```bash\n$ conda create --name blended-diffusion python=3.9\n$ conda activate blended-diffusion\n$ pip3 install ftfy regex matplotlib lpips kornia opencv-python torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n```\n\n2. Create a `checkpoints` directory and download the pretrained diffusion model from [here](https:\u002F\u002Fhuggingface.co\u002Fomriav\u002Fblended-diffusion\u002Fresolve\u002Fmain\u002Fcheckpoints\u002F256x256_diffusion_uncond.pt?download=true) to this folder.\n\n## Image generation\nAn example of text-driven multiple synthesis results:\n\n```bash\n$ python main.py -p \"rock\" -i \"input_example\u002Fimg.png\" --mask \"input_example\u002Fmask.png\" --output_path \"output\"\n```\n\nThe generation results will be saved in `output\u002Franked` folder, ordered by CLIP similarity rank. In order to get the best results, please generate a large number of results (at least 64) and take the best ones.\n\nIn order to generate multiple results in a single diffusion process, we utilized batch processing. If you get `CUDA out of memory` try first to lower the batch size by setting `--batch_size 1`.\n\n# Applications\n\n### Multiple synthesis results for the same prompt\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_39639f5f4f09.jpg\" width=\"800px\">\n\n### Synthesis results for different prompts\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_a1ffc3e19785.jpg\" width=\"800px\">\n\n### Altering part of an existing object\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_447abc32b147.jpg\" width=\"800px\">\n\n### Background replacement\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_e8487e89d0c4.jpg\" width=\"800px\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_ead4ec65595e.jpg\" width=\"800px\">\n\n### Scribble-guided editing\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_19b7a34bd49b.jpg\" width=\"800px\">\n\n### Text-guided extrapolation\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_8dbf812da2ce.jpg\" width=\"800px\">\n\n### Composing several applications\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_0ecbf34a337d.jpg\" width=\"800px\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_cfa6b413e7ec.jpg\" width=\"800px\">\n\n# Acknowledgments\nThis code borrows from [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP), [Guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion) and [CLIP-Guided Diffusion](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12a_Wrfi2_gwwAuN3VvMTwVMz9TfqctNj).\n\n# Citation\nIf you use this code for your research, please cite the following:\n```\n@InProceedings{Avrahami_2022_CVPR,\n    author    = {Avrahami, Omri and Lischinski, Dani and Fried, Ohad},\n    title     = {Blended Diffusion for Text-Driven Editing of Natural Images},\n    booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n    month     = {June},\n    year      = {2022},\n    pages     = {18208-18218}\n}\n```\n","# 用于文本驱动自然图像编辑的混合扩散模型 [CVPR 2022]\n\n\u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-diffusion-page\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=Project&message=Website&color=blue\">\u003C\u002Fa> \n\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2111.14818\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2111.14818-b31b1b.svg\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fpytorch.org\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.9.0-Red?logo=pytorch\">\u003C\u002Fa>\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_40df25d934fd.jpg\" width=\"800px\">\n\n> \u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-diffusion-page\u002F\">**用于文本驱动自然图像编辑的混合扩散模型**\u003C\u002Fa>\n>\n> Omri Avrahami, Dani Lischinski, Ohad Fried\n>\n> 摘要：自然语言为图像编辑提供了一种非常直观的界面。在本文中，我们提出了首个基于自然语言描述和 ROI 掩码，在通用自然图像中执行局部（基于区域）编辑的解决方案。\n我们通过利用并结合一个预训练的语言-图像模型（CLIP），以引导编辑过程朝着用户提供的文本提示方向进行；同时使用去噪扩散概率模型（DDPM）生成自然逼真的结果，从而实现这一目标。\n为了将编辑后的区域与图像未更改的部分无缝融合，我们在一系列噪声水平下，将输入图像的加噪版本与局部文本引导的扩散潜在表示进行空间混合。\n此外，我们还表明，在扩散过程中加入数据增强可以有效缓解对抗性结果的发生。\n我们从定性和定量两个方面与多个基线及相关方法进行了比较，并证明我们的方法在整体真实感、背景保留能力以及与文本的匹配度等方面均优于这些现有方案。最后，我们展示了若干文本驱动的编辑应用，包括向图像中添加新对象、移除\u002F替换\u002F修改现有对象、更换背景以及图像外推等。\n\n# 新闻\n您可能对后续项目 \u003Ca href=\"https:\u002F\u002Fomriavrahami.com\u002Fblended-latent-diffusion-page\u002F\">混合潜在扩散模型\u003C\u002Fa> 感兴趣，该模型能够生成更优的结果，并显著提升处理速度。代码可在 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-latent-diffusion\">此处\u003C\u002Fa>获取。\n\n# 快速入门\n## 安装\n1. 创建虚拟环境：\n\n```bash\n$ conda create --name blended-diffusion python=3.9\n$ conda activate blended-diffusion\n$ pip3 install ftfy regex matplotlib lpips kornia opencv-python torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n```\n\n2. 创建 `checkpoints` 目录，并从 [这里](https:\u002F\u002Fhuggingface.co\u002Fomriav\u002Fblended-diffusion\u002Fresolve\u002Fmain\u002Fcheckpoints\u002F256x256_diffusion_uncond.pt?download=true) 下载预训练的扩散模型至该文件夹。\n\n## 图像生成\n文本驱动的多结果合成示例：\n\n```bash\n$ python main.py -p \"rock\" -i \"input_example\u002Fimg.png\" --mask \"input_example\u002Fmask.png\" --output_path \"output\"\n```\n\n生成结果将保存在 `output\u002Franked` 文件夹中，按 CLIP 相似度排名排序。为了获得最佳效果，请生成大量结果（至少 64 个），并选取其中最好的几个。\n\n为了在一次扩散过程中生成多个结果，我们采用了批处理方式。如果出现 `CUDA 内存不足` 的错误，请先尝试降低批次大小，设置 `--batch_size 1`。\n\n# 应用\n\n### 同一提示下的多结果合成\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_39639f5f4f09.jpg\" width=\"800px\">\n\n### 不同提示下的合成结果\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_a1ffc3e19785.jpg\" width=\"800px\">\n\n### 修改现有物体的一部分\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_447abc32b147.jpg\" width=\"800px\">\n\n### 更换背景\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_e8487e89d0c4.jpg\" width=\"800px\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_ead4ec65595e.jpg\" width=\"800px\">\n\n### 手绘引导的编辑\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_19b7a34bd49b.jpg\" width=\"800px\">\n\n### 文本引导的外推\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_8dbf812da2ce.jpg\" width=\"800px\">\n\n### 多种应用的组合\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_0ecbf34a337d.jpg\" width=\"800px\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_readme_cfa6b413e7ec.jpg\" width=\"800px\">\n\n# 致谢\n本代码借鉴了 [CLIP](https:\u002F\u002Fgithub.com\u002Fopenai\u002FCLIP)、[Guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion) 和 [CLIP-Guided Diffusion](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12a_Wrfi2_gwwAuN3VvMTwVMz9TfqctNj) 的相关实现。\n\n# 引用\n如果您在研究中使用了本代码，请引用以下文献：\n```\n@InProceedings{Avrahami_2022_CVPR,\n    author    = {Avrahami, Omri and Lischinski, Dani and Fried, Ohad},\n    title     = {Blended Diffusion for Text-Driven Editing of Natural Images},\n    booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n    month     = {June},\n    year      = {2022},\n    pages     = {18208-18218}\n}\n```","# Blended Diffusion 快速上手指南\n\nBlended Diffusion 是一个基于文本驱动的自然图像局部编辑工具。它结合了预训练的 CLIP 模型和去噪扩散概率模型（DDPM），允许用户通过自然语言描述和区域掩码（ROI Mask）对图像的特定部分进行编辑（如添加、移除、替换物体或更换背景），同时保持背景的自然融合。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 需使用 WSL2)\n*   **Python 版本**: 3.9\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（推荐显存 8GB 以上，若显存较小需调整 batch size）\n*   **包管理器**: Conda (推荐) 或 pip\n\n## 安装步骤\n\n### 1. 创建虚拟环境并安装依赖\n\n使用 Conda 创建名为 `blended-diffusion` 的虚拟环境，并安装必要的 Python 库。\n\n```bash\nconda create --name blended-diffusion python=3.9\nconda activate blended-diffusion\npip3 install ftfy regex matplotlib lpips kornia opencv-python torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Ftorch_stable.html\n```\n\n> **提示**：上述命令安装了特定版本的 PyTorch (CUDA 11.1)。如果您的服务器 CUDA 版本不同，请访问 [PyTorch 官网](https:\u002F\u002Fpytorch.org\u002F) 获取对应版本的安装命令，但需确保 PyTorch 版本 >= 1.9.0。\n\n### 2. 下载预训练模型\n\n在项目根目录下创建 `checkpoints` 文件夹，并下载预训练的扩散模型权重文件。\n\n```bash\nmkdir checkpoints\nwget -O checkpoints\u002F256x256_diffusion_uncond.pt \"https:\u002F\u002Fhuggingface.co\u002Fomriav\u002Fblended-diffusion\u002Fresolve\u002Fmain\u002Fcheckpoints\u002F256x256_diffusion_uncond.pt?download=true\"\n```\n\n> **国内加速建议**：如果从 Hugging Face 下载速度较慢，可使用国内镜像源或代理加速下载，然后将文件 `256x256_diffusion_uncond.pt` 放入 `checkpoints` 目录即可。\n\n## 基本使用\n\n准备好输入图片（`img.png`）和对应的掩码图片（`mask.png`，白色区域为需要编辑的部分，黑色为保留部分）后，即可运行编辑命令。\n\n### 运行示例\n\n以下命令将把输入图片中掩码指定的区域编辑为 \"rock\"（岩石）：\n\n```bash\npython main.py -p \"rock\" -i \"input_example\u002Fimg.png\" --mask \"input_example\u002Fmask.png\" --output_path \"output\"\n```\n\n*   `-p`: 文本提示词（Prompt），描述你想要生成的内容。\n*   `-i`: 输入原图路径。\n*   `--mask`: 掩码图片路径。\n*   `--output_path`: 输出结果保存目录。\n\n### 查看结果\n\n生成完成后，结果将保存在 `output\u002Franked` 文件夹中。\n*   文件已按 **CLIP 相似度** 排序，排名靠前的图片通常与文本描述匹配度最高且视觉效果最好。\n*   **最佳实践**：为了获得高质量结果，建议一次性生成较多数量（至少 64 张），然后从中挑选最佳的一张。\n\n### 显存优化\n\n如果在运行过程中遇到 `CUDA out of memory` 错误，请尝试减小批处理大小：\n\n```bash\npython main.py -p \"rock\" -i \"input_example\u002Fimg.png\" --mask \"input_example\u002Fmask.png\" --output_path \"output\" --batch_size 1\n```","一位电商设计师需要为一张现有的产品实拍图更换背景，以适配即将到来的“秋季户外露营”主题促销活动。\n\n### 没有 blended-diffusion 时\n- **抠图痕迹明显**：传统 PS 抠图后，产品边缘常残留原背景色晕，与新背景融合生硬，缺乏真实光影交互。\n- **光影逻辑割裂**：手动绘制阴影和高光极其耗时，且难以模拟自然光线下物体与环境的真实反射关系。\n- **修改成本高昂**：若需尝试不同风格（如从“森林”改为“海滩”），必须重新进行繁琐的蒙版绘制和后期合成。\n- **创意受限**：仅能替换纯色或简单素材背景，无法根据文字描述生成具有复杂细节和氛围感的自然场景。\n\n### 使用 blended-diffusion 后\n- **无缝自然融合**：只需提供产品掩码和“秋季露营”提示词，blended-diffusion 利用扩散模型自动在噪声层面混合，生成边缘过渡完美、光影一致的图像。\n- **语义精准控制**：直接输入文本即可驱动编辑，工具能智能理解语境，自动添加帐篷、落叶等符合主题的环境元素。\n- **高效批量迭代**：通过调整提示词（如改为“雪地营地”），可在几分钟内生成多组高相似度排序的方案，大幅缩短决策周期。\n- **保持主体完整**：在重绘背景的同时，blended-diffusion 能严格锁定未掩码区域，确保产品本身的纹理、颜色和细节毫发无损。\n\nblended-diffusion 将原本需要数小时的专业修图工作转化为分钟级的文本指令操作，实现了高质量、低成本的局部图像语义编辑。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomriav_blended-diffusion_40df25d9.jpg","omriav","Omri Avrahami","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fomriav_8761366e.jpg","Generative AI Researcher","The Hebrew University of Jerusalem",null,"https:\u002F\u002Fomriavrahami.com","https:\u002F\u002Fgithub.com\u002Fomriav",[23,27],{"name":24,"color":25,"percentage":26},"Jupyter Notebook","#DA5B0B",94.2,{"name":28,"color":29,"percentage":30},"Python","#3572A5",5.8,586,43,"2026-04-03T07:44:20","MIT",3,"未说明","需要 NVIDIA GPU (安装命令指定了 cu111)，显存需求取决于 batch_size，若出现 'CUDA out of memory' 需降低 batch_size",{"notes":39,"python":40,"dependencies":41},"需手动下载预训练扩散模型文件 (256x256_diffusion_uncond.pt) 至 checkpoints 目录；建议生成至少 64 张结果以选取最佳效果；若显存不足可通过设置 '--batch_size 1' 缓解。","3.9",[42,43,44,45,46,47,48,49],"torch==1.9.0+cu111","torchvision==0.10.0+cu111","ftfy","regex","matplotlib","lpips","kornia","opencv-python",[51,52,53,54],"开发框架","其他","插件","图像",[56,57,58,59,60,61,62,6],"text-guided-manipulation","multimodal","diffusion","openai-clip","openai","text-to-image","deep-learning","ready","2026-03-27T02:49:30.150509","2026-04-08T16:29:41.342627",[67,72,77,82,87,92,97],{"id":68,"question_zh":69,"answer_zh":70,"source_url":71},14931,"CLIP 模型在代码中是如何工作的？它是用来生成图像还是计算损失？","CLIP 模型在此项目中不用于直接生成图像。它的作用是提供文本嵌入（text embedding），用于指导扩散模型生成的图像区域与文本内容之间的对齐。具体来说，CLIP 用于计算生成部分（在 mask 区域内）与文本提示之间的损失（距离），从而引导扩散模型在去噪过程中生成符合文本描述的内容，而不是将文本编码为图像输入到扩散模型中。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F16",{"id":73,"question_zh":74,"answer_zh":75,"source_url":76},14932,"该项目是否需要额外的训练或微调？扩散引导损失（Diffusion Guided Loss）的作用是什么？","不需要任何额外的训练或微调，整个过程仅使用预训练模型。扩散引导损失（结合 CLIP 损失和背景保持损失）主要用于算法 1（作为弱基线）。在实际使用的算法 2（即 Blended Diffusion）中，仅需 CLIP 损失即可在每一步反向去噪过程中引导生成无缝融合的输出，因此不再需要背景保持损失。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F5",{"id":78,"question_zh":79,"answer_zh":80,"source_url":81},14933,"是否有 Colab 版本或在线演示可用？","目前没有为此项目专门提供 Colab 版本。开发者已在近期推出了改进版项目 [Blended Latent Diffusion](https:\u002F\u002Fomriavrahami.com\u002Fblended-latent-diffusion-page\u002F)，该版本生成效果更好且推理速度显著更快。团队将专注于为新项目创建在线演示，建议关注新项目以获取最新通知。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F2",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},14934,"运行时报错 'cusolver error: CUSOLVER_STATUS_INTERNAL_ERROR' 或 'slow_conv2d_cpu not implemented for Half' 如何解决？","这些错误通常与环境配置有关。'cusolver' 错误可能与 GPU 型号（如 RTX 4090）和 CUDA 版本（如 11.1）的兼容性有关，需检查驱动和 CUDA 版本是否匹配。'slow_conv2d_cpu' 错误是因为模型默认未针对 CPU 优化且不支持半精度（Half），建议在支持 CUDA 的 GPU 上运行。如果必须在 CPU 运行，可能需要修改代码以适应 CPU 计算，但官方未测试过 CPU 环境。推荐重新配置虚拟环境并确保 PyTorch 能正确识别 GPU（torch.cuda.is_available() 返回 True）。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F21",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},14935,"在哪里可以下载 512x512 的预训练模型检查点？如果是条件模型，条件向量如何设置？","512x512 的模型检查点可以在 OpenAI 的 [guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion) 仓库中下载。如果你下载的是条件模型（conditional model），可以将条件向量设置为零向量（zero vector），`image_editor.py` 中的代码已经能够处理这种情况，无需额外修改。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F12",{"id":93,"question_zh":94,"answer_zh":95,"source_url":96},14936,"涂鸦引导编辑（Scribble-guided editing）是否使用了 MSE 或 LPIPS 损失来保持形状和颜色一致？","不需要使用 MSE 或 LPIPS 损失。涂鸦区域的形状和颜色一致性是通过“部分加噪”（partial noising）机制实现的：将图像加噪到一定程度，保留粗略的形状和颜色信息，然后利用扩散模型的特性（初期生成草图，后期添加细节）进行重建。唯一的信号来源是图像的噪声水平，而非额外的损失函数。更多细节可参考论文中的 Figure 32。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F8",{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},14937,"如何训练 UNet 模型以适配自己的数据集？","本项目基于 OpenAI 的 [guided-diffusion](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fguided-diffusion)，UNet 的训练应使用该仓库提供的代码进行。不过，作者强烈建议使用其后续项目 [Blended Latent Diffusion](https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-latent-diffusion)，该项目提供了基于 Diffusers 的 Stable Diffusion 实现，更易于训练和推理，且效果更好、速度更快。","https:\u002F\u002Fgithub.com\u002Fomriav\u002Fblended-diffusion\u002Fissues\u002F22",[],[104,114,122,132,140,148],{"id":105,"name":106,"github_repo":107,"description_zh":108,"stars":109,"difficulty_score":35,"last_commit_at":110,"category_tags":111,"status":63},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[112,51,54,113],"Agent","数据工具",{"id":115,"name":116,"github_repo":117,"description_zh":118,"stars":119,"difficulty_score":35,"last_commit_at":120,"category_tags":121,"status":63},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[51,54,112],{"id":123,"name":124,"github_repo":125,"description_zh":126,"stars":127,"difficulty_score":128,"last_commit_at":129,"category_tags":130,"status":63},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[51,112,131],"语言模型",{"id":133,"name":134,"github_repo":135,"description_zh":136,"stars":137,"difficulty_score":128,"last_commit_at":138,"category_tags":139,"status":63},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[51,54,112],{"id":141,"name":142,"github_repo":143,"description_zh":144,"stars":145,"difficulty_score":128,"last_commit_at":146,"category_tags":147,"status":63},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[53,51],{"id":149,"name":150,"github_repo":151,"description_zh":152,"stars":153,"difficulty_score":35,"last_commit_at":154,"category_tags":155,"status":63},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[131,54,112,51]]