Stable Diffusion Web UI 的任意修复插件

“任意修复”扩展程序在浏览器界面上，使用从 Segment Anything 输出中选择的任何掩码，执行稳定扩散图像修复。

借助 Segment Anything，用户只需指向所需区域即可指定掩码，而无需手动绘制。这不仅提高了创建掩码的效率和准确性，还能节省时间和精力，从而获得更高质量的修复效果。

独立版本

安装

请按照以下步骤安装该软件：

• 打开 AUTOMATIC1111 的 Stable Diffusion Web UI 中的“Extensions”选项卡。
• 选择“Install from URL”选项。
• 在“URL for extension's git repository”字段中输入 https://github.com/Uminosachi/sd-webui-inpaint-anything.git。
• 点击“Install”按钮。
• 安装完成后，请重启 Web UI。
• 注意：此扩展支持 AUTOMATIC1111 的 Stable Diffusion Web UI v1.3.0 或更高版本。

运行应用程序

• 如果您打算使用内存高效的 xformers，请在启动命令中添加 --xformers 参数。例如，运行 ./webui.sh --xformers 或 webui.bat --xformers。
• 注意：如果您在浏览器中启用了隐私保护扩展程序（如 DuckDuckGo），可能无法从您的草图中获取掩码。
• 注意：在 Gradio 3.23.0 或更早版本中，分割图像可能会在 Web UI 上显示得较小。

下载模型

• 导航到 Web UI 中的“Inpaint Anything”选项卡。
• 点击位于 Segment Anything Model ID 旁边的“Download model”按钮。这包括 SAM 2、高精度 Segment Anything 模型 ID、Fast Segment Anything 和 更快的 Segment Anything (MobileSAM)。
  • 请注意，SAM 有三种尺寸：Base、Large 和 Huge。请记住，尺寸越大，VRAM 消耗越多。
• 等待下载完成。
• 下载的模型文件将存储在此应用程序仓库的 models 目录中。

使用方法

• 将您的图像拖放到输入图像区域。
  • 可以通过“Padding options”实现外扩，配置缩放比例和平衡，然后点击“Run Padding”按钮。
  • 勾选“Anime Style”复选框可以增强对动漫风格图像的分割掩码检测，但会略微降低掩码质量。
• 点击“Run Segment Anything”按钮。
• 使用草图工具标记您想要修复的区域。您可以撤销操作并调整笔刷大小。
  • 将鼠标悬停在 SAM 图像或掩码图像上，按 S 键进入全屏模式，或按 R 键重置缩放。
• 点击“Create mask”按钮。掩码将显示在选定的掩码图像区域。

掩码调整

• “Expand mask region”按钮：用于稍微扩大掩码区域，以获得更广泛的覆盖范围。
• “Trim mask by sketch”按钮：单击此按钮可将草图区域排除在掩码之外。
• “Add mask by sketch”按钮：单击此按钮可将草图区域添加到掩码中。

修复选项卡

• 输入您所需的 Prompt 和 Negative Prompt，然后选择修复模型 ID。
• 点击“Run Inpainting”按钮（请注意，首次下载模型可能需要一些时间）。
  • 在高级选项中，您可以调整采样器、采样步数、指导尺度和种子。
  • 如果启用“Mask area Only”选项，则修改仅限于指定的掩码区域。
• 调整迭代滑块，以使用不同种子多次进行修复。
• 修复过程由 diffusers 提供支持。

小贴士

• 您可以直接将修复后的图像拖放到 Web UI 的输入图像字段中。（在 Chrome 和 Edge 浏览器中效果较好）
• 要加载保存在 PNG 文件中的提示词，请按照以下步骤操作：
  • 将图像拖放到 Web UI 的“PNG Info”选项卡中，然后点击“Send to txt2img (or img2img)”。
  • 导航到“Inpaint Anything”选项卡中的“Inpainting”部分，点击“Get prompt from: txt2img (or img2img)”按钮。

模型缓存

• 保存在 HuggingFace 缓存中的修复模型，如果其 repo_id 包含 inpaint（不区分大小写），也会被添加到修复模型 ID 下拉列表中。
  • 如果您想使用特定模型，可以提前使用以下 Python 命令将其缓存起来（Linux 和 MacOS 使用 venv/bin/python）：

  venv\Scripts\python.exe
  

  from diffusers import StableDiffusionInpaintPipeline
  pipe = StableDiffusionInpaintPipeline.from_pretrained("Uminosachi/dreamshaper_5-inpainting")
  exit()
  

• 下载的模型通常存储在您的主目录中。对于 Linux 和 MacOS 用户，可以在 /home/username/.cache/huggingface/hub 找到；对于 Windows 用户，则位于 C:\Users\username\.cache\huggingface\hub。
  • 在执行修复时，如果控制台输出以下错误信息，请尝试从上述缓存文件夹中删除相应模型：

  An error occurred while trying to fetch model name...
  

清理选项卡

• 选择清理模型 ID。
• 点击“Run Cleaner”按钮（请注意，首次下载模型可能需要一些时间）。
• 清理过程由 Lama Cleaner 执行。

修复 Web UI 选项卡

• 当您拥有修复模型时，此选项卡将变为可用。
• 所需模型的文件名应包含 inpaint（不区分大小写），并且必须位于 stable-diffusion-webui/models 目录中。
• 一旦模型被识别，它就会出现在修复模型 ID 下拉列表中。
• 当 Web UI 左上角的稳定扩散检查点与所选修复模型 ID 匹配时，修复过程可以快速执行，无需加载模型。

ControlNet 修复选项卡

• 要执行图像修复，请使用 Web UI 左上角的 Stable Diffusion 检查点，并将其与 ControlNet 修复模型配对。
• 输入您所需的提示词和负面提示词。
• 单击 运行 ControlNet 修复 按钮以开始处理。
  • 在高级选项中，您可以调整采样器、采样步数、指导尺度、去噪强度和种子。
• 可以在 ControlNet 选项中修改控制权重和控制模式。
  • 如果多 ControlNet 设置配置为 2 或更高，则可以使用仅参考控制。
  • 如果 extensions/sd-webui-controlnet/models 目录中存在 IP-Adapter 模型，并且 ControlNet 版本已更新，则可以使用 IP-Adapter。
• 请确保安装支持 inpaint_only 预处理器和 ControlNet 修复模型的 ControlNet 扩展。
• 需要：sd-webui-controlnet 扩展以及位于 extensions/sd-webui-controlnet/models 目录中的 ControlNet-v1-1 修复模型。

仅掩码选项卡

• 提供仅保存掩码而不进行其他处理的功能，以便随后可以在 AUTOMATIC1111 中的 img2img 的 修复上传 功能中，使用您已有的任何模型/扩展/工具来应用该掩码。
• 将掩码作为图像的 Alpha 通道保存 按钮：将掩码保存为 RGBA 图像，并将其放入输入图像的 Alpha 通道中。
• 获取掩码 按钮：将掩码保存为 RGB 图像。
• 点击 获取掩码 按钮后，您可以使用掩码图像下方的 发送到 img2img 修复 按钮，将输入图像和掩码同时发送到 img2img 选项卡。

自动保存图像

• 修复后的图像将自动保存在 outputs/inpaint-anything 目录下，对应当前日期的文件夹中。
• 您可以通过 Web UI 的 设置 选项卡中的 Inpaint Anything 部分，切换到 outputs/img2img-images 目录。

开发

借助 Inpaint Anything 库，您可以使用来自其他扩展的草图进行分割并创建掩码。

许可证

源代码采用 Apache 2.0 许可证授权。

参考文献

• Ravi, N., Gabeur, V., Hu, Y.-T., Hu, R., Ryali, C., Ma, T., Khedr, H., Rädel, R., Rolland, C., Gustafson, L., Mintun, E., Pan, J., Alwala, K. V., Carion, N., Wu, C.-Y., Girshick, R., Dollár, P., & Feichtenhofer, C. (2024). SAM 2：图像与视频中的任意分割。arXiv 预印本。
• Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A. C., Lo, W-Y., Dollár, P., & Girshick, R. (2023). 任意分割。arXiv:2304.02643。
• Ke, L., Ye, M., Danelljan, M., Liu, Y., Tai, Y-W., Tang, C-K., & Yu, F. (2023). 高质量的任意分割。arXiv:2306.01567。
• Zhao, X., Ding, W., An, Y., Du, Y., Yu, T., Li, M., Tang, M., & Wang, J. (2023). 快速任意分割。arXiv:2306.12156 [cs.CV]。
• Zhang, C., Han, D., Qiao, Y., Kim, J. U., Bae, S-H., Lee, S., & Hong, C. S. (2023). 更快速的任意分割：面向移动应用的轻量级 SAM。arXiv:2306.14289。

sd-webui-inpaint-anything 快速上手指南

sd-webui-inpaint-anything 是 Stable Diffusion Web UI (AUTOMATIC1111) 的一款扩展插件。它集成了 Segment Anything (SAM) 模型，允许用户通过简单的点击或涂鸦来自动生成高质量蒙版，从而极大提升局部重绘（Inpainting）和外绘（Outpainting）的效率与精度。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 基础环境：已安装并正常运行 AUTOMATIC1111 Stable Diffusion Web UI。
  • 版本要求：Web UI 版本需为 v1.3.0 或更高。
• 显存优化（推荐）：为了流畅运行 SAM 模型，建议启用 xformers。
  • 启动命令示例：./webui.sh --xformers (Linux/Mac) 或 webui.bat --xformers (Windows)。
• 浏览器注意：请勿使用具有严格隐私保护功能的浏览器（如 DuckDuckGo），否则可能导致无法从草图中获取蒙版数据。建议使用 Chrome 或 Edge。
• 网络环境：首次运行需下载 SAM 系列模型和重绘模型，文件较大，请确保网络连接稳定。

安装步骤

请按照以下步骤在 Web UI 中安装该扩展：

1. 启动 Stable Diffusion Web UI，点击顶部导航栏的 Extensions（扩展）标签页。
2. 选择 Install from URL（从网址安装）子标签页。
3. 在 URL for extension's git repository 输入框中填入以下地址：

   https://github.com/Uminosachi/sd-webui-inpaint-anything.git
   

4. 点击 Install 按钮等待安装完成。
5. 安装完成后，切换到 Installed 标签页，点击 Apply and restart UI 重启 Web UI。

基本使用

安装并重启后，您将看到新的 Inpaint Anything 标签页。以下是完成一次标准局部重绘的最简流程：

1. 下载模型

进入 Inpaint Anything 标签页，点击 Download model 按钮。

• 系统会自动下载默认的 SAM 模型（如 sam_vit_h）。
• 注意：大尺寸模型（Huge/Large）效果更好但占用更多显存，可根据硬件情况在模型 ID 下拉框切换。

2. 生成蒙版

1. 将需要处理的图片拖拽至输入区域。
2. 点击 Run Segment Anything 按钮，等待分割结果生成。
3. 在生成的图像上，使用画笔工具点击或涂抹您想要重绘的目标区域。
   • 按 S 键可全屏查看，按 R 键重置缩放。
4. 点击 Create mask 按钮，系统将自动提取选区并生成黑白蒙版。

蒙版微调技巧：

• 若选区过小，点击 Expand mask region 扩大范围。
• 若需排除某区域，使用 Trim mask by sketch 并在图上涂抹排除区。
• 若需增加选区，使用 Add mask by sketch 并在图上涂抹增加区。

3. 执行重绘

在页面下方的 Inpainting Tab 中进行设置：

1. 输入正向提示词（Prompt）和负向提示词（Negative Prompt）。
2. 选择 Inpainting Model ID（首次使用会自动下载对应的重绘模型）。
3. （可选）勾选 Mask area Only 仅对蒙版区域进行修改。
4. 点击 Run Inpainting 开始生成。

生成完成后，图片将自动保存至 outputs/inpaint-anything/日期文件夹 中。您也可以直接将结果图拖回主界面进行二次创作。