ControlLoRA：一种轻量级神经网络，用于控制 Stable Diffusion 的空间信息

🎉 2024年7月31日：ControlLoRA 第3版已在 control-lora-3 中发布。

🎉 ControlLoRA 第2版已在 control-lora-2 中发布。

EN | 中文

通过结合 lllyasviel/ControlNet 和 cloneofsimo/lora 的思想，我们能够借助 ControlLoRA——一个简单且小型（约700万参数，约25MB存储空间）的网络——轻松微调 Stable Diffusion，从而实现对其空间信息的控制。

ControlNet 模型体积较大，分享给朋友时不太方便。而借助 LoRA 的思路，我们甚至无需传输整个 Stable Diffusion 模型，只需使用这仅需25MB的 ControlLoRA 即可节省大量时间。

您可以在 apps 目录下使用 Gradio 应用程序来试用预训练模型。我们欢迎更多数据集类型的模型及其配套的 Gradio 应用程序。annotator 目录的内容则借用了 ControlNet 的代码。

您也可以从 huggingface 上下载一些预训练模型。需要注意的是，我在训练 OpenPose 模型时仅使用了100张 MPII 数据集图片，因此效果并不理想。建议您自行训练属于自己的 ControlLoRA。

特性与最新动态

2023年2月22日 - 新增 ControlLora，该模型以更小的规模（约500万参数，约20MB存储空间）分离提示词特征与空间信息。您可以进行如下操作：在 SD 1.5 上训练，然后在任何 3.0 版本上进行推理。

如何训练

请参考 tasks 目录下的脚本。强烈推荐参考来自 diffusers 的训练代码。

您可以在 configs 目录中添加或修改配置文件，以自定义 ControlLoRA 的模型架构。为了提升模型效果，您可以将部分模块替换为 diffusers 中的其他残差块类型，并通过修改配置文件增加模块层数。

进展中工作

• 实现更多 ControlNet 中提到的任务类型。

• 尝试混合使用 LoRA 和 ControlLoRA。

  我们可以在 ControlLoRA 之前注入预训练的 LoRA 模型。更多细节请参阅 mix_lora_and_control_lora.py 文件。

  男性 HighCWu 肖像

使用 Canny 边缘检测的 ControlLoRA

sd-diffusiondb-canny-model-control-lora，基于100张 OpenPose 图片，训练3万步

Stable Diffusion 1.5 + ControlLoRA（采用简单的 Canny 边缘检测）

python apps/gradio_canny2image.py

高度参考了 ControlNet 的代码。

该 Gradio 应用程序还允许您调整 Canny 边缘检测的阈值。请亲自尝试以了解更多细节。

提示词：“鸟”

提示词：“可爱的小狗”

使用人体姿态的 ControlLoRA

sd-mpii-pose-model-control-lora，基于100张 OpenPose 图片，训练3万步

Stable Diffusion 1.5 + ControlLoRA（使用人体姿态）

python apps/gradio_pose2image.py

同样高度参考了 ControlNet 的代码。

显然，这款模型需要一个更好的用户界面来直接操控姿态骨架。然而，Gradio 在定制化方面仍有一定难度。目前您需要输入一张图片，OpenPose 才会为您检测出姿态。

请注意，我在训练 OpenPose 模型时仅使用了100张 MPII 数据集图片，因此效果并不理想。建议您自行训练属于自己的 ControlLoRA。

提示词：“厨房里的厨师”

提示词：“月球上的宇航员”

PS：我不明白为什么我的图库没有完整显示图片，我必须点击某个输出才能看到完整的图像，例如：

共同讨论

QQ 群：艾梦的小群

QQ 频道：艾梦的AI造梦堂

Discord：AI Players - AI Dream Bakery

引用

@software{wu2023controllora,
    author = {吴和聪},
    month = {2},
    title = {{ControlLoRA：一种轻量级神经网络，用于控制 Stable Diffusion 的空间信息}},
    url = {https://github.com/HighCWu/ControlLoRA},
    version = {1.0.0},
    year = {2023}
}

ControlLoRA 快速上手指南

ControlLoRA 是一个轻量级神经网络（约 7M 参数，~25MB 存储空间），结合了 ControlNet 的空间控制能力与 LoRA 的微调理念。它允许用户在不传输完整 Stable Diffusion 模型的情况下，轻松实现对生成图像空间信息（如边缘、姿态）的控制。

注意：官方提供的预训练模型（特别是 OpenPose 版本）仅使用了少量数据训练，效果可能有限。建议参考下文自行训练以获得最佳效果。最新版本 ControlLoRA v3 已发布，建议关注 control-lora-3。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / Windows / macOS
• Python：3.8 或更高版本
• 硬件：支持 CUDA 的 NVIDIA GPU（推荐显存 8GB+，用于训练或推理）
• 前置依赖：
  • Git
  • PyTorch (建议版本与 Stable Diffusion 兼容，如 1.13+ 或 2.0+)
  • Hugging Face diffusers 库
  • gradio (用于运行演示应用)
  • opencv-python (用于图像处理)

安装步骤

1. 克隆仓库

   git clone https://github.com/HighCWu/ControlLoRA.git
   cd ControlLoRA
   

2. 安装依赖

   建议使用虚拟环境（如 conda 或 venv）以避免依赖冲突。

   pip install -r requirements.txt
   

   如果项目中未提供 requirements.txt，请根据代码导入手动安装核心库：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install diffusers transformers accelerate gradio opencv-python huggingface_hub
   

3. 下载预训练模型

   从 Hugging Face 下载预训练的 ControlLoRA 模型文件，并将其放置在项目指定的目录中（通常为 models 或代码中指定的路径）。

   • 模型地址：HighCWu/ControlLoRA on Hugging Face

基本使用

ControlLoRA 提供了基于 Gradio 的简易交互界面，您可以直接运行脚本体验 Canny 边缘检测或人体姿态控制功能。

1. Canny 边缘控制示例

此示例使用 Canny 边缘检测来控制生成图像的结构。

• 运行命令：

  python apps/gradio_canny2image.py
  

• 使用方法：

  1. 启动后，浏览器会自动打开 Gradio 界面。
  2. 上传一张参考图片，或直接调整 Canny 边缘检测的阈值。
  3. 输入提示词（Prompt），例如 "bird" 或 "cute dog"。
  4. 点击生成，查看结果。

2. 人体姿态控制示例

此示例使用 OpenPose 提取的人体骨架来控制生成人物的姿态。

• 运行命令：

  python apps/gradio_pose2image.py
  

• 使用方法：

  1. 启动 Gradio 界面。
  2. 上传包含人物的图片。系统将自动使用 OpenPose 检测姿态骨架。
  3. 输入提示词，例如 "Chief in the kitchen" 或 "An astronaut on the moon"。
  4. 点击生成。

  提示：由于官方预训练的 Pose 模型数据量较少（仅 100 张 MPII 图片），生成效果可能不佳。如需高质量姿态控制，强烈建议使用 tasks 目录下的脚本，结合 diffusers 的训练代码自行训练模型。

3. 自定义训练（进阶）

若需提升模型效果或适配特定数据集，可参考 tasks 目录中的训练脚本。

• 修改 configs 目录下的配置文件以定制模型架构（如更改残差块类型或增加层数）。
• 主要参考 Hugging Face Diffusers 的训练流程进行微调。