Custom Diffusion（自定义扩散）

网站 | 论文

[新功能！] Custom Diffusion 现已支持 Hugging Face 的 diffusers 库。训练和推理的详细信息请参见此处。

[新功能！] CustomConcept101 数据集。我们发布了一个包含 101 个概念及其评估提示（evaluation prompts）的新数据集。更多详情请参见此处。

[新功能！] 支持 SDXL 的 Custom Diffusion。diffusers 代码现已更新至 diffusers==0.21.4 版本。

Custom Diffusion 允许你使用少量（约 4–20 张）新概念的图像对文本到图像扩散模型（如 Stable Diffusion）进行微调（fine-tune）。我们的方法速度很快（在 2 块 A100 GPU 上仅需约 6 分钟），因为它只微调模型参数的一个子集，即交叉注意力（cross-attention）层中的键（key）和值（value）投影矩阵。这也使得每个新增概念所需的额外存储空间仅为 75MB。

我们的方法还支持组合多个概念，例如新物体 + 新艺术风格、多个新物体、新物体 + 新类别等。更多可视化结果请参见多概念结果部分。

文本到图像扩散模型的多概念定制化
Nupur Kumari、Bingliang Zhang、Richard Zhang、Eli Shechtman、Jun-Yan Zhu
CVPR 2023

结果

我们所有的结果均基于对 stable-diffusion-v1-4 模型的微调。
我们在多种类别的图像上展示了结果，包括场景、宠物、个人玩具和艺术风格，并使用了不同数量的训练样本。
如需查看更多生成结果以及与同期方法的对比，请访问我们的项目网页和图库。

单概念结果

多概念结果

方法细节

给定用户提供的少量某概念图像，我们的方法对预训练的文本到图像扩散模型进行增强，使其能够在未见过的上下文中生成该新概念。
我们仅微调模型权重的一小部分，即扩散模型交叉注意力层中从文本到潜在特征（latent features）的键（key）和值（value）映射。
我们的方法还使用一小批正则化图像（200 张）来防止过拟合。对于个人类别，我们在类别名称前添加一个新的修饰符 token V*，例如 V* dog。对于多个概念，我们在两个概念的数据集上联合训练。我们的方法还支持通过优化合并两个微调后的模型。更多细节请参阅我们的论文。

快速开始

git clone https://github.com/adobe-research/custom-diffusion.git
cd custom-diffusion
git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion
conda env create -f environment.yaml
conda activate ldm
pip install clip-retrieval tqdm

我们的代码基于 stable-diffusion 的以下提交版本开发：#21f890f9da3cfbeaba8e2ac3c425ee9e998d5229。

下载 Stable Diffusion 模型检查点： wget https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
更多详情请参见此处。

数据集： 我们在此处发布了论文中使用的一些数据集。
其中来自 UnSplash 的图像遵循 UnSplash 许可证。

模型： 所有我们的模型均可从此处下载。

单概念微调

使用真实图像作为正则化样本

## 下载数据集
wget https://www.cs.cmu.edu/~custom-diffusion/assets/data.zip
unzip data.zip

## 开始训练（占用 2 块 GPU 共 30 GB 显存）
bash scripts/finetune_real.sh "cat" data/cat real_reg/samples_cat  cat finetune_addtoken.yaml <pretrained-model-path>

## 保存更新后的模型权重
python src/get_deltas.py --path logs/<folder-name> --newtoken 1

## 生成图像
python sample.py --prompt "<new1> cat playing with a ball" --delta_ckpt logs/<folder-name>/checkpoints/delta_epoch\=000004.ckpt --ckpt <pretrained-model-path>

<pretrained-model-path> 是预训练模型 sd-v1-4.ckpt 的路径。我们论文中的结果并未使用 clip-retrieval 来检索真实图像作为正则化样本，但使用该方法也能得到类似效果。

使用生成图像作为正则化样本

bash scripts/finetune_gen.sh "cat" data/cat gen_reg/samples_cat  cat finetune_addtoken.yaml <pretrained-model-path>

多概念微调

联合训练

## 开始训练（占用 2 块 GPU 共 30 GB 显存）
bash scripts/finetune_joint.sh "wooden pot" data/wooden_pot real_reg/samples_wooden_pot \
                                    "cat" data/cat real_reg/samples_cat  \
                                    wooden_pot+cat finetune_joint.yaml <pretrained-model-path>

## 保存更新后的模型权重
python src/get_deltas.py --path logs/<folder-name> --newtoken 2

示例

python sample.py --prompt "the <new2> cat sculpture in the style of a <new1> wooden pot" --delta_ckpt logs/<folder-name>/checkpoints/delta_epoch\=000004.ckpt --ckpt <pretrained-model-path>

基于优化的权重融合

给定任意两个类别对应的微调模型权重 delta_ckpt1 和 delta_ckpt2，可以按如下方式将它们融合为一个单一模型：

python src/composenW.py --paths <delta_ckpt1>+<delta_ckpt2> --categories  "wooden pot+cat"  --ckpt <pretrained-model-path> 

## 示例
python sample.py --prompt "the <new2> cat sculpture in the style of a <new1> wooden pot" --delta_ckpt optimized_logs/<folder-name>/checkpoints/delta_epoch\=000000.ckpt --ckpt <pretrained-model-path>

使用 Diffusers 库进行训练

[新增功能！] Custom Diffusion 现已支持 diffusers。有关训练和推理的详细信息，请参阅此处。

## 安装依赖
pip install accelerate>=0.24.1
pip install modelcards
pip install transformers>=4.31.0
pip install deepspeed
pip install diffusers==0.21.4
accelerate config
export MODEL_NAME="CompVis/stable-diffusion-v1-4"

单概念微调（Single-Concept fine-tuning）

## 启动训练脚本（推荐使用 2 块 GPU；若仅使用 1 块 GPU，请将 --max_train_steps 增加至 500）

accelerate launch src/diffusers_training.py \
          --pretrained_model_name_or_path=$MODEL_NAME  \
          --instance_data_dir=./data/cat  \
          --class_data_dir=./real_reg/samples_cat/ \
          --output_dir=./logs/cat  \
          --with_prior_preservation --real_prior --prior_loss_weight=1.0 \
          --instance_prompt="photo of a <new1> cat"  \
          --class_prompt="cat" \
          --resolution=512  \
          --train_batch_size=2  \
          --learning_rate=1e-5  \
          --lr_warmup_steps=0 \
          --max_train_steps=250 \
          --num_class_images=200 \
          --scale_lr --hflip  \
          --modifier_token "<new1>"

## 生成示例
python src/diffusers_sample.py --delta_ckpt logs/cat/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt "<new1> cat playing with a ball"

你也可以在 accelerate config 配置中启用 --enable_xformers_memory_efficient_attention 和 fp16，以降低显存占用并加速训练。若要使用 SDXL 进行训练，请使用 diffusers_training_sdxl.py 并设置 MODEL_NAME="stabilityai/stable-diffusion-xl-base-1.0"。

多概念微调（Multi-Concept fine-tuning）

提供一个包含每个概念信息的 json 文件，格式参考 DreamBooth 示例。

## 启动训练脚本（推荐使用 2 块 GPU；若仅使用 1 块 GPU，请将 --max_train_steps 增加至 1000）

accelerate launch src/diffusers_training.py \
          --pretrained_model_name_or_path=$MODEL_NAME  \
          --output_dir=./logs/cat_wooden_pot  \
          --concepts_list=./assets/concept_list.json \
          --with_prior_preservation --real_prior --prior_loss_weight=1.0 \
          --resolution=512  \
          --train_batch_size=2  \
          --learning_rate=1e-5  \
          --lr_warmup_steps=0 \
          --max_train_steps=500 \
          --num_class_images=200 \
          --scale_lr --hflip  \
          --modifier_token "<new1>+<new2>" 

## 生成示例
python src/diffusers_sample.py --delta_ckpt logs/cat_wooden_pot/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt "<new1> cat sitting inside a <new2> wooden pot and looking up"

多概念的基于优化的权重融合

给定任意两个类别对应的微调模型权重 delta1.bin 和 delta2.bin，可以按如下方式将它们融合为一个单一模型：

python src/diffusers_composenW.py --paths <delta1.bin>+<delta2.bin> --categories  "wooden pot+cat"  --ckpt "CompVis/stable-diffusion-v1-4"

## 生成示例
python src/diffusers_sample.py --delta_ckpt optimized_logs/<folder-name>/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt "<new1> cat sitting inside a <new2> wooden pot and looking up"

上述 diffusers 训练代码修改自以下 DreamBooth 和 Textual Inversion 的训练脚本。有关如何配置 accelerate 的更多细节，请参阅此处。

人脸微调

对于人脸微调，我们建议在上述 diffusers 训练脚本中使用 learning_rate=5e-6 和 max_train_steps=750，或在 stable-diffusion 训练脚本中使用 finetune_face.yaml 配置文件。

我们观察到，与论文中展示的其他类别相比，人脸微调需要更低的学习率、更长的训练步数以及更多的图像才能获得更好的效果。当图像数量较少时，对 cross-attention（交叉注意力）层的所有参数进行微调效果略好，可通过添加 --freeze_model "crossattn" 启用该选项。

下图展示了使用 diffusers 训练脚本对 Richard Zhang 的 14 张特写照片进行微调的示例结果。

模型压缩

python src/compress.py --delta_ckpt <finetuned-delta-path> --ckpt <pretrained-model-path>

## 生成示例
python sample.py --prompt "<new1> cat playing with a ball" --delta_ckpt logs/<folder-name>/checkpoints/compressed_delta_epoch\=000004.ckpt --ckpt <pretrained-model-path> --compress

不同压缩级别下的生成示例。默认情况下，我们的代码会保留前 60% 的奇异值进行低秩近似（low-rank approximation），从而生成约 15 MB 大小的模型。

stable-diffusion-v1-4 的检查点转换

• 从 diffusers 的 delta.bin 转换为 CompVis 的 delta_model.ckpt：

python src/convert.py --delta_ckpt <path-to-folder>/delta.bin --ckpt <path-to-model-v1-4.ckpt> --mode diffuser-to-compvis                  
# 生成示例
python sample.py --delta_ckpt <path-to-folder>/delta_model.ckpt --ckpt <path-to-model-v1-4.ckpt> --prompt <text-prompt> --config configs/custom-diffusion/finetune_addtoken.yaml

• 从 diffusers 的 delta.bin 转换为 stable-diffusion-webui 的检查点：

python src/convert.py --delta_ckpt <path-to-folder>/delta.bin --ckpt <path-to-model-v1-4.ckpt> --mode diffuser-to-webui                  
# 在 stable-diffusion-webui 目录下启动 UI
bash webui.sh --embeddings-dir <path-to-folder>/webui/embeddings  --ckpt <path-to-folder>/webui/model.ckpt

• 从 CompVis 的 delta_model.ckpt 转换为 diffusers 的 delta.bin：

python src/convert.py --delta_ckpt <path-to-folder>/delta_model.ckpt --ckpt <path-to-model-v1-4.ckpt> --mode compvis-to-diffuser

sample

python src/diffusers_sample.py --delta_ckpt <path-to-folder>/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt <text-prompt>

• 来自 CompVis 的 delta_model.ckpt stable-diffusion-webui checkpoint（检查点）。

python src/convert.py --delta_ckpt <path-to-folder>/delta_model.ckpt --ckpt <path-to-model-v1-4.ckpt> --mode compvis-to-webui                  
# 在 stable-diffusion-webui 目录下启动 UI
bash webui.sh --embeddings-dir <path-to-folder>/webui/embeddings  --ckpt <path-to-folder>/webui/model.ckpt

转换后的 checkpoints（检查点）将保存在原始 checkpoints 所在的 <path-to-folder> 目录中。

References（参考文献）

@article{kumari2022customdiffusion,
  title={Multi-Concept Customization of Text-to-Image Diffusion},
  author={Kumari, Nupur and Zhang, Bingliang and Zhang, Richard and Shechtman, Eli and Zhu, Jun-Yan},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2023}
}

Acknowledgments（致谢）

我们感谢 Nick Kolkin、David Bau、Sheng-Yu Wang、Gaurav Parmar、John Nack 和 Sylvain Paris 提供的宝贵意见和讨论，也感谢 Allie Chang、Chen Wu、Sumith Kulal、Minguk Kang、Yotam Nitzan 和 Taesung Park 对初稿的校对。我们还要感谢 Mia Tang 和 Aaron Hertzmann 分享他们的艺术作品。部分数据集从 Unsplash 下载。本工作部分由 Nupur Kumari 在 Adobe 实习期间完成。该研究部分得到了 Adobe Inc. 的支持。

Custom Diffusion 快速上手指南

环境准备

• 系统要求：Linux 或 macOS（Windows 未官方支持）
• GPU：推荐至少 2 张 A100 或等效显卡（单卡可运行，需调整训练步数）
• 显存：单次训练约需 30GB 显存（使用 diffusers + fp16 可降低需求）
• Python：建议使用 Python 3.8+ 和 Conda 环境管理

💡 国内用户建议配置 Hugging Face 镜像加速模型下载（如通过 HF_ENDPOINT=https://hf-mirror.com）。

安装步骤

# 克隆仓库
git clone https://github.com/adobe-research/custom-diffusion.git
cd custom-diffusion

# 克隆 Stable Diffusion（指定兼容版本）
git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion

# 创建 Conda 环境（使用官方 environment.yaml）
conda env create -f environment.yaml
conda activate ldm

# 安装额外依赖
pip install clip-retrieval tqdm

# 返回项目根目录
cd ..

下载预训练模型

# 下载 Stable Diffusion v1.4 模型（国内用户建议使用镜像或代理）
wget https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt

📌 模型保存路径记为 <pretrained-model-path>，后续命令中替换为此路径。

（可选）使用 Diffusers 库（推荐新用户）

# 安装 diffusers 及依赖（支持 SDXL）
pip install accelerate>=0.24.1 modelcards transformers>=4.31.0 deepspeed
pip install diffusers==0.21.4

# 配置 accelerate（按提示选择 GPU、混合精度等）
accelerate config

# 设置模型名称
export MODEL_NAME="CompVis/stable-diffusion-v1-4"

基本使用

单概念微调（以“猫”为例）

方法一：使用原始脚本

# 下载示例数据
wget https://www.cs.cmu.edu/~custom-diffusion/assets/data.zip
unzip data.zip

# 启动训练（替换 <pretrained-model-path> 为实际路径）
bash scripts/finetune_real.sh "cat" data/cat real_reg/samples_cat cat finetune_addtoken.yaml <pretrained-model-path>

# 提取微调权重
python src/get_deltas.py --path logs/cat --newtoken 1

# 生成图像
python sample.py --prompt "<new1> cat playing with a ball" --delta_ckpt logs/cat/checkpoints/delta_epoch\=000004.ckpt --ckpt <pretrained-model-path>

方法二：使用 Diffusers（更简洁）

# 启动训练（2 GPU 推荐）
accelerate launch src/diffusers_training.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --instance_data_dir=./data/cat \
  --class_data_dir=./real_reg/samples_cat/ \
  --output_dir=./logs/cat \
  --with_prior_preservation --real_prior --prior_loss_weight=1.0 \
  --instance_prompt="photo of a <new1> cat" \
  --class_prompt="cat" \
  --resolution=512 \
  --train_batch_size=2 \
  --learning_rate=1e-5 \
  --max_train_steps=250 \
  --num_class_images=200 \
  --modifier_token "<new1>"

# 生成图像
python src/diffusers_sample.py --delta_ckpt logs/cat/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt "<new1> cat playing with a ball"

多概念微调（如“木盆 + 猫”）

使用 Diffusers 方式（需准备 concept_list.json）：

accelerate launch src/diffusers_training.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --output_dir=./logs/cat_wooden_pot \
  --concepts_list=./assets/concept_list.json \
  --with_prior_preservation --real_prior --prior_loss_weight=1.0 \
  --resolution=512 \
  --train_batch_size=2 \
  --learning_rate=1e-5 \
  --max_train_steps=500 \
  --num_class_images=200 \
  --modifier_token "<new1>+<new2>"

# 生成图像
python src/diffusers_sample.py --delta_ckpt logs/cat_wooden_pot/delta.bin --ckpt "CompVis/stable-diffusion-v1-4" --prompt "<new1> cat sitting inside a <new2> wooden pot and looking up"

✅ 提示：更多示例数据和预训练模型可从 官网 下载。