由Yushan提供的扩展Dreambooth操作指南

在Vast.ai上运行
在Google Colab上运行
在本地PC（Windows）上运行
在本地PC（Ubuntu）上运行
将Corridor Digital的Dreambooth教程适配到JoePenna的仓库
在JoePenna的Dreambooth中使用标题

索引

• Joe Penna的笔记
• 设置
  • 简易RunPod说明
  • Vast.AI设置
  • 本地运行
    • venv
    • Conda
  • 配置文件与命令行参考
• 标题及多主体/概念支持
• 文本反转 vs. Dreambooth
• 使用生成的模型
• 调试你的结果
  • 它们完全不像你！
  • 它们有点像你，但又完全像你的训练图片
  • 它们看起来像你，但在尝试不同风格时却不再如此
• Hugging Face Diffusers

曾被称为“Dreambooth”的仓库

Joe Penna的笔记

介绍！

你好！我叫乔·佩纳。

你可能在YouTube上看过我以“MysteryGuitarMan”名义发布的一些视频。现在我是一名故事片导演。你或许已经看过《极地》（ARCTIC）或《偷渡者》（STOWAWAY）。

为了我的电影制作，我需要能够训练特定的演员、道具、场景等。因此，我对@XavierXiao的仓库进行了大量修改，以便用于训练人脸。

虽然我无法公开当前正在拍摄的电影的所有测试内容，但我会在自己的Twitter页面——@MysteryGuitarM——分享使用自己脸部进行的测试结果。这些测试大多是在我的朋友Niko（来自CorridorDigital）的帮助下完成的。也许这就是你找到这个仓库的原因！

我并不是一名程序员。我只是比较固执，并且不怕去谷歌搜索。最终，一些非常聪明的人加入了进来并持续贡献代码。在这个仓库中，特别要感谢：@djbielejeski、@gammagec、MrSaad——当然还有我们Discord社区中的许多其他成员！

现在，这已经不再是我一个人的仓库了，而是所有希望看到Dreambooth在Stable Diffusion上良好运行的人们的共同成果！

如果你打算尝试这个项目，请先阅读以下警告：

警告！

• 让我们尊重那些花费多年时间磨练技艺的创作者们的辛勤劳动和创造力。

  • 这个版本的Dreambooth专为数字艺术家设计，旨在将他们自己的角色和风格融入Stable Diffusion模型中，同时也允许用户训练自己的肖像。我的主要目标是为电影制作人提供一个工具，让他们能够与所雇佣的概念艺术家进行互动，从而生成初始创意的种子，以便更直观地沟通。它适用于电影制作人、概念艺术家、漫画设计师等。
  • 未来可能会出现基于完美数据集训练而成的Stable Diffusion模型。然而，在此之前，出于道德、伦理以及潜在法律方面的考虑，我强烈建议不要将他人的作品训练进这些模型中（除非你已获得明确许可，或者对方已公开表示接受这项技术）。同样地，我也不建议在提示词中使用艺术家的名字。请不要让那些使这一切成为可能的人失去工作机会！

• 技术方面：

  • 你现在可以在配备24GB显存的GPU上运行（例如3090）。不过训练速度会较慢，而且你需要确保这是唯一正在运行的程序。
  • 如果你像我一样没有这样的设备，我在这里附上了一个Jupyter笔记本，帮助你在租用的云计算平台上运行。
  • 目前该笔记本已针对runpod.io和vast.ai进行了优化。
  • 我们也支持Colab笔记本：

• 此实现并未完全遵循Google关于如何保持潜在空间完整性的理念。

  • 大多数与你训练内容相似的图像都会向你所训练的内容靠拢。
  • 例如，如果你在训练一个人物，那么所有人物都会看起来像你；如果你在训练一件物品，那么同类物品都会呈现出你所训练的外观。

• 目前似乎还没有简单的方法可以连续训练两个主题。在修剪之前，你会得到一个大小约为11-12GB的文件。

  • 提供的笔记本包含一个修剪工具，可以将其压缩至约~2gb。

• 最佳实践是将token替换为某个名人的名字（注意：这里指的是token，而非class——因此你的提示词可能是这样的：“Chris Evans person”）。以下是我妻子使用完全相同的设置进行训练的结果，唯一的区别就是token

设置

简易RunPod说明

请注意，RunPod会定期升级其基础Docker镜像，这可能导致仓库无法正常运行。尽管目前所有的YouTube视频都不再是最新的，但你仍然可以将其作为参考。按照常规的RunPod YouTube视频或教程操作，只需做以下更改：

在“My Pods”页面中，

• 点击菜单按钮（位于紫色播放按钮左侧）
• 选择“编辑Pod”
• 将“Docker镜像名称”更新为以下之一（经2023年6月27日测试）：
  • runpod/pytorch:3.10-2.0.1-120-devel
  • runpod/pytorch:3.10-2.0.1-118-runtime
  • runpod/pytorch:3.10-2.0.0-117
  • runpod/pytorch:3.10-1.13.1-116
• 点击“保存”。
• 重启你的Pod

继续阅读指南的其余部分：

• 注册 RunPod。欢迎使用我的推荐链接，这样我就不用为此付费了（但你需要支付）。

• 登录后，选择 SECURE CLOUD 或 COMMUNITY CLOUD。

• 确保选择网络速度“高”的选项，以免因下载缓慢而浪费时间和金钱。

• 选择显存至少为 24GB 的设备，例如 RTX 3090、RTX 4090 或 RTX A5000。

• 按照下面的视频教程操作：

Vast.AI 使用说明

• 注册 Vast.AI（由 David Bielejeski 提供的推荐链接）。
• 充值一些资金（我通常每次充值 10 美元）。
• 前往 客户端 - 创建页面：
  • 选择 pytorch/pytorch 作为 Docker 镜像，并勾选“使用 Jupyter Lab 界面”和“Jupyter 直接 HTTPS”按钮。
  • 
• 建议增加磁盘空间，并按 GPU 显存进行筛选（2GB 的检查点文件 + 2-8GB 的模型文件 + 正则化图像 + 其他内容会迅速占用大量空间）。
  • 我通常分配 150GB。
  • 
  • 同时也要检查上传/下载速度，确保带宽足够，以免在等待下载时耗尽资金。
• 选择所需的实例，点击“租用”，然后前往你的 实例页面，点击“打开”。
  • 
  • 你可能会收到不安全证书警告。点击忽略该警告，或安装Vast 证书。
• 点击 Notebook -> Python 3（你可以通过多种方式完成这一步，但我通常这样做）。
  • 
• 使用以下命令克隆 Joe 的仓库：
  • !git clone https://github.com/JoePenna/Dreambooth-Stable-Diffusion.git
  • 点击“运行”。
  • 
• 在左侧导航栏中进入新创建的 Dreambooth-Stable-Diffusion 目录，打开 dreambooth_simple_joepenna.ipynb 或 dreambooth_runpod_joepenna.ipynb 文件。
  • 
• 按照笔记本中的说明开始训练。

本地运行说明

设置 - 虚拟环境

先决条件

1. Git
2. Python 3.10
3. 打开 cmd。
4. 克隆仓库：
   1. C:\>git clone https://github.com/JoePenna/Dreambooth-Stable-Diffusion
5. 进入仓库目录：
   1. C:\>cd Dreambooth-Stable-Diffusion

安装依赖并激活环境

cmd> python -m venv dreambooth_joepenna
cmd> dreambooth_joepenna\Scripts\activate.bat
cmd> pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
cmd> pip install -r requirements.txt

运行

cmd> python "main.py" --project_name "ProjectName" --training_model "C:\v1-5-pruned-emaonly-pruned.ckpt" --regularization_images "C:\regularization_images" --training_images "C:\training_images" --max_training_steps 2000 --class_word "person" --token "zwx" --flip_p 0 --learning_rate 1.0e-06 --save_every_x_steps 250

清理

cmd> deactivate 

设置 - Conda

先决条件

1. Git
2. Python 3.10
3. miniconda3
4. 打开 Anaconda Prompt (miniconda3)。
5. 克隆仓库：
   1. (base) C:\>git clone https://github.com/JoePenna/Dreambooth-Stable-Diffusion
6. 进入仓库目录：
   1. (base) C:\>cd Dreambooth-Stable-Diffusion

安装依赖并激活环境

(base) C:\Dreambooth-Stable-Diffusion> conda env create -f environment.yaml
(base) C:\Dreambooth-Stable-Diffusion> conda activate dreambooth_joepenna

运行

cmd> python "main.py" --project_name "ProjectName" --training_model "C:\v1-5-pruned-emaonly-pruned.ckpt" --regularization_images "C:\regularization_images" --training_images "C:\training_images" --max_training_steps 2000 --class_word "person" --token "zwx" --flip_p 0 --learning_rate 1.0e-06 --save_every_x_steps 250

清理

cmd> conda deactivate

配置文件与命令行参考

示例配置文件

{
    "class_word": "woman",
    "config_date_time": "2023-04-08T16-54-00",
    "debug": false,
    "flip_percent": 0.0,
    "gpu": 0,
    "learning_rate": 1e-06,
    "max_training_steps": 3500,
    "model_path": "D:\\stable-diffusion\\models\\v1-5-pruned-emaonly-pruned.ckpt",
    "model_repo_id": "",
    "project_config_filename": "my-config.json",
    "project_name": "<token> project",
    "regularization_images_folder_path": "D:\\stable-diffusion\\regularization_images\\Stable-Diffusion-Regularization-Images-person_ddim\\person_ddim",
    "save_every_x_steps": 250,
    "schema": 1,
    "seed": 23,
    "token": "<token>",
    "token_only": false,
    "training_images": [
        "001@a photo of <token> looking down.png",
        "002-DUPLICATE@a close photo of <token> smiling wearing a black sweatshirt.png",
        "002@a photo of <token> wearing a black sweatshirt sitting on a blue couch.png",
        "003@a photo of <token> smiling wearing a red flannel shirt with a door in the background.png",
        "004@a photo of <token> wearing a purple sweater dress standing with her arms crossed in front of a piano.png",
        "005@a close photo of <token> with her hand on her chin.png",
        "005@a photo of <token> with her hand on her chin wearing a dark green coat and a red turtleneck.png",
        "006@a close photo of <token>.png",
        "007@a close photo of <token>.png",
        "008@a photo of <token> wearing a purple turtleneck and earings.png",
        "009@a close photo of <token> wearing a red flannel shirt with her hand on her head.png",
        "011@a close photo of <token> wearing a black shirt.png",
        "012@a close photo of <token> smirking wearing a gray hooded sweatshirt.png",
        "013@a photo of <token> standing in front of a desk.png",
        "014@a close photo of <token> standing in a kitchen.png",
        "015@a photo of <token> wearing a pink sweater with her hand on her forehead sitting on a couch with leaves in the background.png",
        "016@a photo of <token> wearing a black shirt standing in front of a door.png",
        "017@a photo of <token> smiling wearing a black v-neck sweater sitting on a couch in front of a lamp.png",
        "019@a photo of <token> wearing a blue v-neck shirt in front of a door.png",
        "020@a photo of <token> looking down with her hand on her face wearing a black sweater.png",
        "021@a close photo of <token> pursing her lips wearing a pink hooded sweatshirt.png",
        "022@a photo of <token> looking off into the distance wearing a striped shirt.png",
        "023@a photo of <token> smiling wearing a blue beanie holding a wine glass with a kitchen table in the background.png",
        "024@a close photo of <token> looking at the camera.png"
    ],
    "training_images_count": 24,
    "training_images_folder_path": "D:\\stable-diffusion\\training_images\\24 Images - captioned"
}

使用您的配置进行训练

python "main.py" --config_file_path "path/to/the/my-config.json"

命令行参数

dreambooth_helpers\arguments.py

命令	类型	示例	描述
--config_file_path	字符串	"C:\\Users\\David\\Dreambooth Configs\\my-config.json"	要使用的配置文件路径
--project_name	字符串	"My Project Name"	项目名称
--debug	布尔值	False	可选 默认为 False。启用调试日志记录
--seed	整数	23	可选 默认为 23。用于 seed_everything 的随机种子
--max_training_steps	整数	3000	要运行的训练步数
--token	字符串	"owhx"	您希望用来代表训练后模型的唯一标记。
--token_only	布尔值	False	可选 默认为 False。仅使用标记进行训练，不使用类别词。
--training_model	字符串	"D:\\stable-diffusion\\models\\v1-5-pruned-emaonly-pruned.ckpt"	要训练的模型路径（model.ckpt）
--training_images	字符串	"D:\\stable-diffusion\\training_images\\24 Images - captioned"	训练图像目录的路径
--regularization_images	字符串	"D:\\stable-diffusion\\regularization_images\\Stable-Diffusion-Regularization-Images-person_ddim\\person_ddim"	包含正则化图像的目录路径
--class_word	字符串	"woman"	将 class_word 与您想要训练的图像类别匹配。例如：man、woman、dog 或 artstyle。
--flip_p	浮点数	0.0	可选 默认为 0.5。翻转百分比。例如，如果设置为 0.5，则会在 50% 的时间里翻转（镜像）您的训练图像。这有助于在无需增加更多训练图像的情况下扩展数据集。不过，对于人脸训练来说，这种做法可能会导致效果变差，因为大多数人的脸并不完全对称。
--learning_rate	浮点数	1.0e-06	可选 默认为 1.0e-06（0.000001）。设置学习率。支持科学计数法。
--save_every_x_steps	整数	250	可选 默认为 0。每 x 步保存一次检查点。当设置为 0 时，仅在达到 max_training_steps 后的训练结束时保存。
--gpu	整数	0	可选 默认为 0。指定除 GPU 0 外的其他 GPU 进行训练。目前尚未实现多 GPU 支持。

使用您的配置进行训练

python "main.py" --project_name "My Project Name" --max_training_steps 3000 --token "owhx" --training_model "D:\\stable-diffusion\\models\\v1-5-pruned-emaonly-pruned.ckpt" --training_images "D:\\stable-diffusion\\training_images\\24 Images - captioned" --regularization_images "D:\\stable-diffusion\\regularization_images\\Stable-Diffusion-Regularization-Images-person_ddim\\person_ddim" --class_word "woman" --flip_p 0.0 --save_every_x_steps 500

字幕与多主体/概念支持

字幕功能已支持。关于我们如何实现字幕的指南，请参阅这里。

假设你的标记是“effy”，类别是“person”，数据根目录为/train，那么：

training_images/img-001.jpg 的字幕为 effy person

你可以通过在文件名中添加 @ 符号来自定义字幕。

/training_images/img-001@a photo of effy => a photo of effy

你可以在字幕中使用两个标记 S（大写 S）和 C（大写 C），分别表示主体和类别。

/training_images/img-001@S being a good C.jpg => effy being a good person

要创建一个新的主体，只需为其创建一个文件夹即可。例如：

/training_images/bingo/img-001.jpg => bingo person

类别的部分保持不变，但主体已经改变。

此时，标记 S 变为 bingo：

/training_images/bingo/img-001@S is being silly.jpg => bingo is being silly

再深入一层，你就可以更改类别：/training_images/bingo/dog/img-001@S being a good C.jpg => bingo being a good dog

更进一步：再深入一层，你还可以为一组图片添加字幕：/training_images/effy/person/a picture of/img-001.jpg => a picture of effy person

文本反转 vs. Dreambooth

这个仓库中的大部分代码是由 Rinon Gal 等人编写的，他们是文本反转研究论文的作者。尽管其中加入了一些关于正则化图像和先验损失保留的想法（来自“Dreambooth”），但为了尊重 MIT 团队和 Google 的研究人员，我将这个分支重命名为： “曾经被称为‘Dreambooth’的仓库”。

如需其他实现方式，请参阅下方的替代方案。

使用生成的模型

ground truth（真实照片，注意：非常美丽的女性）

以下所有图片使用相同的提示词：

sks person	woman person	Natalie Portman person	Kate Mara person

调试你的生成结果

❗❗ 人们常犯的第一大错误 ❗❗

仅用你的标记进行提示，例如“joepenna”而不是“joepenna person”

如果你以 joepenna 作为标记，并将其归入 person 类别进行训练，那么模型只会将你的脸识别为：

joepenna person

示例提示词：

🚫 错误（joepenna 后缺少 person）

portrait photograph of joepenna 35mm film vintage glass

✅ 正确（joepenna 后包含 person）

portrait photograph of joepenna person 35mm film vintage glass

有时你可能会得到一些长得有点像你的结果（尤其是在训练步数过多时），但这只是因为当前版本的 Dreambooth 过度训练了该标记，导致其泛化到了其他内容上。

---

☢ 训练时请注意使用的图片类型

在训练过程中，Stable Diffusion 并不知道你是一个人。它只会模仿所看到的内容。

因此，如果你的训练图片看起来像这样：

那么你最终生成的结果很可能都是你在带刺树旁、穿着白灰相间衬衫的样子，风格也只会是……嗯，自拍照片。

相比之下，这样的训练集会更好：

这些图片之间唯一一致的地方就是主体。这样一来，Stable Diffusion 将只学习你的面部特征，从而可以将其“编辑”成其他风格。

哦不！生成效果并不理想！

方案 1：生成结果完全不像你！（继续训练，或使用更好的训练图片）

你确定自己的提示词写对了吗？

正确的格式应该是 <标记> <类别>，而不是仅仅使用 <标记>。例如：

JoePenna person, portrait photograph, 85mm medium format photo

如果仍然不像你，那说明你训练的时间还不够长。

---

方案 2：生成结果有点像你，但都和你的训练图片一模一样。（减少训练步数，使用更好的训练图片，或通过调整提示词解决）

可能有以下几个原因：你可能训练得太久了……或者你的图片过于相似……又或者你用于训练的图片数量不足。

没关系，我们可以通过调整提示词来解决这个问题。Stable Diffusion 对你输入内容的优先级非常高，所以请把关键信息放在前面：

an exquisite portrait photograph, 85mm medium format photo of JoePenna person with a classic haircut

---

方案 3：生成结果像你，但在尝试不同风格时却不像。（继续训练，使用更好的训练图片）

看来你还是训练得不够充分……

没关系，我们可以通过调整提示词来解决：

JoePenna person in a portrait photograph, JoePenna person in a 85mm medium format photo of JoePenna person

更多技巧和帮助请访问：Stable Diffusion Dreambooth Discord

Hugging Face Diffusers - 替代方案

现在，HuggingFace Diffusers 已经支持使用 Stable Diffusion 进行 Dreambooth 训练。

你可以在以下链接中尝试：

Dreambooth-Stable-Diffusion 快速上手指南

Dreambooth-Stable-Diffusion 是一个基于 Stable Diffusion 的微调工具，允许用户通过少量图片训练模型，以生成特定人物、物体或风格的图像。本指南基于 JoePenna 优化版本，帮助开发者快速部署并运行训练任务。

环境准备

系统要求

• 操作系统：Windows 10/11 或 Ubuntu Linux
• GPU：推荐 NVIDIA RTX 3090/4090 或同等算力显卡（显存至少 24GB）。若显存不足，建议使用云端 GPU 服务（如 RunPod, Vast.AI）。
• Python 版本：3.10

前置依赖

请确保已安装以下软件：

1. Git：下载地址 (Windows)
2. Python 3.10：官方下载
3. CUDA 驱动：确保显卡驱动支持 CUDA 11.7（对应 PyTorch 1.13.1）

国内加速建议：

• 使用清华源或阿里源加速 Python 包安装。
• 若访问 GitHub 缓慢，可使用镜像站克隆仓库。

安装步骤

你可以选择使用 虚拟环境 (venv) 或 Conda 进行安装。以下以 Windows 为例，Linux 用户请将路径分隔符 \ 改为 /。

方式一：使用 venv (推荐)

1. 克隆仓库 打开命令行工具 (cmd)，执行：

   git clone https://github.com/JoePenna/Dreambooth-Stable-Diffusion.git
   cd Dreambooth-Stable-Diffusion
   

2. 创建并激活虚拟环境

   python -m venv dreambooth_joepenna
   dreambooth_joepenna\Scripts\activate.bat
   

3. 安装 PyTorch (国内加速) 推荐使用清华源安装指定版本的 PyTorch：

   pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 安装其他依赖

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

方式二：使用 Conda

1. 克隆仓库 (同上)

2. 创建环境 打开 Anaconda Prompt，进入项目目录后执行：

   conda env create -f environment.yaml
   conda activate dreambooth_joepenna
   

   若 environment.yaml 下载依赖过慢，可手动编辑该文件，将 pip 部分替换为国内镜像源地址。

基本使用

训练前请准备好以下资源：

• 基础模型：例如 v1-5-pruned-emaonly-pruned.ckpt
• 训练图片：放入文件夹，例如 C:\training_images
• 正则化图片：用于防止过拟合，放入文件夹，例如 C:\regularization_images

运行训练命令

在激活的环境中执行以下命令（请根据实际路径修改参数）：

python "main.py" --project_name "MyProject" --training_model "C:\models\v1-5-pruned-emaonly-pruned.ckpt" --regularization_images "C:\regularization_images" --training_images "C:\training_images" --max_training_steps 2000 --class_word "person" --token "zwx" --flip_p 0 --learning_rate 1.0e-06 --save_every_x_steps 250

参数说明

• --project_name: 项目名称，生成的模型将保存在此文件夹下。
• --training_model: 原始 Stable Diffusion 模型路径 (.ckpt)。
• --training_images: 包含你想要训练的特定主体（如人脸、物体）的图片文件夹路径。
• --regularization_images: 正则化图片文件夹路径（通常使用同类别的通用图片，如“人”、“狗”等）。
• --class_word: 类别词，例如训练人像填 person，训练狗填 dog。
• --token: 触发词，一个独特的标识符（建议生僻词或名字），用于在生成时调用训练结果。
• --max_training_steps: 最大训练步数，通常 2000-3500 步。
• --learning_rate: 学习率，默认 1.0e-06 即可。

训练完成后，生成的模型文件位于 projects/MyProject/checkpoints 目录下，可直接加载到 Stable Diffusion WebUI 中使用。