ComfyUI Flux 训练器

基于稍作修改的 kohya 训练脚本的封装：https://github.com/kohya-ss/sd-scripts

包含来自以下项目的代码：https://github.com/KohakuBlueleaf/Lycoris
以及 https://github.com/LoganBooker/prodigy-plus-schedule-free

免责声明：

我之前几乎没有训练任何模型的经验，Flux 基本上是我第一次受到启发去学习的模型。在此之前，我只训练过 AnimateDiff 运动 LoRA，并为其构建过类似的训练节点。

请勿向我咨询训练相关问题

这一点我必须反复强调：本仓库并非用于讨论训练本身的问题，这类问题最好在 kohya 的仓库中提出。即便如此，请务必注意，我的实现可能存在错误。

默认设置并不一定优秀，它们只是我在众多尝试中最后使用的一个，并且对我的数据集有效。

本项目处于实验阶段

这些节点以及 kohya 提供的基础实现都仍在开发中，未来可能会发生变化。

安装步骤

1. 将本仓库克隆到 custom_nodes 文件夹中。

2. 安装依赖：pip install -r requirements.txt
   或者，如果您使用便携式安装包，请在 ComfyUI_windows_portable 文件夹下运行以下命令：

   python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-FluxTrainer\requirements.txt

此外，强烈建议使用 PyTorch 2.4.0 或更高版本。

LoRA 训练的示例工作流可在 examples 文件夹中找到，它使用了来自以下项目的附加节点：
https://github.com/kijai/ComfyUI-KJNodes

以及一些（可选）调试节点，来自：
https://github.com/rgthree/rgthree-comfy

进行 LoRA 训练时，模型需要使用普通的 fp8 或 fp16 版本，并确保使用的 VAE 是非 diffusers 版本：
https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/ae.safetensors

对于完整模型训练，则需要使用主模型的 fp16 版本。

为什么要在 ComfyUI 中进行训练？

• 熟悉的用户界面（当然，仅限于已经使用 ComfyUI 的用户）
• 可以使用与推理相同的模型
• 可以使用相同的 Python 环境，我没有遇到任何兼容性问题
• 可以构建工作流来比较不同设置等

目前支持 LoRA 训练，并且未经充分测试的完整微调功能也已集成，基于 kohya 的脚本：https://github.com/kohya-ss/sd-scripts

此外，还新增了对 LyCORIS 训练的实验性支持，使用了来自以下项目的代码：https://github.com/KohakuBlueleaf/Lycoris

ComfyUI-FluxTrainer 快速上手指南

ComfyUI-FluxTrainer 是一个用于在 ComfyUI 界面中训练 Flux 模型（支持 LoRA、LyCORIS 及全量微调）的自定义节点插件。它基于 kohya-ss 的训练脚本进行了封装，允许用户在熟悉的 ComfyUI 工作流中直接进行模型训练。

注意：本项目处于实验阶段，默认参数仅作者测试有效，非通用最佳实践。关于训练策略的具体问题请参考 kohya-ss 官方仓库。

环境准备

在开始之前，请确保满足以下系统和依赖要求：

• 操作系统：Windows / Linux / macOS
• Python 版本：建议与 ComfyUI 运行环境一致
• PyTorch 版本：强烈建议使用 torch 2.4.0 或更高版本，以获得最佳兼容性和性能。
• 前置插件（可选但推荐）：
  • ComfyUI-KJNodes：示例工作流依赖此插件。
  • rgthree-comfy：提供调试节点。

安装步骤

1. 克隆仓库

将本仓库克隆到 ComfyUI 的 custom_nodes 目录下：

cd ComfyUI/custom_nodes
git clone https://github.com/AI-Horde/ComfyUI-FluxTrainer.git

(注：若国内访问 GitHub 较慢，可使用镜像源或手动下载 ZIP 包解压至该目录)

2. 安装依赖

进入插件目录并安装所需 Python 包。

标准安装方式：

cd ComfyUI-FluxTrainer
pip install -r requirements.txt

便携版（Portable）安装方式： 如果您使用的是 ComfyUI Windows 便携版，请在 ComfyUI_windows_portable 文件夹下运行：

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-FluxTrainer\requirements.txt

提示：如遇网络问题导致 pip 安装失败，可添加国内镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 准备模型文件

根据训练类型下载对应的模型文件：

• LoRA 训练：需使用正常的 fp8 或 fp16 版本主模型。
  • VAE 要求：必须使用非 diffusers 版本的 VAE：ae.safetensors
• 全量微调（Full Finetune）：需使用主模型的 fp16 版本。

2. 加载工作流

1. 启动 ComfyUI。
2. 打开插件目录下的 examples 文件夹，加载提供的 LoRA 训练示例工作流（.json 或 .png）。
3. 检查工作流中的路径设置，确保指向正确的数据集文件夹和模型文件。

3. 开始训练

1. 在界面上调整训练参数（如 Epochs、Batch Size 等）。请注意默认参数可能不适用于所有数据集，需根据实际情况调整。
2. 点击 "Queue Prompt" 开始训练。
3. 训练生成的 LoRA 文件将保存在指定输出目录中。

4. 验证结果

训练完成后，可在同一 ComfyUI 环境中加载新生成的 LoRA 模型，配合原底模进行推理测试，验证训练效果。