Flux Gym

一个极其简单的网页界面，用于训练 FLUX LoRA 支持低显存（12GB/16GB/20GB）。

• 前端： WebUI 分支自 AI-Toolkit（由 https://x.com/multimodalart 创建的 Gradio 界面）
• 后端： 训练脚本由 Kohya Scripts 提供支持

FluxGym 通过一个默认隐藏的【高级】选项卡，支持 Kohya sd-scripts 的 100% 功能。

---

这是什么？

1. 我想要一个超级简单的 UI 来训练 Flux LoRA。
2. AI-Toolkit 项目非常棒，@multimodalart 贡献的 Gradio 界面也十分完美，但该项目仅适用于 24GB 显存。
3. Kohya Scripts 在训练 FLUX 方面非常灵活且强大，但需要在终端中运行。
4. 如果既能拥有 AI-Toolkit WebUI 的简洁性，又能享受 Kohya Scripts 的灵活性，那该多好？
5. Flux Gym 就此诞生。它支持 12GB、16GB 和 20GB 显存，并且由于底层使用了 Kohya Scripts，因此具有可扩展性。

---

新闻

• 9月25日：支持 Docker + 自动下载模型（无需手动下载模型即可完成设置）+ 支持自定义基础模型（不仅限于 flux-dev，任何模型只需添加到 models.yaml 文件中）。
• 9月16日：新增“发布到 Hugging Face”功能 + 100% 支持 Kohya sd-scripts 的所有功能：https://x.com/cocktailpeanut/status/1835719701172756592
• 9月11日：自动样本图像生成 + 自定义分辨率：https://x.com/cocktailpeanut/status/1833881392482066638

---

支持的模型

1. Flux1-dev
2. Flux1-dev2pro（如这里所述：https://medium.com/@zhiwangshi28/why-flux-lora-so-hard-to-train-and-how-to-overcome-it-a0c70bc59eaf）
3. Flux1-schnell（未能获得高质量结果，因此不推荐使用，但您可以自由尝试）
4. 更多？

当您选择模型开始训练时，这些模型会自动下载。

您可以通过编辑 models.yaml 文件轻松添加更多支持的模型。如果您想分享一些有趣的基模型，请提交 PR。

---

人们如何使用 Fluxgym

以下是一些使用 Fluxgym 在本地训练 LoRA 并分享经验的人：

https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

更多信息

欲了解更多信息，请查看此 X 帖子：https://x.com/cocktailpeanut/status/1832084951115972653

安装

1. 一键安装

您可以通过 Pinokio 一键启动器，在本地自动安装并启动所有内容：https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

2. 手动安装

首先克隆 Fluxgym 和 kohya-ss/sd-scripts：

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

您的文件夹结构将如下所示：

/fluxgym
  app.py
  requirements.txt
  /sd-scripts

现在从根目录 fluxgym 激活虚拟环境：

如果您使用的是 Windows：

python -m venv env
env\Scripts\activate

如果您使用的是 Linux：

python -m venv env
source env/bin/activate

这将在 fluxgym 文件夹下方创建一个 env 文件夹：

/fluxgym
  app.py
  requirements.txt
  /sd-scripts
  /env

现在进入 sd-scripts 文件夹，并将依赖项安装到已激活的环境中：

cd sd-scripts
pip install -r requirements.txt

然后返回根目录，安装应用程序的依赖项：

cd ..
pip install -r requirements.txt

最后，安装 PyTorch Nightly 版本：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

或者，如果您使用的是 NVIDIA RTX 50 系列显卡（如 5090 等），则需要安装 cu128 版本的 PyTorch，并将 bitsandbytes 更新到最新版本：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128
pip install -U bitsandbytes

启动

回到根目录 fluxgym，确保虚拟环境已激活，然后运行：

python app.py

请务必在运行 python app.py 之前激活虚拟环境。

Windows：env/Scripts/activate Linux：source env/bin/activate

3. 通过 Docker 安装

首先克隆 Fluxgym 和 kohya-ss/sd-scripts：

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

检查您的 user id 和 group id，如果不是 1000，则通过 PUID 和 PGID 环境变量进行更改。您可以在 Linux 中运行以下命令来查看这些值：id

现在构建镜像并通过 docker-compose 运行：

docker compose up -d --build

打开浏览器，访问计算机或虚拟机的 IP 地址：http://localhost:7860

使用方法

使用起来非常简单：

1. 输入 LoRA 相关信息。
2. 上传图片并为其添加描述（使用触发词）。
3. 点击“开始”。

就这么简单！

配置

样本图像

默认情况下，Fluxgym 在训练过程中不会生成任何样本图像。

不过，您可以配置 Fluxgym，使其每隔 N 步自动生成样本图像。效果如下所示：

要启用此功能，只需设置两个字段：

1. 样本图像提示词： 这些提示词将在训练过程中用于自动生成图像。如果有多个提示词，请用换行符分隔。
2. 每 N 步生成一次样本图像： 如果您的“预计训练步数”为 960，而“每 N 步生成一次样本图像”的值为 100，则系统会在第 100、200、300、400、500、600、700、800 和 900 步，为每个提示词分别生成图像。

高级示例图片

得益于 kohya/sd-scripts 提供的内置语法，您可以在训练阶段精确控制示例图片的生成方式：

假设触发词是 hrld person。通常，您可能会尝试以下示例提示词：

hrld person is riding a bike
hrld person is a body builder
hrld person is a rock star

但对于每个提示词，您都可以加入 高级标志 来完全掌控图像生成过程。例如，--d 标志允许您指定 SEED（种子）。

指定种子意味着每张示例图片都会使用该确切的种子，因此您可以清晰地观察 LoRA 的演变过程。以下是使用示例：

hrld person is riding a bike --d 42
hrld person is a body builder --d 42
hrld person is a rock star --d 42

UI 界面如下所示：

生成结果如下：

除了 --d 标志外，您还可以使用其他标志：

• --n：设置负向提示，直至下一个选项。
• --w：指定生成图像的宽度。
• --h：指定生成图像的高度。
• --d：指定生成图像的种子。
• --l：指定生成图像的 CFG 缩放值。
• --s：指定生成步骤的数量。

此外，像 ( ) 和 [ ] 这样的提示权重也同样适用。（了解更多关于 Attention/Emphasis 的信息）

发布到 Hugging Face

1. 从 https://huggingface.co/settings/tokens 获取您的 Hugging Face Token。
2. 将该 Token 填入“Hugging Face Token”字段并点击“登录”。系统会将 Token 文本保存到名为 HF_TOKEN 的本地文件中（所有内容均为本地且私密）。
3. 登录后，您就可以从下拉菜单中选择已训练好的 LoRA，若需要可编辑名称，然后将其发布到 Hugging Face。

高级功能

高级选项卡是通过解析最新版 kohya sd-scripts 所支持的启动标志自动生成的。这意味着 Fluxgym 是一个功能齐全的 UI，可用于运行 Kohya 脚本。

默认情况下，高级选项卡处于隐藏状态。您可以点击“advanced”折叠面板将其展开。

高级特性

上传说明文件

您也可以同时上传说明文件和图像文件。只需遵循以下约定：

1. 每个说明文件必须是 .txt 文件。
2. 每个说明文件都应有一个同名的对应图像文件。
3. 例如，如果您有一个名为 img0.png 的图像文件，则对应的说明文件必须是 img0.txt。

FluxGym 快速上手指南

FluxGym 是一个极简的 Web UI，用于训练 FLUX LoRA 模型。其最大特点是支持低显存（12GB/16GB/20GB）环境，底层基于强大的 Kohya Scripts，前端采用友好的 Gradio 界面。

环境准备

系统要求

• 操作系统: Windows 或 Linux
• 显卡: NVIDIA GPU (推荐 RTX 30/40 系列)
• 显存: 最低 12GB VRAM (支持 12GB/16GB/20GB/24GB)
• CUDA 版本: 建议 CUDA 12.1 或更高 (RTX 50 系列需 CUDA 12.8)

前置依赖

• Python 3.10+
• Git
• 良好的网络连接（用于自动下载模型和依赖）

注意: 国内用户若遇到 PyTorch 或 HuggingFace 下载缓慢，建议配置相应的镜像源或代理加速。

---

安装步骤

方法一：一键安装（推荐新手）

使用 Pinokio 启动器可自动完成所有环境配置和模型下载： 访问 Pinokio FluxGym 页面 点击一键启动。

方法二：手动安装

1. 克隆代码库

首先克隆 FluxGym 及其依赖的 Kohya Scripts：

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

此时目录结构应包含 app.py, requirements.txt 和 sd-scripts 文件夹。

2. 创建并激活虚拟环境

Windows:

python -m venv env
env\Scripts\activate

Linux:

python -m venv env
source env/bin/activate

3. 安装依赖

进入 sd-scripts 目录安装基础依赖：

cd sd-scripts
pip install -r requirements.txt

返回根目录安装应用依赖：

cd ..
pip install -r requirements.txt

4. 安装 PyTorch

通用方案 (CUDA 12.1):

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

RTX 50 系列专用 (CUDA 12.8):

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128
pip install -U bitsandbytes

5. Docker 安装（可选）

若偏好容器化部署，确保修改 PUID 和 PGID 环境变量匹配当前用户后运行：

docker compose up -d --build

启动后访问 http://localhost:7860。

---

基本使用

1. 启动服务

确保虚拟环境已激活，在 fluxgym 根目录下运行：

python app.py

浏览器打开提示的地址（通常为 http://127.0.0.1:7860）。

2. 训练流程

界面操作非常直观，只需三步：

1. 填写 LoRA 信息: 设置输出名称、触发词（Trigger Word）等基础参数。
2. 上传数据:
   • 上传训练图片。
   • 为图片添加描述（Caption），务必包含设定的触发词。
   • 进阶: 可直接上传与图片同名的 .txt 标签文件（如 img0.png 对应 img0.txt）。
3. 开始训练: 点击 "Start" 按钮。

3. 高级功能简述

• 自动生成样图: 在配置项中填写 "Sample Image Prompts" 和 "Sample Image Every N Steps"，可在训练过程中定期生成预览图以监控效果。
• 固定种子演化: 在提示词后添加 --d 42 等参数，可固定随机种子，直观观察 LoRA 随步数进化的过程。
• 发布到 Huggingface: 填入 Token 登录后，可直接将训练好的 LoRA 上传至 Huggingface Hub。
• 高级参数: 展开 "Advanced" 折叠栏，可使用 Kohya Scripts 支持的所有底层参数进行精细控制。

模型将在首次选择时自动下载，无需手动干预。