Flow-GRPO：
通过在线强化学习训练流匹配模型

         

更改记录

accelerate launch --config_file scripts/accelerate_configs/multi_gpu.yaml --num_processes=1 --main_process_port 29503 scripts/train_wan2_1.py --config config/grpo.py:general_ocr_wan2_1

🤗 模型

训练速度

为提升训练效率，我们为 Flow-GRPO 提供了一组更优的参数设置。以下调整显著加快了训练速度：

• 在训练或测试过程中不使用 CFG — RL 过程实际上起到了 CFG 蒸馏 的作用。
• 使用来自 Flow-GRPO-Fast 或 MixGRPO 的窗口机制 — 只在部分步骤上进行训练。
• 采用 系数保持采样 (CPS) — CPS 在 GenEval 任务上带来了显著提升，并生成了更高品质的样本。典型的设置是 noise_level = 0.8，无需针对不同模型或步数进行调整即可取得良好效果。

下图展示了分别以 GenEval 和 Pickscore 为奖励时的测试集性能曲线，其中训练和评估均未使用 CFG。实验配置分别为 geneval_sd3_fast_nocfg 和 pickscore_sd3_fast_nocfg，使用的脚本来自 scripts/multi_node/sd3_fast。

🛡️ 过度优化（GRPO-Guard） 🔥🔥

为缓解流匹配中的隐性过度优化问题，我们的团队提出了 GRPO-Guard（🔥项目页面）。

我们首先观察到重要性比率存在固有偏差：

1. 其均值始终 低于 1，且在低噪声步骤时尤为显著（例如 SD3.5-M 中的第 8 步）。

2. 方差在不同步骤间变化明显。

理想情况下，重要性比率的分布应具有均值为 1 且方差稳定的特性。裁剪操作会将过于自信的正样本或负样本截断至区间 [1−ϵ,1+ϵ] 之外，从而确保梯度更新的稳定性。然而，重要性比率的偏差破坏了这一机制——正样本的梯度不再受到适当约束，导致策略模型陷入过度优化。结果是代理分数持续上升，而黄金分数却不断下降，最终造成图像质量严重退化。

下表总结了这些有偏的比率分布。

FlowGRPO	GRPO-Guard
裁剪机制失衡，无法约束过于自信的正样本。	裁剪机制失衡，无法约束过于自信的正样本。

为解决这一问题，GRPO-Guard 引入了两种有效缓解过度优化的机制：

• RatioNorm：修正重要性比率的分布偏差，并统一各去噪步骤的统计特性。
• 梯度重加权：基于 RatioNorm 进一步对不同去噪步骤的梯度进行重加权，以平衡它们的贡献，防止在特定噪声水平下出现过度优化。

下图比较了 GRPO-Guard 和 FlowGRPO 在文本渲染任务中的过度优化情况。GRPO-Guard 保持了与 FlowGRPO 相同的代理分数上升趋势，同时避免了黄金分数的快速下降，从而维持了较高的图像质量和多样性。

开始训练

下载基础模型并设置奖励模型后，运行以下脚本即可开始针对 SD3.5-M 文本渲染任务的 GRPO-Guard 训练。

# 主节点
bash scripts/multi_node/sd3_grpo_guard.sh 0
# 其他节点
bash scripts/multi_node/sd3_grpo_guard.sh 1

Flow-GRPO-Fast

我们提出了 Flow-GRPO-Fast，它是 Flow-GRPO 的加速版本，每条轨迹只需在 一到两个去噪步骤 上进行训练。对于每个提示，我们首先使用 ODE 采样生成一条确定性轨迹。在随机选择的一个中间步骤，我们会注入噪声并切换到 SDE 采样以生成一组样本。随后的流程将继续使用 ODE 采样。这样，随机性就被限制在一到两个步骤内，从而使训练能够集中在这几个步骤上。这一少步训练的想法主要由 Ziyang Yuan 在我们六月初的讨论中提出。

Flow-GRPO-Fast 带来了显著的效率提升：

• 每条轨迹仅需训练一到两次，大大降低了训练成本。
• 分支前的采样只需单个提示，无需扩展分组，进一步加快了数据收集速度。

在 PickScore 上的实验表明，Flow-GRPO-Fast 的奖励性能与 Flow-GRPO 相当，但训练速度更快。图中横轴表示训练轮次。每次迭代训练 2 步的 Flow-GRPO-Fast 表现优于 Flow-GRPO，而每次迭代仅训练 1 步的 Flow-GRPO-Fast 则略逊于 Flow-GRPO。无论哪种情况，与 Flow-GRPO 每次迭代训练 10 步相比，整个训练过程都显著加快。

请使用 scripts/multi_node/sd3_fast 中的脚本运行这些实验。

🚀 快速入门

1. 环境搭建

克隆本仓库并安装依赖包。

git clone https://github.com/yifan123/flow_grpo.git
cd flow_grpo
conda create -n flow_grpo python=3.10.16
pip install -e .

2. 模型下载

为避免多 GPU 训练时重复下载和潜在的存储浪费，请提前下载所需模型。

模型

• SD3.5：stabilityai/stable-diffusion-3.5-medium
• Flux：black-forest-labs/FLUX.1-dev

奖励模型

• PickScore：
  • laion/CLIP-ViT-H-14-laion2B-s32B-b79K
  • yuvalkirstain/PickScore_v1
• CLIPScore：openai/clip-vit-large-patch14
• 美学评分：openai/clip-vit-large-patch14

3. 奖励模型准备

上述步骤仅安装了当前仓库中的内容。由于每个奖励模型可能依赖于不同的版本，将它们合并到同一个 Conda 环境中可能会导致版本冲突。为避免这种情况，我们采用了受 ddpo-pytorch 启发的远程服务器设置。你只需安装计划使用的特定奖励模型即可。

GenEval

请创建一个新的 Conda 虚拟环境，并按照 reward-server 中的说明安装相应的依赖项。

OCR

请安装 paddle-ocr：

pip install paddlepaddle-gpu==2.6.2
pip install paddleocr==2.9.1
pip install python-Levenshtein

然后，使用 Python 命令行预下载模型：

from paddleocr import PaddleOCR
ocr = PaddleOCR(use_angle_cls=False, lang="en", use_gpu=False, show_log=False)

Pickscore

PickScore 无需额外安装。请注意，原始的 pickscore 数据集对应于本仓库中的 dataset/pickscore，其中包含一些不适宜的内容。我们强烈建议使用 pickapic_v1_no_images_training_sfw，即 Pick-a-Pic 数据集的 SFW 版本，它对应于本仓库中的 dataset/pickscore_sfw。

DeQA

请创建一个新的 Conda 虚拟环境，并按照 reward-server 中的说明安装相应的依赖项。

UnifiedReward

由于 sglang 可能与其他环境发生冲突，我们建议创建一个新的 conda 环境。

conda create -n sglang python=3.10.16
conda activate sglang
pip install "sglang[all]"

我们使用 sglang 来部署奖励服务。安装 sglang 后，请运行以下命令启动 UnifiedReward：

python -m sglang.launch_server --model-path CodeGoat24/UnifiedReward-7b-v1.5 --api-key flowgrpo --port 17140 --chat-template chatml-llava --enable-p2p-check --mem-fraction-static 0.85

ImageReward

请安装 imagereward：

pip install image-reward
pip install git+https://github.com/openai/CLIP.git

4. 开始训练

GRPO

单节点训练

# sd3
bash scripts/single_node/grpo.sh
# flux
bash scripts/single_node/grpo_flux.sh

# 主节点
bash scripts/multi_node/sd3.sh 0
# 其他节点
bash scripts/multi_node/sd3.sh 1
bash scripts/multi_node/sd3.sh 2
bash scripts/multi_node/sd3.sh 3

# 主节点
bash scripts/multi_node/flux.sh 0
# 其他节点
bash scripts/multi_node/flux.sh 1
bash scripts/multi_node/flux.sh 2
bash scripts/multi_node/flux.sh 3

pip install git+https://github.com/huggingface/diffusers.git

# 主节点
bash scripts/multi_node/flux_kontext.sh 0
# 其他节点
bash scripts/multi_node/flux_kontext.sh 1
bash scripts/multi_node/flux_kontext.sh 2
bash scripts/multi_node/flux_kontext.sh 3

pip install git+https://github.com/huggingface/diffusers.git

# 主节点
bash scripts/multi_node/qwenimage.sh 0
# 其他节点
bash scripts/multi_node/qwenimage.sh 1
bash scripts/multi_node/qwenimage.sh 2
bash scripts/multi_node/qwenimage.sh 3

pip install git+https://github.com/huggingface/diffusers.git

# 主节点
bash scripts/multi_node/qwenimage_edit.sh 0
# 其他节点
bash scripts/multi_node/qwenimage_edit.sh 1
bash scripts/multi_node/qwenimage_edit.sh 2
bash scripts/multi_node/qwenimage_edit.sh 3

pip install transformers==4.44.0
pip install flash-attn==2.7.4.post1 --no-build-isolation

# 主节点
bash scripts/multi_node/bagel/main.sh 0

# 其他节点
bash scripts/multi_node/bagel/main.sh 1
bash scripts/multi_node/bagel/main.sh 2
bash scripts/multi_node/bagel/main.sh 3

DPO / OnlineDPO / SFT / OnlineSFT

单节点训练：

bash scripts/single_node/dpo.sh
bash scripts/single_node/sft.sh

多节点训练：

请在 scripts/multi_node 的 bash 文件中更新入口 Python 脚本和配置文件名称。

常见问题解答

• 尽可能使用 fp16 进行训练，因为它比 bf16 具有更高的精度，从而减少数据收集与训练之间的对数概率误差。对于 Flux 和 Wan 模型，由于 fp16 推理无法生成有效的图像或视频，因此必须使用 bf16 进行训练。需要注意的是，对数概率误差在高噪声步骤时较小，而在低噪声步骤时较大。在这种情况下，仅在高噪声步骤上进行训练会取得更好的效果。感谢 Jing Wang 提出的这些观察结果。

• 使用 Flow-GRPO-Fast 时，请设置相对较小的 clip_range，否则训练可能会崩溃。

• 在实现新模型时，请检查使用不同批次大小是否会导致输出略有差异。SD3 存在这一问题，因此我确保训练时的批次大小与数据收集时的批次大小一致。

如何支持其他模型

要将新模型集成到该框架中，请按照以下步骤操作：

1. 添加适用于您模型的以下文件：

• flow_grpo/diffusers_patch/sd3_pipeline_with_logprob.py： 此文件改编自 pipeline_stable_diffusion_3.py。您可以参考 diffusers 中针对您模型的相关代码。

• scripts/train_sd3.py： 该脚本基于 DreamBooth 示例中的 train_dreambooth_lora_sd3.py。

• flow_grpo/diffusers_patch/sd3_sde_with_logprob.py： 该文件负责处理 SDE 采样。大多数情况下无需修改此文件。但是，如果您的 dt 或 velocity 定义在符号或约定上有所不同，请相应调整。

2. 验证 SDE 采样： 在 sde_demo.py 中将 noise_level = 0，以检查生成的图像是否正常。这有助于验证您的 SDE 实现是否正确。

3. 确保策略一致性： 将 config.sample.num_batches_per_epoch = 1 和 config.train.gradient_accumulation_steps = 1 设置为 1，以强制执行纯在线策略设置，即采集样本的模型与正在训练的模型完全相同。 在此设置下，ratio 应保持精确为 1。如果不是，请检查采样和训练代码路径是否存在差异——例如通过使用 torch.compile 或其他模型包装器——并确保两者共享相同的逻辑。

4. 调整奖励行为： 首先将 config.train.beta = 0，以观察训练过程中奖励是否增加。您可能还需要根据您的模型调整此处的噪声级别 here。其他超参数通常与模型无关，可保持默认值。

🏁 多奖励训练

对于多奖励设置，您可以传入一个字典，其中每个键是奖励名称，对应的值是其权重。 例如：

{
    "pickscore": 0.5,
    "ocr": 0.2,
    "aesthetic": 0.3
}

这意味着最终奖励是各个奖励的加权总和。

目前支持以下奖励模型：

• Geneval 根据复杂的组合式提示评估 T2I 模型。
• OCR 提供基于 OCR 的奖励。
• PickScore 是一种基于人类偏好的通用 T2I 奖励模型。
• DeQA 是一种基于多模态 LLM 的图像质量评估模型，用于衡量失真和纹理损伤对感知质量的影响。
• ImageReward 是一种通用的 T2I 奖励模型，能够捕捉文本与图像的对齐程度、视觉保真度以及安全性。
• QwenVL 是一种实验性的奖励模型，采用提示工程方法。
• Aesthetic 是一种基于 CLIP 的线性回归模型，用于预测图像的美学评分。
• JPEG_Compressibility 以图像大小作为质量的代理指标。
• UnifiedReward 是用于多模态理解和生成的最先进奖励模型，位居人类偏好排行榜榜首。

✨ 重要超参数

您可以通过调整 config/grpo.py 中的参数来优化不同的超参数。经验表明，config.sample.train_batch_size * num_gpu / config.sample.num_image_per_prompt * config.sample.num_batches_per_epoch = 48，即 group_number=48，group_size=24。 此外，建议将 config.train.gradient_accumulation_steps = config.sample.num_batches_per_epoch // 2。

🤗 致谢

本仓库基于 ddpo-pytorch 和 diffusers。我们感谢作者们为 AIGC 社区所做的宝贵贡献。特别感谢 Kevin Black 提供的优秀 ddpo-pytorch 仓库。

⭐引用

如果您在研究或项目中使用了 Flow-GRPO，我们将不胜感激您能引用以下论文：

@article{liu2025flow,
  title={Flow-grpo: Training flow matching models via online rl},
  author={Liu, Jie and Liu, Gongye and Liang, Jiajun and Li, Yangguang and Liu, Jiaheng and Wang, Xintao and Wan, Pengfei and Zhang, Di and Ouyang, Wanli},
  journal={arXiv preprint arXiv:2505.05470},
  year={2025}
}

如果您在研究或项目中使用了 GRPO-Guard，我们将不胜感激您能引用以下论文：

@misc{wang2025grpoguardmitigatingimplicitoveroptimization,
    title={GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping}, 
    author={Jing Wang and Jiajun Liang and Jie Liu and Henglin Liu and Gongye Liu and Jun Zheng and Wanyuan Pang and Ao Ma and Zhenyu Xie and Xintao Wang and Meng Wang and Pengfei Wan and Xiaodan Liang},
    year={2025},
    eprint={2510.22319},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2510.22319}, 
}

如果您在研究或项目中使用了 Flow-DPO，我们将不胜感激您能引用以下论文：

@article{liu2025improving,
  title={Improving video generation with human feedback},
  author={Liu, Jie and Liu, Gongye and Liang, Jiajun and Yuan, Ziyang and Liu, Xiaokun and Zheng, Mingwu and Wu, Xiele and Wang, Qiulin and Qin, Wenyu and Xia, Menghan and others},
  journal={arXiv preprint arXiv:2501.13918},
  year={2025}
}

Flow-GRPO 快速上手指南

Flow-GRPO 是一个通过在线强化学习（Online RL）训练流匹配（Flow Matching）模型的开源工具，支持 SD3.5、FLUX.1、Qwen-Image 等主流模型，并提供 GRPO-Guard 防止过优化。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.10.16
• GPU: 支持 CUDA 的 NVIDIA 显卡（多卡训练需配置 NCCL）
• 存储: 预留足够空间存放基础模型和奖励模型（建议 50GB+）

前置依赖

确保已安装 conda 和 git。若在国内网络环境下，建议配置 pip 国内镜像源以加速下载：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

2.1 克隆代码与创建环境

git clone https://github.com/yifan123/flow_grpo.git
cd flow_grpo
conda create -n flow_grpo python=3.10.16
conda activate flow_grpo
pip install -e .

2.2 预下载基础模型

为避免多卡训练时重复下载，请提前手动下载以下模型：

生成模型:

• SD3.5: stabilityai/stable-diffusion-3.5-medium
• FLUX: black-forest-labs/FLUX.1-dev

奖励模型:

• PickScore: laion/CLIP-ViT-H-14-laion2B-s32B-b79K, yuvalkirstain/PickScore_v1
• CLIPScore/Aesthetic: openai/clip-vit-large-patch14

提示: 可使用 Hugging Face 镜像站或国内加速工具下载模型权重。

2.3 配置奖励模型环境

由于不同奖励模型依赖冲突，建议按需单独配置环境：

OCR 任务 (PaddleOCR):

pip install paddlepaddle-gpu==2.6.2
pip install paddleocr==2.9.1
pip install python-Levenshtein
# 初始化下载 OCR 模型
python -c "from paddleocr import PaddleOCR; PaddleOCR(use_angle_cls=False, lang='en', use_gpu=False, show_log=False)"

UnifiedReward 任务 (SGLang):

conda create -n sglang python=3.10.16
conda activate sglang
pip install "sglang[all]"
# 启动奖励服务
python -m sglang.launch_server --model-path CodeGoat24/UnifiedReward-7b-v1.5 --api-key flowgrpo --port 17140 --chat-template chatml-llava --enable-p2p-check --mem-fraction-static 0.85

其他奖励模型 (GenEval/DeQA): 请参考 reward-server 仓库指示单独创建虚拟环境安装。

ImageReward:

pip install image-reward
pip install git+https://github.com/openai/CLIP.git

3. 基本使用

3.1 开始训练 (单节点)

进入项目根目录，根据目标模型运行对应的脚本：

训练 SD3.5:

bash scripts/single_node/grpo.sh

训练 FLUX.1:

bash scripts/single_node/grpo_flux.sh

3.2 启用高级特性

• 加速训练 (Flow-GRPO-Fast): 仅训练 1-2 个去噪步，大幅降低显存和时间消耗。配置参考 config/grpo.py 中的 *_fast_nocfg 系列配置。
• 防止过优化 (GRPO-Guard): 针对文本渲染等任务，使用 GRPO-Guard 机制保持图像质量。

  # 主节点
  bash scripts/multi_node/sd3_grpo_guard.sh 0
  # 其他节点
  bash scripts/multi_node/sd3_grpo_guard.sh 1
  

3.3 关键参数建议

为获得最佳训练效率，建议在配置文件中应用以下策略：

• No CFG: 训练和测试均关闭 Classifier-Free Guidance，RL 过程会自动蒸馏该能力。
• CPS Sampling: 设置 noise_level = 0.8 以启用系数保留采样，提升 GenEval 指标。
• Window Mechanism: 仅对部分步骤进行训练（配合 Flow-GRPO-Fast）。