我们提出了RF-Solver，用于以更小的误差求解修正流常微分方程，从而提升基于修正流的生成模型的采样质量和反演重建精度。此外，我们还提出了RF-Edit,利用RF-Solver来完成图像和视频编辑任务。我们的方法在文本到图像生成、图像/视频反演以及图像/视频编辑等多个任务上均取得了令人瞩目的效果。

🔥 最新消息

• [2025.5.1] 🎉 我们的论文已被ICML 2025接收。
• [2025.3.24] 我们已重新整理代码，并发布了用于视频编辑的代码！
• [2024.11.30] 我们的演示已在🤗 Huggingface Space 上线！
• [2024.11.24] 感谢@logtd 将RF-Solver集成到LTX-Video中！
• [2024.11.18] 更多风格迁移示例现已上线！
• [2024.11.18] 图像编辑的Gradio演示现已可用！
• [2024.11.16] 感谢@logtd 将RF-Solver整合进ComfyUI！
• [2024.11.11] 项目https://rf-solver-edit.github.io/的主页现已上线！
• [2024.11.08] 图像编辑的代码已发布！
• [2024.11.08] 论文正式发表！

👨‍💻 待办事项

• ☑️ 发布Gradio演示
• ☑️ 发布更多图像编辑案例的脚本
• ☑️ 发布用于视频编辑的代码

🖼️ 图像编辑代码

对于图像编辑，RF-Edit采用FLUX作为骨干网络，该网络由多个双模块和单模块组成。双模块分别独立地调制文本和图像特征，而单模块则将这些特征拼接起来进行统一调制。在此架构中，RF-Edit在单模块内共享特征，因为它们同时捕捉了源图像和源提示的信息，从而增强了模型保留源图像结构信息的能力。

我们提供了以FLUX为骨干网络的图像编辑代码及演示，可点击此处查看。

🎥 视频编辑代码

对于视频编辑，在我们的论文中，我们采用了OpenSora作为骨干网络。OpenSora中的DiT块包括空间注意力、 temporal注意力和文本交叉注意力。在这个架构中，源视频的结构信息被空间注意力模块捕获，我们在其中实现了特征共享。

值得注意的是，功能更强大的视频生成模型HunyuanVideo最近发布，它同样是一种基于修正流的方法。本仓库中的视频编辑代码是基于HunyuanVideo实现的。

我们提供了以HunyuanVideo为骨干网络的视频编辑代码及演示，可点击此处查看。

🎨 作品集

图像风格化

图像编辑

视频编辑

反演与重建

📖 方法

RF-Solver

我们推导出了修正流常微分方程解的精确形式。该解中的非线性部分通过泰勒展开进行处理。通过更高阶的展开，解的近似误差显著降低，从而在文本到图像采样以及图像/视频反演任务上都取得了出色的效果。

RF-Edit

基于RF-Solver，我们进一步提出了用于图像和视频编辑的RF-Edit框架。RF-Edit在去噪过程中利用反演得到的特征，能够在高质量编辑的同时保留源图像/视频的结构信息。RF-Edit包含两个子模块，分别针对图像编辑和视频编辑。

🖋️ 引用

如果您觉得我们的工作有所帮助，请为本仓库**点赞🌟并引用📑**我们的论文。感谢您的支持！

@article{wang2024taming,
  title={Taming Rectified Flow for Inversion and Editing},
  author={Wang, Jiangshan and Pu, Junfu and Qi, Zhongang and Guo, Jiayi and Ma, Yue and Huang, Nisha and Chen, Yuxin and Li, Xiu and Shan, Ying},
  journal={arXiv preprint arXiv:2411.04746},
  year={2024}
}

致谢

我们感谢FLUX和HunyuanVideo提供的整洁代码库。

联系方式

本仓库中的代码仍在整理中。整理过程中可能出现的错误可能导致代码运行异常或与原始研究结果存在偏差。如有任何疑问或顾虑，请发送邮件至wjs23@mails.tsinghua.edu.cn。

RF-Solver-Edit 快速上手指南

RF-Solver-Edit 是一个基于修正流（Rectified Flow）的高级生成式 AI 工具，旨在通过更精确的 ODE 求解器（RF-Solver）提升采样质量和反演重建精度，并在此基础上实现高质量的图像与视频编辑（RF-Edit）。该项目支持 FLUX（图像）和 HunyuanVideo（视频）作为骨干模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• GPU: NVIDIA GPU，显存建议 16GB 以上（图像编辑），24GB 以上（视频编辑）。
• Python: 3.9 或更高版本。
• CUDA: 11.8 或 12.1+ (根据 PyTorch 版本需求)。
• 前置依赖:
  • git
  • conda 或 venv (强烈推荐使用 conda 管理环境)

国内加速提示：建议配置 pip 国内镜像源以加快依赖下载速度。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目代码分为图像编辑和视频编辑两个独立模块，请根据需求选择安装。

1. 克隆仓库

git clone https://github.com/TencentARC/RF-Solver-Edit.git
cd RF-Solver-Edit

2. 创建虚拟环境

conda create -n rf-solver python=3.10 -y
conda activate rf-solver

3. 安装核心依赖

首先安装基础的 PyTorch 环境（请以官方推荐的 CUDA 版本为准）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

方案 A：安装图像编辑模块 (基于 FLUX)

cd FLUX_Image_Edit
pip install -r requirements.txt
# 下载预训练模型权重 (需手动放置到指定目录，具体参考该文件夹下的 README)

方案 B：安装视频编辑模块 (基于 HunyuanVideo)

cd Hunyuanvideo_Video_Edit
pip install -r requirements.txt
# 下载预训练模型权重 (需手动放置到指定目录，具体参考该文件夹下的 README)

注意：由于项目正在重构中，若遇到依赖冲突，请优先参考对应子目录下的具体说明文档。

基本使用

以下提供最基础的命令行使用示例。使用前请确保已下载对应的模型权重文件。

图像编辑示例 (FLUX)

进入图像编辑目录并运行脚本。以下命令演示了如何将源图像根据新的文本提示进行风格迁移或内容编辑：

cd FLUX_Image_Edit

python edit_image.py \
    --source_image_path ./assets/examples/source.png \
    --source_prompt "a photo of a cat" \
    --target_prompt "a photo of a cat in cyberpunk style" \
    --output_dir ./outputs \
    --steps 50 \
    --solver_order 2

• --solver_order: RF-Solver 的核心参数，提高阶数（如 2 或 3）可减少近似误差，提升重建和编辑质量。
• --steps: 采样步数，通常 30-50 步即可获得良好效果。

视频编辑示例 (HunyuanVideo)

进入视频编辑目录运行。以下命令演示了对源视频进行编辑：

cd Hunyuanvideo_Video_Edit

python edit_video.py \
    --source_video_path ./assets/examples/source.mp4 \
    --source_prompt "a dog running in the park" \
    --target_prompt "a robot dog running in the park" \
    --output_dir ./outputs \
    --frames 16 \
    --solver_order 2

启动 Gradio 演示界面 (可选)

如果希望使用图形化界面进行操作，可以在对应目录下启动本地 Demo：

# 在 FLUX_Image_Edit 或 Hunyuanvideo_Video_Edit 目录下
python app.py

启动后，浏览器访问终端显示的地址（通常为 http://127.0.0.1:7860）即可交互使用。

---

注：由于代码库正在重组中，如遇运行错误，请检查模型路径配置或联系作者邮箱 wjs23@mails.tsinghua.edu.cn。