图像编辑只需一个LoRA就够了！我们提出了上下文编辑方法，这是一种新颖的基于指令的编辑技术，仅使用先前SOTA方法所需训练数据的0.5%和参数量的1%,却达到了最先进的水平。第一行展示了一系列高精度的多轮编辑结果，而第二、三行则展示了我们方法在单轮编辑中产生的多样化且视觉效果惊艳的结果。

🎆 新闻

• [2025/9/19] 🔥 我们已开源了我们的MoE版本ICEdit及检查点。快来试试吧！🚀
• [2025/9/18] 🌟 ICEdit已被NeurIPS 2025接收！🎉 圣地亚哥见！
• [2025/8/21] 🌟 我们发布了基于Ascend（华为NPU）的ICEdit版本。现在你可以在Ascend NPU上运行ICEdit了！非常感谢Zhiyuan！
• [2025/5/16] 🌟 非常感谢gluttony-10 (十字鱼)将Gradio演示适配为GGUF量化，进一步将内存占用降低至10GB。
• [2025/5/14] 🔥 在官方Comfy-org的帮助下，我们已将我们的ComfyUI节点集成到Comfy Registry中！
• [2025/5/13] 🔥 我们发布了训练代码！现在就训练属于你的编辑LoRA吧！
• [2025/5/11] 🌟 非常感谢gluttony-10 (十字鱼)制作了Windows版Gradio演示，让你可以在Windows上使用我们的项目！
• [2025/5/8] 🔥 我们发布了我们的**官方ComfyUI工作流**！🚀 快去仓库看看并试一试吧！

点击展开/收起新闻

• [2025/5/8] 🔥 我们在Gradio演示中添加了LoRA缩放滑块。你可以尝试用不同的缩放比例来发现更多有趣的演示效果！

• [2025/5/7] 🌟 我们更新了一些使用ComfyUI工作流时的注意事项，以避免出现不理想的效果！
• [2025/5/6] 🔥 ICEdit目前在Hugging Face space的总体/每周趋势榜单上排名第2位。感谢大家的支持与喜爱！🤗
• [2025/5/5] 🌟 衷心感谢Datou在OpenArt平台上创建了一个精彩的ComfyUI工作流！🚀 赶快试试吧！
• [2025/5/2] 🌟 衷心感谢judian17打造了一个令人惊叹的ComfyUI双节棍演示！只需4GB显存的GPU就能运行ComfyUI双节棍！🚀 快来体验一下吧！
• [2025/4/30] 🔥 我们发布了Huggingface演示 🤗！快来试试吧！
• [2025/4/30] 🔥 我们在arXiv上发布了论文！
• [2025/4/29] 我们发布了项目页面和演示视频！代码将在下周公开~ 祝大家劳动节快乐！

🎈 Bilibili或Youtube教程

👑 欢迎在本图库分享你的成果！

• [2025/5/15] 🌟 我们发现啦啦啦的小黄瓜制作了一段详细的Bilibili教程介绍我们的模型！真是太棒的视频了！
• [2025/5/14] 🌟 我们发现Nenly同学制作了一段精彩的Bilibili教程讲解如何使用我们的仓库！非常感谢他！
• [2025/5/10] 🌟 非常感谢月下Hugo制作了一段中文教程介绍如何使用我们的官方工作流！
• [2025/5/7] 🌟 衷心感谢T8star制作了一段教程和一个ComfyUI工作流讲解如何将编辑成功率提升至100%！🚀 赶快试试吧！
• [2025/5/3] 🌟 衷心感谢softicelee2制作了一段Youtube视频讲解如何使用我们的模型！

📖 目录

• 🎆 新闻
• 🎈 Bilibili 或 YouTube 教程
  • 👑 欢迎在本画廊分享你的成果！
• 📖 目录
  • 📢 全体注意：ComfyUI 工作流使用错误提醒！
• 💼 安装
  • Conda 环境搭建
  • 下载预训练权重
  • 在 Bash 中进行推理（不使用 VLM 推理时缩放）
    • 关于 MoE-LoRA 版本的使用说明
  • 在 Gradio Demo 中进行推理
  • 💼 Windows 一键安装包
• 🔧 训练
• 🎨 ComfyUI 工作流
  • 官方 ComfyUI 工作流
  • 提高编辑成功率的 ComfyUI 工作流
  • ComfyUI-nunchaku
  • ComfyUI 工作流
• ⚠️ 小贴士
  • 如果你遇到这样的失败情况，请尝试使用不同的随机种子重试！
  • ⚠️ 说明
• 💪 待办事项
• 💪 与商业模型的对比
• 🌟 星标历史
• Bibtex

📢 全体注意：ComfyUI 工作流使用错误提醒！

• 我们已发布用于正确使用的**官方 ComfyUI 工作流**！请查看我们的仓库并尝试一下！

• 在输入编辑指令之前，你需要添加固定的前置提示“一幅由两幅并排图像组成的双联画，场景完全相同。右侧的场景与左侧完全一致，但{instruction}”，否则可能会得到较差的结果！（这一点在论文中已有提及！Hugging Face Gradio 演示代码已经嵌入了这个提示。因此，你只需直接输入编辑指令即可，无需额外设置。）
• 输入图像的宽度必须调整为512（高度无限制）。
• 请使用 Normal LoRA（https://huggingface.co/RiverZ/normal-lora/tree/main），而不是 MoE-LoRA，因为 MoE-LoRA 无法通过 ComfyUI 的 LoRA 加载器正确加载。
• 🔥💐🎆 欢迎在 Issues 栏目中分享你的创意工作流（例如结合 Redux、ACE 等），并展示成果！我们会附上引用链接，让更多人看到你的创意。

💼 安装

Conda 环境搭建

conda create -n icedit python=3.10
conda activate icedit
pip install -r requirements.txt
pip install -U huggingface_hub

下载预训练权重

如果你可以连接到 Hugging Face，则无需下载权重。否则，你需要将权重下载到本地。

• Flux.1-fill-dev。
• ICEdit-normal-LoRA。
• ICEdit-MoE-LoRA

注：由于一些合作权限问题，我们暂时撤回了 moe-lora 的权重和代码。目前发布的只是普通的 LoRA，但它仍然具有强大的性能。如果你急需原文中的 moe lora 权重，请联系作者。

在 Bash 中进行推理（不使用 VLM 推理时缩放）

现在你可以尝试一下了！

我们的模型只能编辑宽度为 512 像素的图像（高度没有限制）。如果你输入的图像宽度不是 512 像素，模型会自动将其调整为 512 像素。

如果你发现模型未能生成预期结果，请尝试更改 --seed 参数。使用 VLM 进行推理时缩放可以显著改善结果。

python scripts/inference.py --image assets/girl.png \
                            --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                            --seed 304897401 \

编辑一张 512×768 的图像需要 35 GB 的显存。如果你需要在只有 24 GB 显存的系统上运行（例如 NVIDIA RTX3090），可以添加 --enable-model-cpu-offload 参数。

python scripts/inference.py --image assets/girl.png \
                            --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                            --enable-model-cpu-offload

如果你已将预训练权重下载到本地，请在推理时传递参数，如下所示：

python scripts/inference.py --image assets/girl.png \
                            --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                            --flux-path /path/to/flux.1-fill-dev \
                            --lora-path /path/to/ICEdit-normal-LoRA

关于 MoE-LoRA 版本的使用方法

python scripts/inference_moe.py --image assets/girl.png \
                                --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                                --seed 42 \

python scripts/inference_moe.py --image assets/girl.png \
                                --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                                --enable-model-cpu-offload

python scripts/inference_moe.py --image assets/girl.png \
                                --instruction "让她把头发染成深绿色，衣服换成格子图案。" \
                                --flux-path /path/to/flux.1-fill-dev \
                                --lora-path /path/to/ICEdit-MoE-LoRA

在 Gradio Demo 中进行推理

我们提供了一个 Gradio 演示，方便你以更友好的方式编辑图像。你可以运行以下命令来启动演示。

python scripts/gradio_demo.py --port 7860



## 对于 MoE 版本
python scripts/gradio_demo_moe.py --port 7860

与推理脚本类似，如果你想在只有 24 GB 显存的系统上运行演示，可以添加 --enable-model-cpu-offload 参数。如果你已将预训练权重下载到本地，请在推理时传递参数，如下所示：

python scripts/gradio_demo.py --port 7860 \
                              --flux-path /path/to/flux.1-fill-dev（可选） \
                              --lora-path /path/to/ICEdit-normal-LoRA（可选） \
                              --enable-model-cpu-offload（可选） \

## 用于 MoE 版本
python scripts/gradio_demo_moe.py --port 7860 \
                              --flux-path /path/to/flux.1-fill-dev (可选) \
                              --lora-path /path/to/ICEdit-normal-LoRA (可选) \
                              --enable-model-cpu-offload (可选) \

或者，如果你想在只有 10 GB 显存的设备上运行演示，可以从 FLUX.1-Fill-dev-gguf 和 t5-v1_1-xxl-encoder-gguf 下载 gguf 模型，并在推理时传递这些参数，如下所示：

python scripts/gradio_demo.py --port 7861 \
                              --flux-path models/flux.1-fill-dev \
                              --lora-path models/ICEdit-normal-LoRA \
                              --transformer models/flux1-fill-dev-Q4_0.gguf \
                              --text_encoder_2 models/t5-v1_1-xxl-encoder-Q8_0.gguf \
                              --enable-model-cpu-offload \

然后你可以在浏览器中打开链接来编辑图片。

Gradio 演示：只需输入指令并等待结果！.

这里还有一段由 softicelee2 制作的 ICEdit 安装与使用中文教程 YouTube 视频，非常值得一看！

💼 Windows 一键安装包

非常感谢 gluttony-10，这位著名的 Bilibili UP 主! 他制作了关于如何在 Windows 上安装我们项目的教程（YouTube 和 Bilibili)，以及一个 Windows 一键安装包！只需解压即可使用。该安装包经过量化处理，仅占用 14GB 磁盘空间，并支持 50 系列显卡。

下载链接：Google Drive 或 百度网盘（请参考视频评论区）

🔧 训练

更多细节请参见：训练代码

🎨ComfyUI 工作流

官方 ComfyUI 工作流

我们在本仓库中发布了我们的官方 ComfyUI 工作流，以便正确使用我们的模型！我们已将提示词“一幅由两幅并排图像组成的二联画，描绘同一场景……但”嵌入到我们的节点中，你只需输入编辑指令，例如“让女孩戴上粉色太阳镜”。此外，我们还添加了一个高分辨率细化模块，以获得更好的图像质量！整个工作流的显存消耗约为 14GB。使用这个工作流和ICEdit-normal-lora，尽情实现你的创作想法吧！

我们专门创建了一个工作流仓库，你可以直接在 ComfyUI 中通过 Git URL 安装。只需打开管理器选项卡，点击“通过 Git URL 安装”，复制以下 URL 即可使用。更多详情请参阅此议题

URL: https://github.com/hayd-zju/ICEdit-ComfyUI-official

非常感谢 月下Hugo 制作了关于如何使用我们官方工作流的中文教程！

提高编辑成功率的 ComfyUI 工作流

感谢 T8star! 他制作了教程（YouTube 和 Bilibili) 以及一个创意工作流（OpenArt 和 RunningHub），能够极大提高编辑的成功率（约 100%）！不妨试试看！

ComfyUI-nunchaku

我们衷心感谢 @judian17 打造的 ComfyUI 工作流，它使得我们的模型能够更顺畅地使用。探索这个优秀的工作流，就能轻松地在 ComfyUI 中运行我们的模型。只需4GB 显存的 GPU 就足以配合 ComfyUI-nunchaku 运行！

该工作流集成了高清细化功能，效果非常出色。此外，将此 LoRA 与 Redux 结合使用，还能在一定程度上实现服装更换。再次向 @judian17 致以诚挚的感谢，感谢他的创新贡献！

ComfyUI 工作流

感谢 Datou，ICEdit 在 ComfyUI 中的工作流也可以从这里下载链接。可以搭配普通 LoRA ckpt一起使用。

⚠️ 小贴士

如果您遇到此类失败情况，请尝试使用不同的随机种子重试！

• 我们的基模型 FLUX 本身并不支持广泛的风格，因此我们的数据集中很大一部分涉及风格迁移。结果是，该模型有时可能会莫名其妙地改变您的艺术风格。

• 我们的训练数据集主要针对写实图像。对于非写实图像，例如动漫风格或模糊图片，编辑的成功率会显著下降，并可能影响最终的图像质量。

• 虽然添加物体、修改颜色属性、应用风格迁移和更换背景的成功率较高，但由于我们使用的移除数据集质量较低，物体移除的成功率相对较低。

当前的模型是我们论文实验中使用的版本，仅使用4张A800显卡进行训练（总batch_size = 2 x 2 x 4 = 16）。未来，我们将扩充数据集并进行规模扩展，最终发布更强大的模型。

⚠️ 说明

我们注意到有许多与 ICEdit 相关的网页，包括 https://icedit.net/ 和 https://icedit.org/。向这些页面的开发者致以敬意！

然而，我们想强调两点：

• 禁止商业使用：我们的项目不能用于商业用途。详情请参阅 LICENSE。
• 官方页面：项目的官方页面是 https://river-zhang.github.io/ICEdit-gh-pages/。

💪 待办事项

• 推理代码
• 使用 VLM 进行推理时的缩放
• 预训练权重
• 更多推理演示
• Gradio 演示
• Comfy UI 演示（由 @judian17 提供，兼容 nunchaku，支持高分辨率细化和 FLUX Redux。只需4GB显存的GPU即可运行！）
• 带普通 LoRA 的 Comfy UI 演示（由 @Datou 在 openart 上提供）
• 官方 ComfyUI 工作流
• 训练代码
• 用于更高分辨率图像的 LoRA（768、1024）

💪 与商用模型的对比

与 Gemini 和 GPT-4o 等商用模型相比，我们在人物身份保持和指令遵循方面不相上下，甚至更胜一筹。我们的项目更加开源，成本更低、速度更快（处理一张图像约需9秒），且性能强大。

🌟 星标历史

Bibtex

如果本工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@article{zhang2025context,
  title={In-context edit: Enabling instructional image editing with in-context generation in large scale diffusion transformer},
  author={Zhang, Zechuan and Xie, Ji and Lu, Yu and Yang, Zongxin and Yang, Yi},
  journal={arXiv preprint arXiv:2504.20690},
  year={2025}
}

@inproceedings{zhang2025icedit,
  title     = {In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large-Scale Diffusion Transformers},
  author    = {Zhang, Zechuan and Xie, Ji and Lu, Yu and Yang, Zongxin and Yang, Yi},
  booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
  year      = {2025},
  note      = {arXiv:2504.20690}
}

ICEdit 快速上手指南

ICEdit (In-Context Edit) 是一种基于指令的图像编辑工具，利用大规模扩散 Transformer 中的上下文生成技术，仅需极少的训练数据和参数量即可实现 SOTA 级别的编辑效果。支持多轮编辑和复杂的指令操作。

环境准备

系统要求

• 操作系统: Linux 或 Windows (Windows 需特定配置，推荐 Linux)
• GPU: 建议显存 ≥ 24GB (如 RTX 3090/4090)。若显存较小，需开启 CPU 卸载模式。
• Python: 3.10

前置依赖

确保已安装 conda 和 git。

安装步骤

1. 创建并激活 Conda 环境

conda create -n icedit python=3.10
conda activate icedit

2. 安装依赖包

建议使用国内镜像源加速下载（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练权重

模型依赖以下权重，若网络通畅可自动下载，否则需手动下载并指定路径：

• 底模: Flux.1-fill-dev
• LoRA 权重: ICEdit-normal-LoRA (推荐使用)
• MoE LoRA 权重: ICEdit-MoE-LoRA (可选，需专用脚本)

基本使用

注意事项

• 图像尺寸: 输入图像宽度必须为 512 像素（高度不限）。若非 512，模型会自动缩放。
• 提示词格式: 命令行使用时，无需手动添加前缀提示词（代码内部已处理）；若使用 ComfyUI 需手动添加特定前缀。
• 失败重试: 若结果不理想，请尝试更换 --seed 参数。

命令行推理示例

标准模式 (推荐)

适用于显存充足的环境：

python scripts/inference.py --image assets/girl.png \
                            --instruction "Make her hair dark green and her clothes checked." \
                            --seed 304897401

低显存模式 (CPU Offload)

适用于 24GB 或更小显存显卡（如 RTX 3090），通过卸载部分模型到内存降低显存占用：

python scripts/inference.py --image assets/girl.png \
                            --instruction "Make her hair dark green and her clothes checked." \
                            --enable-model-cpu-offload

指定本地权重路径

若已手动下载权重到本地：

python scripts/inference.py --image assets/girl.png \
                            --instruction "Make her hair dark green and her clothes checked." \
                            --flux-path /path/to/flux.1-fill-dev \
                            --lora-path /path/to/ICEdit-normal-LoRA

MoE 版本使用 (可选)

如果使用 MoE-LoRA 版本，请使用专用脚本：

python scripts/inference_moe.py --image assets/girl.png \
                                --instruction "Make her hair dark green and her clothes checked." \
                                --seed 42