摘要: 实现灵活且高保真度的身份保留图像生成仍然极具挑战性，尤其是在使用像FLUX这样的先进扩散Transformer (DiT)时。我们提出了InfiniteYou (InfU)，这是最早利用DiT完成这一任务的稳健框架之一。InfU解决了现有方法中的诸多问题，例如身份相似度不足、文本与图像对齐不佳以及生成质量和美学较低等。InfU的核心是InfuseNet组件，它通过残差连接将身份特征注入到DiT基础模型中，在提升身份相似度的同时保持生成能力。此外，多阶段训练策略，包括预训练和基于合成单人多样本（SPMS）数据的监督微调（SFT），进一步提升了文本与图像的对齐效果，改善了图像质量，并缓解了人脸复制粘贴的问题。大量实验表明，InfU达到了最先进的性能，超越了现有的基线方法。此外，InfU的即插即用设计确保了其与各种现有方法的兼容性，为更广泛的社区提供了宝贵的贡献。

🔥 新闻

• [07/2025] 🔥 InfiniteYou的论文被选为ICCV 2025的(亮点)。

• [06/2025] 🔥 InfiniteYou的论文被ICCV 2025接收。

• [04/2025] 🔥 官方ComfyUI节点发布。非官方的ComfyUI贡献也备受赞赏。

• [04/2025] 🔥 提供了量化和卸载选项，以降低InfiniteYou-FLUX v1.0的内存需求。

• [03/2025] 🔥 InfiniteYou-FLUX v1.0的代码、模型和演示发布。

• [03/2025] 🔥 InfiniteYou的项目页面创建。

• [03/2025] 🔥 InfiniteYou的论文在arXiv上发布。

💡 重要使用提示

• 我们发布了InfiniteYou-FLUX v1.0的两个模型变体：aes_stage2和sim_stage1。aes_stage2是我们经过SFT后的模型，默认情况下用于获得更好的文本与图像对齐及美学效果。若需更高的ID相似度，请尝试sim_stage1（使用--model_version进行切换）。更多细节请参阅我们的论文。

• 为了更好地适应个人需求，我们发现有两个参数非常有用，可以用来调整：
  --infusenet_conditioning_scale（默认值：1.0）和--infusenet_guidance_start（默认值：0.0）。通常情况下，您可能不需要调整它们。如果确实需要，可以先尝试稍微增大--infusenet_guidance_start的值（例如0.1），这尤其适用于sim_stage1。如果仍不满意，则可以尝试稍微减小--infusenet_conditioning_scale的值（例如0.9）。

• 我们还提供了两个LoRA模型（Realism和Anti-blur），以提供更多的使用灵活性。如有需要，可先尝试仅使用Realism。这些LoRA模型是完全可选的，仅供参考，并未在我们的论文中使用。

• 如果生成的性别与您的偏好不符，可以尝试在文本提示中加入特定词汇，如“一个男人”、“一个女人”等。我们鼓励用户使用包容性和尊重他人的语言。

:european_castle: 模型库

InfiniteYou版本	模型版本	训练的基础模型	描述
InfiniteYou-FLUX v1.0	aes_stage2	FLUX.1-dev	SFT后的第二阶段模型。文本与图像对齐更好，美学效果更佳。
InfiniteYou-FLUX v1.0	sim_stage1	FLUX.1-dev	SFT前的第一阶段模型。身份相似度更高。

🔧 要求与安装

依赖项

只需运行以下一行命令即可安装（建议在运行前先创建一个python3虚拟环境）：

pip install -r requirements.txt

内存需求

• 全性能模式：原始的 bf16 模型推理需要约 43GB 的 峰值显存。

• 快速 CPU 交换：只需在 test.py 中指定 --cpu_offload，即可将 峰值显存 降低至约 30GB，且性能 无 任何下降。

• 8 位量化：只需在 test.py 中指定 --quantize_8bit，即可将 峰值显存 降至约 24GB，同时保持与原模型几乎一致的性能。

• 结合快速 CPU 交换和 8 位量化：同时指定 --cpu_offload 和 --quantize_8bit 后，峰值显存 进一步降低至约 16GB，且性能依然非常接近原模型。

如果您希望使用我们的模型，但 GPU 显存更少，请参阅 Diffusers 内存优化技巧，其中可能提供一些更为激进的策略。我们也欢迎社区贡献。

⚡️ 快速推理

本地推理脚本

python test.py --id_image ./assets/examples/man.jpg --prompt "A man, portrait, cinematic" --out_results_dir ./results

所有参数说明（点击展开！）

• 输入输出：
  • --id_image (str)：输入身份（ID）图像的路径。默认值：./assets/examples/man.jpg。
  • --prompt (str)：用于图像生成的文本提示。默认值：A man, portrait, cinematic。
  • --out_results_dir (str)：保存生成结果的输出目录路径。默认值：./results。
  • --control_image (str 或 None)：控制图像的路径 [可选]，用于提取五个面部关键点以控制生成过程。默认值：None。
  • --base_model_path (str)：基础模型的 Hugging Face 路径或本地路径。默认值：black-forest-labs/FLUX.1-dev。
  • --model_dir (str)：InfiniteYou 模型目录的路径。默认值：ByteDance/InfiniteYou。
• 版本控制：
  • --infu_flux_version (str)：InfiniteYou-FLUX 版本：目前仅支持 v1.0。默认值：v1.0。
  • --model_version (str)：使用的模型变体：aes_stage2 | sim_stage1。默认值：aes_stage2。
• 通用推理参数：
  • --cuda_device (int)：使用的 CUDA 设备 ID。默认值：0。
  • --seed (int)：用于复现性的随机种子（0 表示随机）。默认值：0。
  • --guideance_scale (float)：扩散过程中的引导尺度。默认值：3.5。
  • --num_steps (int)：推理步骤数。默认值：30。
• InfiniteYou 特定参数：
  • --infusenet_conditioning_scale (float)：InfuseNet 条件调节的尺度。默认值：1.0。
  • --infusenet_guidance_start (float)：InfuseNet 引导注入的起始点。默认值：0.0。
  • --infusenet_guidance_end (float)：InfuseNet 引导注入的结束点。默认值：1.0。
• 可选 LoRA：
  • --enable_realism_lora (store_true)：是否启用 Realism LoRA。默认值：False。
  • --enable_anti_blur_lora (store_true)：是否启用 Anti-blur LoRA。默认值：False。
• 内存优化选项：
  • --quantize_8bit (store_true)：是否将模型量化为 8 位格式。默认值：False。
  • --cpu_offload (store_true)：是否使用快速 CPU 交换。默认值：False。

本地 Gradio 演示

python app.py

在线 Hugging Face 演示

我们感谢 Hugging Face 团队提供的 GPU 支持。您也可以在线试用我们的 InfiniteYou-FLUX Hugging Face 演示。

ComfyUI 节点

• 官方 ComfyUI 原生节点实现

  • bytedance/ComfyUI_InfiniteYou

• 非官方贡献

  • ZenAI-Vietnam/ComfyUI_InfiniteYou
  • katalist-ai/ComfyUI-InfiniteYou
  • niknah/ComfyUI-InfiniteYou
  • game4d/ComfyUI-BDsInfiniteYou
  • GGUF 版本（16GB 显存）以及由 @MegaCocos 提供的 Christmas Toy LoRA

🆚 与当前最先进相关方法的对比

InfU 与当前最先进的基线 FLUX.1-dev IP-Adapter 和 PuLID-FLUX 的定性比较结果。FLUX.1-dev IP-Adapter（IPA）生成的结果在身份相似性和文本与图像的对齐方面表现不足。PuLID-FLUX 虽能生成具有一定身份相似性的图像，但其文本与图像的对齐较差（第 1、2、4 列），且图像质量和审美效果也有所下降（例如第 5 列中手部处理不佳）。此外，PuLID-FLUX 还存在明显的面部复制粘贴问题（第 5 列）。相比之下，我们提出的 InfU 在所有维度上均优于这些基线方法。

⚙️ 与现有流行方法的即插即用特性

InfU 具有理想的即插即用设计，可与多种现有方法兼容。它自然支持用 FLUX.1-dev 的任何变体替换基础模型，例如使用 FLUX.1-schnell 实现更高效的生成（例如仅需 4 步）。与 ControlNets 和 LoRAs 的兼容性则为定制化任务提供了更高的可控性和灵活性。值得注意的是，与 OminiControl 的兼容性进一步扩展了我们在多概念个性化方面的潜力，例如交互式身份（ID）和对象的个性化生成。此外，InfU 还可与 IP-Adapter（IPA）配合使用，为个性化图像添加风格化效果，并通过 IPA 注入风格参考时也能获得不错的效果。我们的即插即用特性有望扩展到更多方法，为更广泛的社区带来宝贵贡献。

📜 免责声明与许可

本仓库及相关演示中使用的图像均来自获得同意的拍摄对象，或由模型生成。这些图片仅用于展示我们研究的能力。如果您有任何疑虑，请随时与我们联系，我们将立即移除任何不当内容。

所发布的代码、模型和演示的使用必须严格遵守各自的许可协议。我们的代码采用 Apache License 2.0 许可，而我们的模型则采用 Creative Commons Attribution-NonCommercial 4.0 International Public License，仅供学术研究使用。从 InsightFace、FLUX.1-dev 基础模型、LoRA（如 Realism 和 Anti-blur）等处手动或自动下载的人脸模型，均需遵循其原始许可，并仅限于学术研究用途。

本研究旨在对生成式人工智能领域产生积极影响。任何对该方法的使用都应负责任，并遵守当地法律法规。开发者对任何潜在的滥用行为不承担任何责任。

🤗 致谢

我们衷心感谢 Stathi Fotiadis、Min Jin Chong、Xiao Yang、Tiancheng Zhi、Jing Liu 和 Xiaohui Shen 提供的富有洞见的讨论。同时，我们也真诚地感谢 Jincheng Liang 和 Lu Guo 在用户研究和定性评估方面给予的帮助。

📖 引用

如果您在研究或应用中发现 InfiniteYou 有所帮助，请引用我们的论文：

@inproceedings{jiang2025infiniteyou,
  title={{InfiniteYou}: Flexible Photo Recrafting While Preserving Your Identity},
  author={Jiang, Liming and Yan, Qing and Jia, Yumin and Liu, Zichuan and Kang, Hao and Lu, Xin},
  booktitle={ICCV},
  year={2025}
}

此外，如果您能为本仓库点亮一颗星 :star:，我们将不胜感激！非常感谢！

InfiniteYou 快速上手指南

InfiniteYou 是由字节跳动智能创作团队推出的开源项目，基于先进的 Diffusion Transformers (DiT/FLUX) 架构，旨在实现高保真的人脸身份保持图像重绘。该工具在保持人物身份特征的同时，能生成高质量且符合文本描述的图像，并有效避免“换脸”般的生硬感。

环境准备

系统要求

• 操作系统: Linux 或 Windows (推荐 Linux)
• Python: 3.8 或更高版本
• GPU: NVIDIA 显卡，支持 CUDA
• 显存要求:
  • 全性能模式 (bf16): 约需 43GB 显存。
  • 推荐优化模式: 通过开启 8-bit 量化和 CPU 卸载，最低仅需 16GB 显存即可运行，且性能损失极小。

前置依赖

建议先创建一个独立的 Python 虚拟环境：

python3 -m venv infu_env
source infu_env/bin/activate  # Windows 用户请使用: infu_env\Scripts\activate

安装步骤

1. 克隆项目代码

   git clone https://github.com/bytedance/InfiniteYou.git
   cd InfiniteYou
   

2. 安装依赖包 国内用户建议使用清华源或阿里源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 模型准备 项目默认会自动从 Hugging Face 下载模型。如果网络受限，可手动下载模型至本地：

   • 主模型仓库：ByteDance/InfiniteYou
   • 基础模型：FLUX.1-dev

   注：默认使用 aes_stage2 版本以获得更好的美学效果和图文对齐能力；若需极高的人脸相似度，可选择 sim_stage1 版本。

基本使用

命令行快速推理

以下命令将使用默认配置（自动启用优化策略以适应显存），根据指定的人脸图片生成新图像。

python test.py --id_image ./assets/examples/man.jpg --prompt "A man, portrait, cinematic" --out_results_dir ./results --quantize_8bit --cpu_offload

参数说明：

• --id_image: 输入的人物身份参考图路径。
• --prompt: 生成图像的文本描述提示词。
• --out_results_dir: 生成结果的保存目录。
• --quantize_8bit: 重要，启用 8-bit 量化，显著降低显存占用（降至约 24GB）。
• --cpu_offload: 重要，启用 CPU 卸载，进一步降低显存占用（组合使用后仅需约 16GB）。
• --model_version: (可选) 指定模型版本，默认为 aes_stage2，如需更高相似度可设为 sim_stage1。

启动本地 Web 界面 (Gradio)

如果你更喜欢图形化操作界面，可以运行以下命令启动本地 Demo：

python app.py

启动后，请在浏览器访问终端显示的本地地址（通常为 http://127.0.0.1:7860）进行操作。

ComfyUI 用户

如果你习惯使用 ComfyUI，官方已发布原生节点插件：

• 仓库地址：bytedance/ComfyUI_InfiniteYou
• 安装后直接在 ComfyUI 中加载对应节点即可使用。