PuLID (NeurIPS 2024)

:open_book: PuLID：通过对比对齐实现纯净且快速的身份定制

Zinan Guo*, Yanze Wu*✝, Zhuowei Chen, Lang Chen, Peng Zhang, Qian He
(*同等贡献，✝通讯作者)
字节跳动公司

🔥🔥 我们很高兴地分享 DreamO，这是一个统一的图像定制框架，支持身份、IP、试穿和风格化等任务。快来体验一下它的强大功能吧！🔥🔥

:triangular_flag_on_post: 更新

• 2024.10.31: 🔥 我们很高兴发布最新的模型，PuLID-v1.1 和 PuLID-FLUX-v0.9.1。更多信息请参见 模型库 和 pulid v1.1 模型。我们还更新了 arXiv 论文的新版本，其中包含更多结果、细节和分析，请查阅。
• 2024.09.26: 🎉 PuLID 被 NeurIPS 2024 接受
• 2024.09.12: 我们非常高兴地宣布发布 PuLID-FLUX-v0.9.0 模型。尽情探索它的能力吧！😊 了解更多关于该模型的信息
• 2024.05.23: 分享我们即将发布的 v1.1 模型的预览，敬请期待
• 2024.05.01: 发布 v1 版本的代码和模型，以及 🤗HuggingFace 演示
• 2024.04.25: 发表 arXiv 论文。

PuLID for FLUX

请在此处查看 PuLID-FLUX 的文档和演示 这里。

更新

• 本地 Gradio 演示现已准备就绪
• 在线 HuggingFace 演示现已准备就绪
• 我们优化了代码以支持消费级 GPU，现在 PuLID-FLUX 可以在 16GB 显存的显卡上运行。详细信息请参见 这里
• （社区实现）在线 Replicate 演示现已准备就绪
• 本地 Gradio 演示现在支持 12GB 显存的显卡
• v0.9.1 现已准备就绪

以下结果由 PuLID-FLUX 生成。

示例

使用我们的 PuLID 生成的图像 应用案例

https://github.com/ToTheBeginning/PuLID/assets/11482921/9bdd0c8a-99e8-4eab-ab9e-39bf796cc6b8

:european_castle: 模型库

版本	基础模型	描述
PuLID-v1	SDXL	论文模型。
PuLID-v1.1	SDXL	相比于 PuLID-v1，兼容性、可编辑性、面部自然度和相似度都有所提升。
PuLID-FLUX-v0.9.0	FLUX	我们为 PuLID-FLUX 发布的第一个版本，具有更好的提示遵循能力和图像质量（因为 FLUX 比 SDXL 更强大）。但对于某些男性输入，身份保真度还不够高
PuLID-FLUX-v0.9.1	FLUX	相比于 PuLID-FLUX-v0.9.0，身份保真度有所提高。从身份相似性的定量指标来看，提升了约 5 个百分点。同时，可编辑性与之前保持一致。

:wrench: 依赖与安装

• Python >= 3.9（建议使用 Anaconda 或 Miniconda）
• 如果不需要 flux-dev-fp8，则需要 PyTorch >= 2.0；否则需要 PyTorch >= 2.4.1

# 克隆 PuLID 仓库
git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID
# 创建 conda 环境
conda create --name pulid python=3.10
# 激活环境
conda activate pulid
# 安装依赖包
# 1. 如果不需要 flux-fp8，例如您正在使用 xl 或 flux-bf16，则安装以下 requirements.txt
pip install -r requirements.txt
# 2. 如果需要 flux-fp8（以便在消费级 GPU 上运行 flux），则安装以下 requirements_fp8.txt
pip install -r requirements_fp8.txt

:zap: 快速推理

本地 Gradio 演示

# 对于 v1 版本
python app.py

# 对于 v1.1 版本
python app_v1.1.py --base BASE_MODEL
用法：
  -base: 可以是 RunDiffusion/Juggernaut-XL-v9 或 Lykon/dreamshaper-xl-lightning

在线 HuggingFace 演示

感谢 HuggingFace 团队提供的 GPU 支持，您可以在以下链接尝试 PuLID HF 演示：

• https://huggingface.co/spaces/yanze/PuLID 用于 SDXL
• https://huggingface.co/spaces/yanze/PuLID-FLUX 用于 FLUX

:paperclip: 相关资源

以下是一些我们在互联网上找到的 PuLID 第三方实现。 我们感谢各位开发者为让更多人使用 PuLID 所做的努力。 如果您知道此处未提及的基于 PuLID 的资源或应用，请告知我们， 我们将将其添加到此列表中。

在线演示

• Colab: https://github.com/camenduru/PuLID-jupyter，由 camenduru 提供
• Replicate (PuLID): https://replicate.com/zsxkib/pulid，由 zsxkib 提供
• Replicate (PuLID-FLUX): https://replicate.com/zsxkib/flux-pulid，由 zsxkib 提供

ComfyUI

• https://github.com/cubiq/PuLID_ComfyUI，由 cubiq 提供，原生 ComfyUI 实现
• https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO，由 ZHO 提供，基于 diffusers 的实现

WebUI

• SD.Next 实现，由 vladmandic 提供
• https://github.com/Mikubill/sd-webui-controlnet/pull/2838，由 huchenlei 提供

其他应用

• 使用 Regional-Prompting-FLUX 进行 PuLID-FLUX 多人生成，由 Anthony 提供

免责声明

本项目致力于以积极的方式影响人工智能驱动的图像生成领域。用户可以自由地使用此工具创建图像，但应遵守当地法律法规，并负责任地使用。 开发者对用户的任何潜在滥用行为不承担任何责任。

引用

如果 PuLID 对您有所帮助，请为本仓库点赞（⭐）。

如果您认为本项目对您的研究有帮助，请考虑引用我们的论文：

@InProceedings{guo2024pulid,
  title={PuLID: 纯净且快速的身份定制——基于对比对齐},
  author={Guo, Zinan 和 Wu, Yanze 和 Chen, Zhuowei 和 Chen, Lang 和 Zhang, Peng 和 He, Qian},
  booktitle={神经信息处理系统进展},
  year={2024}
}

致谢

我们谨向核心团队成员张鹏泽和赵松涛表示感谢，他们为 PuLID 模型的持续开发与维护做出了重要贡献。尽管他们在本文的第一版中未被列为作者，但他们的努力对模型的提升起到了至关重要的作用。

:e-mail: 联系方式

如您有任何意见或问题，请新建一个议题，或随时联系 Wu Yanze 和 Guo Zinan。

PuLID 快速上手指南

PuLID (Pure and Lightning ID Customization) 是一个基于对比对齐的高效人脸 ID 定制工具，支持 SDXL 和 FLUX 底模。它能将特定人物身份特征快速迁移到生成的图像中，同时保持极高的编辑灵活性和自然度。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python 版本: >= 3.9 (推荐使用 3.10)
• PyTorch 版本:
  • 若使用 SDXL 或 FLUX (bf16): >= 2.0
  • 若使用 FLUX (fp8, 显存优化版): >= 2.4.1
• 硬件要求:
  • SDXL 版本: 推荐 12GB+ 显存
  • FLUX 版本: 优化后可在 16GB 显存显卡上运行（需安装 fp8 依赖），本地 Gradio 演示现已支持 12GB 显存。

国内开发者提示：建议配置 pip 国内镜像源（如清华源、阿里源）以加速依赖下载。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

2.1 克隆项目与创建环境

# 克隆仓库
git clone https://github.com/ToTheBeginning/PuLID.git
cd PuLID

# 创建 conda 环境 (推荐 python 3.10)
conda create --name pulid python=3.10
conda activate pulid

2.2 安装依赖

根据您的使用场景选择安装命令：

场景 A：使用 SDXL 或 FLUX (非 fp8 模式)

pip install -r requirements.txt

场景 B：使用 FLUX (fp8 模式，适用于消费级显卡) 如果您需要在 16GB 或更小显存的显卡上运行 FLUX 模型，请使用此命令。

pip install -r requirements_fp8.txt

3. 基本使用

安装完成后，您可以直接启动本地的 Gradio 可视化界面进行体验。

3.1 启动 SDXL 版本 (v1.1 推荐)

# 启动 v1.1 版本 (兼容性、自然度和相似度更优)
# --base 参数可指定底模，例如：RunDiffusion/Juggernaut-XL-v9 或 Lykon/dreamshaper-xl-lightning
python app_v1.1.py --base RunDiffusion/Juggernaut-XL-v9

3.2 启动旧版或 FLUX 版本

• SDXL v1 原版:

  python app.py
  

• FLUX 版本: 请参考项目目录下的 docs/pulid_for_flux.md 文档获取专门的启动脚本和说明（通常涉及特定的模型加载配置）。

3.3 操作指引

1. 运行上述命令后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860）。
2. 在浏览器打开该地址。
3. 上传参考图：在 "ID Image" 区域上传一张清晰的人脸照片。
4. 输入提示词：在文本框描述您想要生成的场景（例如："a photo of a person surfing in the ocean"）。
5. 生成：点击生成按钮，即可得到保留人物 ID 特征的新图像。

---

注：如需在线体验无需本地部署，可访问 HuggingFace Spaces: PuLID (SDXL) 或 PuLID-FLUX。