PuLID ComfyUI

PuLID 的 ComfyUI 原生实现。

[!IMPORTANT]
2025年4月14日 - 由于我不再将 ComfyUI 作为与生成式 AI 交互的主要方式，因此我已将此仓库设置为“仅维护”模式。如果有关键更新或拉取请求，我仍可能会考虑合并，但我不会再对此仓库进行持续开发。

注意事项

该代码目前可视为测试版，未来几天内可能会有变动。在 examples 目录中，您可以找到一些基础工作流。

原始实现使用了一个 4 步光照 UNet。我在 ComfyUI 中使用相同模型与官方 Gradio 演示进行了对比，未发现明显差异，这意味着这段代码应该忠实于原版。不过 Lightning LoRA 的效果并不理想。

然而，在测试其他模型时，我发现画质有所下降。您可能需要尝试不同的 CFG 值以及各种采样器和调度器（例如 sgm_uniform）。

参考图像的质量非常重要。这可能是因为 Eva CLIP 能捕捉更多细节。请务必使用清晰、锐利的图片！

若要兼容 IPAdapter，您需要更新 IPAdapter 扩展！

method 参数

method 以不同方式应用权重。Fidelity 更贴近参考 ID，而 Style 则给予检查点更大的自由度。有时两者之间的差异很小。我还添加了 neutral 选项，它不进行任何归一化处理。如果您在标准的 Apply 节点中使用此选项，请务必降低权重。而在高级节点中，您可以直接提高 fidelity 值。

高级节点包含一个 fidelity 滑块和一个 projection 选项。ortho_v2 配合 fidelity: 8 等同于标准节点中的 fidelity 方法。而 projection: ortho 并且 fidelity: 16 则等同于 style 方法。

较低的 fidelity 值会带来更高的参考图像相似度。

安装步骤

• PuLID 预训练模型 应放置于 ComfyUI/models/pulid/ 目录下（感谢 Chenlei Hu 将其转换为 IPAdapter 格式）。
• EVA CLIP 使用的是 EVA02-CLIP-L-14-336，但通常会自动下载（位于 Hugging Face 目录中）。
• 需要安装 facexlib 依赖，模型会在首次使用时自动下载。
• 最后，您还需要 InsightFace 及其 AntelopeV2，解压后的模型应放置于 ComfyUI/models/insightface/models/antelopev2 目录下。

PuLID ComfyUI 快速上手指南

PuLID ComfyUI 是 PuLID 的 ComfyUI 原生实现，主要用于在 SDXL 模型中实现高保真的人脸身份保持（ID Preservation）。

注意：本项目目前处于“仅维护”模式。代码被视为 Beta 版本，功能可能会随时间调整。

1. 环境准备

在开始之前，请确保你的环境满足以下要求：

• 系统要求：支持 ComfyUI 的操作系统（Windows/Linux/macOS），建议配备 NVIDIA GPU 以獲得最佳性能。
• ComfyUI 版本：确保已安装最新版的 ComfyUI。
• 关键依赖更新：
  • IPAdapter 扩展：为了兼容 PuLID，必须更新 ComfyUI 中的 ComfyUI_IPAdapter_plus 插件至最新版本。
  • facexlib：需要安装此依赖库（通常在首次运行时会自动下载模型）。
  • InsightFace：需要安装 InsightFace 并配置 AntelopeV2 模型。

2. 安装步骤

请按照以下步骤下载必要的模型文件并放置到指定目录。

2.1 下载 PuLID 主模型

下载转换后的 IPAdapter 格式模型，并放入 ComfyUI/models/pulid/ 目录。

# 创建目录 (如果不存在)
mkdir -p ComfyUI/models/pulid

# 下载模型 (建议使用国内镜像或加速工具下载后手动移动)
wget https://huggingface.co/huchenlei/ipadapter_pulid/resolve/main/ip-adapter_pulid_sdxl_fp16.safetensors -P ComfyUI/models/pulid/

文件名应为：ip-adapter_pulid_sdxl_fp16.safetensors

2.2 配置 InsightFace (AntelopeV2)

PuLID 依赖 InsightFace 进行人脸分析。你需要下载 AntelopeV2 模型包。

1. 从 HuggingFace 下载 antelopev2.zip。
2. 解压该文件。
3. 将解压后的文件夹整体移动到 ComfyUI/models/insightface/models/antelopev2。

最终目录结构应如下所示：

ComfyUI/models/insightface/models/antelopev2/
├── 1k3d68.onnx
├── 2d106det.onnx
├── genderage.onnx
├── glintr100.onnx
└── scrfd_10g_bnkps.onnx

2.3 EVA CLIP 模型

项目依赖 EVA02-CLIP-L-14-336。通常情况下，ComfyUI 会在首次运行时自动从 HuggingFace 下载该模型到本地缓存目录，无需手动干预。若网络受限导致下载失败，可手动下载后放入 HuggingFace 缓存目录。

3. 基本使用

3.1 加载工作流

1. 启动 ComfyUI。
2. 在 examples 目录中找到基础工作流文件（如 pulid_wf.jpg 对应的 JSON 文件），将其拖入 ComfyUI 界面加载。
3. 或者手动构建节点：使用标准的 Apply IPAdapter 节点或 Advanced 节点，选择 pulid 类型。

3.2 核心参数说明

在节点中，重点关注以下参数以平衡“相似度”与“风格自由度”：

• method (方法):
  • fidelity: 更贴近参考图的人物身份（推荐用于证件照、高相似度需求）。
  • style: 给予底模（Checkpoint）更多的风格创作自由。
  • neutral: 不进行归一化处理。若使用标准节点选此项，请降低权重；若使用高级节点，请调高 fidelity 值。
• fidelity (保真度滑块 - 仅限 Advanced 节点):
  • 数值越低，与参考图的相似度越高。
  • 预设对应关系：
    • projection: ortho_v2 + fidelity: 8 ≈ method: fidelity
    • projection: ortho + fidelity: 16 ≈ method: style

3.3 最佳实践建议

• 参考图质量：参考图的质量至关重要。请使用清晰、无遮挡、光线良好的正脸照片。模糊或低分辨率的图片会导致生成效果大幅下降（这与 Eva CLIP 提取细节的能力有关）。
• 采样器设置：
  • 官方推荐使用 4-step 的 Lightning UNet (ByteDance/SDXL-Lightning)。
  • 如果使用其他模型发现质量下降，请尝试调整 CFG 值或更换采样器/调度器（推荐尝试 sgm_uniform 调度器）。
• 权重调整：初次使用时，建议从默认权重开始，根据生成结果微调 weight 或 fidelity 参数。