这是**Arc2Face**的官方实现，它是一个基于ID条件的人脸生成模型：

 ✅ 仅需提供ArcFace嵌入即可在几秒钟内生成高质量的任意主体图像
 ✅ 基于大规模WebFace42M数据集训练，相比现有模型具有更优的ID相似性
 ✅ 构建于Stable Diffusion之上，可扩展至不同输入模态，例如结合ControlNet

最新消息/更新

• [2025/10/07] 🔥 我们发布了用于准确且ID一致的面部表情迁移的扩展。详情请见下方!
• [2024/08/16] 🔥 被ECCV24接受为口头报告！
• [2024/08/06] 🔥 ComfyUI支持已在caleboleary/ComfyUI-Arc2Face中提供！
• [2024/04/12] 🔥 我们增加了LCM-LoRA支持，以实现更快的推理速度（详情请见下方）。
• [2024/04/11] 🔥 我们在HuggingFace Datasets上公开了训练数据集。
• [2024/03/31] 🔥 我们发布了使用Arc2Face + ControlNet进行姿态控制的演示（说明请见下方）。
• [2024/03/28] 🔥 我们在HuggingFace Spaces上发布了Gradio演示（感谢HuggingFace团队提供的免费GPU支持）！
• [2024/03/14] 🔥 我们正式发布Arc2Face。

安装

conda create -n arc2face python=3.10
conda activate arc2face

# 安装依赖
pip install -r requirements.txt

下载模型

1. 模型可以从HuggingFace手动下载，也可以使用Python下载：

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/diffusion_pytorch_model.safetensors", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/pytorch_model.bin", local_dir="./models")

2. 对于人脸检测和ID嵌入提取，需手动下载antelopev2包（直接链接），并将检查点放置在models/antelopev2目录下。

3. 我们使用基于WebFace42M训练的ArcFace识别模型。从HuggingFace下载arcface.onnx并将其放入models/antelopev2目录，或使用Python下载：

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arcface.onnx", local_dir="./models/antelopev2")

4. 然后请删除glintr100.onnx（insightface的默认骨干网络）。

最终的models文件夹结构应如下所示：

  . ── models ──┌── antelopev2
                ├── arc2face
                └── encoder

使用方法

使用diffusers加载管道：

from diffusers import (
    StableDiffusionPipeline,
    UNet2DConditionModel,
    DPMSolverMultistepScheduler,
)

from arc2face import CLIPTextModelWrapper, project_face_embs

import torch
from insightface.app import FaceAnalysis
from PIL import Image
import numpy as np

# Arc2Face基于SD1.5构建

# 下面的仓库可以用来替代现已弃用的 'runwayml/stable-diffusion-v1-5'
base_model = 'stable-diffusion-v1-5/stable-diffusion-v1-5'

encoder = CLIPTextModelWrapper.from_pretrained(
    'models', subfolder="encoder", torch_dtype=torch.float16
)

unet = UNet2DConditionModel.from_pretrained(
    'models', subfolder="arc2face", torch_dtype=torch.float16
)

pipeline = StableDiffusionPipeline.from_pretrained(
        base_model,
        text_encoder=encoder,
        unet=unet,
        torch_dtype=torch.float16,
        safety_checker=None
    )

你可以使用任何与SD兼容的调度器和步数，就像使用Stable Diffusion一样。默认情况下，我们使用DPMSolverMultistepScheduler，设置25个步骤，只需几秒钟就能生成非常好的效果。

pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)
pipeline = pipeline.to('cuda')

选择一张图片并提取ID嵌入：

app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

img = np.array(Image.open('https://oss.gittoolsai.com/images/foivospar_Arc2Face_readme_a5f5eca82820.png'))[:,:,::-1]

faces = app.get(img)
faces = sorted(faces, key=lambda x:(x['bbox'][2]-x['bbox'][0])*(x['bbox'][3]-x['bbox'][1]))[-1]  # 选择最大的人脸（如果检测到多张）
id_emb = torch.tensor(faces['embedding'], dtype=torch.float16)[None].cuda()
id_emb = id_emb/torch.norm(id_emb, dim=1, keepdim=True)   # 归一化嵌入
id_emb = project_face_embs(pipeline, id_emb)    # 通过编码器

生成图像：

num_images = 4
images = pipeline(prompt_embeds=id_emb, num_inference_steps=25, guidance_scale=3.0, num_images_per_prompt=num_images).images

LCM-LoRA 加速

LCM-LoRA 允许你将采样步骤减少到仅2-4步，实现超快速推理。只需插入针对SD v1.5预训练的蒸馏适配器，并切换到LCMScheduler：

from diffusers import LCMScheduler

pipeline.load_lora_weights("latent-consistency/lcm-lora-sdv1-5")
pipeline.scheduler = LCMScheduler.from_config(pipeline.scheduler.config)

然后，你可以使用最少2个步骤进行采样（并禁用guidance_scale，将其设置为1.0，因为LCM对此非常敏感，即使是较小的值也会导致过度饱和）：

images = pipeline(prompt_embeds=id_emb, num_inference_steps=2, guidance_scale=1.0, num_images_per_prompt=num_images).images

请注意，这种技术虽然加快了采样速度，但会略微降低生成质量。

启动本地Gradio演示

你可以通过运行以下命令启动本地推理演示：

python gradio_demo/app.py

Arc2Face + ControlNet（姿态）

我们提供了一个基于Arc2Face训练的ControlNet模型，用于姿态控制。我们使用EMOCA来提取3D姿态。要运行我们的演示，请按照以下步骤操作：

1) 下载模型

可以从HuggingFace手动下载ControlNet检查点，或者使用Python下载：

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="controlnet/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="controlnet/diffusion_pytorch_model.safetensors", local_dir="./models")

2) 拉取EMOCA

git submodule update --init external/emoca

3) 安装

这是最棘手的部分。你需要PyTorch3D才能运行EMOCA。由于其安装可能会引起冲突，我们建议按照以下步骤操作：

1. 创建一个新的环境，首先安装支持GPU的PyTorch3D（请遵循官方说明）。
2. 添加Arc2Face + EMOCA所需的依赖项：

pip install -r requirements_controlnet.txt

3. 安装EMOCA代码：

pip install -e external/emoca

4. 最后，你需要下载EMOCA/FLAME资源。运行以下命令并按照终端中的指示操作：

cd external/emoca/gdl_apps/EMOCA/demos 
bash download_assets.sh
cd ../../../../..

4) 启动本地Gradio演示

你可以通过运行以下命令启动本地ControlNet演示：

python gradio_demo/app_controlnet.py

Arc2Face + 表情适配器

我们的扩展“基于Blendshape引导扩散的ID一致、精确表情生成”（http://arxiv.org/abs/2510.04706）将Arc2Face与自定义IP-Adapter结合，旨在根据FLAME blendshape参数生成具有精确表情控制且ID一致的图像。我们还提供一个可选的参考适配器，可用于直接以输入图像为条件生成输出，即在一定程度上保留主体的外观和背景。更多细节请参阅报告。

以下是运行方法：

1) 下载模型

可以从HuggingFace手动下载表情和参考适配器，或者使用Python下载：

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="exp_adapter/exp_adapter.bin", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="ref_adapter/pytorch_lora_weights.safetensors", local_dir="./models")

2) 下载第三方模型（SMIRK）

我们使用SMIRK方法从目标图像中提取FLAME表情参数。下载所需的检查点face_landmarker.task和SMIRK_em1.pt，并将它们放入models/smirk目录下：

mkdir models/smirk
wget https://storage.googleapis.com/mediapipe-models/face_landmarker/face_landmarker/float16/latest/face_landmarker.task --directory-prefix models/smirk
pip install gdown
gdown --id 1T65uEd9dVLHgVw5KiUYL66NUee-MCzoE -O models/smirk/

3) 启动本地Gradio演示

然后，只需运行演示并按照指示操作：

python gradio_demo/app_exp_adapter.py

测试数据

论文中用于比较的测试图像（Synth-500、AgeDB）可在这里获取。请仅将其用于评估目的，并在使用时务必引用相应的来源。

社区资源

复刻演示

• 演示链接由@camenduru提供。

ComfyUI

• caleboleary/ComfyUI-Arc2Face由@caleboleary提供。

皮诺曹

• 皮诺曹 实现 由 @cocktailpeanut 提供（可在所有操作系统上本地运行——Windows、Mac 和 Linux）。

致谢

• 感谢 Stable Diffusion 的开发者以及 HuggingFace 的 diffusers 团队所做出的卓越工作 ❤️。
• 感谢 WebFace42M 的创建者提供了如此大规模的人脸数据集 ❤️。
• 感谢 HuggingFace 团队通过社区 GPU 赠款对我们演示项目的慷慨支持 ❤️。
• 我们还感谢弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校（FAU）下属的埃尔兰根国家高性能计算中心（NHR@FAU）所提供的宝贵 HPC 资源，正是这些资源使得 Arc2Face 的训练成为可能。

引用

如果您在研究中使用了 Arc2Face，请考虑引用我们：

@inproceedings{paraperas2024arc2face,
      title={Arc2Face: 用于身份一致人脸的基础模型}, 
      author={帕拉佩拉斯·帕潘托尼乌，福伊沃斯；拉塔斯，亚历山德罗斯；莫斯霍格鲁，斯蒂利亚诺斯；邓建康；凯因茨，伯恩哈德；扎菲里乌，斯特法诺斯},
      booktitle={欧洲计算机视觉大会（ECCV）论文集},
      year={2024}
}

此外，如果您使用了表情适配器，请同时引用该扩展：

@inproceedings{paraperas2025arc2face_exp,
      title={基于混合形状引导的扩散模型实现身份一致且精确的表情生成}, 
      author={帕拉佩拉斯·帕潘托尼乌，福伊沃斯；扎菲里乌，斯特法诺斯},
      booktitle={IEEE/CVF 国际计算机视觉会议（ICCV）研讨会论文集},
      year={2025}
}

Arc2Face 快速上手指南

Arc2Face 是一个基于 Stable Diffusion 构建的人脸基础模型，仅需一张人脸图片的 ArcFace 特征嵌入（Embedding），即可在几秒钟内生成该人物的高保真、身份一致的人脸图像。

环境准备

• 操作系统: Linux (推荐) 或 Windows
• Python 版本: 3.10
• 硬件要求: NVIDIA GPU (支持 CUDA)，建议显存 8GB 以上
• 前置依赖: Conda (推荐用于环境管理)

注意：本项目依赖 insightface 和 PyTorch3D (仅在使用 ControlNet 姿态控制时需要)，在 Windows 上安装可能较为复杂，建议优先使用 Linux 环境或 WSL2。

安装步骤

1. 创建并激活虚拟环境

conda create -n arc2face python=3.10
conda activate arc2face

2. 安装核心依赖

pip install -r requirements.txt

国内加速提示：如果下载速度慢，可添加清华源或阿里源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型文件

A. 下载 Arc2Face 主模型与编码器

你可以手动从 HuggingFace 下载，或使用以下 Python 脚本自动下载至 ./models 目录：

from huggingface_hub import hf_hub_download

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arc2face/diffusion_pytorch_model.safetensors", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/config.json", local_dir="./models")
hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="encoder/pytorch_model.bin", local_dir="./models")

B. 下载人脸检测与特征提取模型 (Antelopev2)

1. 手动下载 antelopev2 压缩包。
2. 解压后将内容放入 models/antelopev2 文件夹。

C. 下载 ArcFace 识别模型

下载 arcface.onnx 并放入 models/antelopev2：

hf_hub_download(repo_id="FoivosPar/Arc2Face", filename="arcface.onnx", local_dir="./models/antelopev2")

D. 清理默认文件

重要：删除 models/antelopev2 目录下的 glintr100.onnx 文件（这是 insightface 的默认骨干网络，需移除以避免冲突）。

最终 models 目录结构应如下：

models/
├── antelopev2/      # 包含 arcface.onnx 及 antelopev2 相关文件
├── arc2face/        # 包含扩散模型文件
└── encoder/         # 包含编码器文件

基本使用

以下是最小化的 Python 推理示例，展示如何加载模型并生成图像。

1. 加载 Pipeline

from diffusers import (
    StableDiffusionPipeline,
    UNet2DConditionModel,
    DPMSolverMultistepScheduler,
)
from arc2face import CLIPTextModelWrapper, project_face_embs
import torch
from insightface.app import FaceAnalysis
from PIL import Image
import numpy as np

# 指定基础模型 (基于 SD1.5)
base_model = 'stable-diffusion-v1-5/stable-diffusion-v1-5'

# 加载自定义编码器和 UNet
encoder = CLIPTextModelWrapper.from_pretrained(
    'models', subfolder="encoder", torch_dtype=torch.float16
)

unet = UNet2DConditionModel.from_pretrained(
    'models', subfolder="arc2face", torch_dtype=torch.float16
)

# 构建 Pipeline
pipeline = StableDiffusionPipeline.from_pretrained(
    base_model,
    text_encoder=encoder,
    unet=unet,
    torch_dtype=torch.float16,
    safety_checker=None
)

# 设置采样器 (推荐 DPM Solver, 25 步)
pipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)
pipeline = pipeline.to('cuda')

2. 提取人物 ID 特征

准备一张包含人脸的图片（例如 assets/examples/joacquin.png），提取其归一化的 ID 嵌入向量。

# 初始化人脸分析工具
app = FaceAnalysis(name='antelopev2', root='./', providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
app.prepare(ctx_id=0, det_size=(640, 640))

# 读取图片 (注意 OpenCV/BGR 格式转换)
img_path = 'assets/examples/joacquin.png'
img = np.array(Image.open(img_path))[:,:,::-1]

# 检测人脸并选取最大的一张
faces = app.get(img)
faces = sorted(faces, key=lambda x:(x['bbox'][2]-x['bbox'][0])*(x['bbox'][3]-x['bbox'][1]))[-1]

# 获取并处理 Embedding
id_emb = torch.tensor(faces['embedding'], dtype=torch.float16)[None].cuda()
id_emb = id_emb/torch.norm(id_emb, dim=1, keepdim=True)   # 归一化
id_emb = project_face_embs(pipeline, id_emb)    # 通过编码器投影

3. 生成图像

使用提取的 id_emb 作为条件生成图像。无需输入文本提示词（prompt），模型将直接根据 ID 生成。

num_images = 4
images = pipeline(
    prompt_embeds=id_emb, 
    num_inference_steps=25, 
    guidance_scale=3.0, 
    num_images_per_prompt=num_images
).images

# 保存结果
for i, img in enumerate(images):
    img.save(f"output_{i}.png")

💡 加速推理 (可选)

如需极速生成（2-4 步），可加载 LCM-LoRA：

from diffusers import LCMScheduler

# 加载 LCM LoRA 并切换采样器
pipeline.load_lora_weights("latent-consistency/lcm-lora-sdv1-5")
pipeline.scheduler = LCMScheduler.from_config(pipeline.scheduler.config)

# 生成 (仅需 2 步，guidance_scale 设为 1.0)
images = pipeline(
    prompt_embeds=id_emb, 
    num_inference_steps=2, 
    guidance_scale=1.0, 
    num_images_per_prompt=num_images
).images