FaceChain

新闻

• 我们的工作 FaceChain-MMID 已被《Pattern Recognition》期刊接受！（2025年5月30日 UTC）
• FaceChain-FACT 无训练肖像生成的更多技术细节可在论文中查看。（2024年10月17日 UTC）
• 我们的工作 TopoFR 已被 NeurIPS 2024 接受！（2024年9月26日 UTC）
• 我们提供新风格的训练脚本，支持自动为新风格 LoRa 进行训练并生成相应的风格提示，同时在“无限风格肖像生成”选项卡中实现一键调用！（2024年7月3日 UTC）
• 🚀🚀🚀 我们将 [FACT] 上线主分支，提供仅需10秒的惊人速度，并与标准即用型 LoRa 和 ControlNet 无缝集成，同时提升指令遵循能力！原基于训练的 FaceChain 已移至 (https://github.com/modelscope/facechain/tree/v3.0.0 )。（2024年5月28日 UTC）
• 我们的工作 FaceChain-ImagineID 和 FaceChain-SuDe 已被 CVPR 2024 接受！（2024年2月27日 UTC）

简介

如果您熟悉中文，可以阅读中文版本的README。

FaceChain 是一个用于生成身份保真的人像的新框架。在最新的 FaceChain FACT（带解耦训练的面部适配器）版本中，只需一张照片和10秒钟，您就能在不同场景下生成个性化肖像（现已支持多种风格！）。FaceChain 在肖像生成方面兼具高度可控性和真实性，包括文本到图像和修复填充等流程，并且可与 ControlNet 和 LoRa 无缝兼容。您可以通过 FaceChain 的 Python 脚本、熟悉的 Gradio 界面或 SD WebUI 来生成肖像。 FaceChain 由 ModelScope 提供技术支持。

ModelScope Studio 🤖  ｜API 🔥  | SD WebUI | HuggingFace Space 🤗 

新闻

• 我们的工作 FaceChain-MMID 已被《Pattern Recognition》期刊接受！（2025年5月30日 UTC）
• FaceChain-FACT 无训练肖像生成的更多技术细节可在论文中查看。（2024年10月17日 UTC）
• 我们的工作 TopoFR 已被 NeurIPS 2024 接受！（2024年9月26日 UTC）
• 我们提供新风格的训练脚本，支持自动为新风格 LoRa 进行训练并生成相应的风格提示，同时在“无限风格肖像生成”选项卡中实现一键调用！（2024年7月3日 UTC）
• 🚀🚀🚀 我们将 [FACT] 上线，提供仅需10秒的惊人速度，并与标准即用型 LoRa 和 ControlNet 无缝集成，同时提升指令遵循能力！（2024年5月28日 UTC）
• 我们的工作 FaceChain-ImagineID 和 FaceChain-SuDe 已被 CVPR 2024 接受！（2024年2月27日 UTC）
• 🏆🏆🏆阿里巴巴年度优秀开源项目、阿里巴巴年度开源先锋（刘洋、孙百贵）。（2024年1月20日 UTC）
• 我们的工作 InfoBatch 与新加坡国立大学团队合作完成，已被 ICLR 2024 接受（口头报告）！（2024年1月16日 UTC）
• 🏆开放原子基金会2023年度快速成长开源项目奖。（2023年12月20日 UTC）
• 新增 SDXL 流程🔥🔥🔥，图像细节明显提升。（2023年11月22日 UTC）
• 支持超分辨率🔥🔥🔥，提供多种分辨率选择（512512、768768、10241024、20482048）。（2023年11月13日 UTC）
• 🏆FaceChain 已入选BenchCouncil Open100（2022-2023） 年度排名。（2023年11月8日 UTC）
• 新增虚拟试穿模块。（2023年10月27日 UTC）
• 推出 wanx 版本在线免费应用。（2023年10月26日 UTC）
• 🏆1024程序员节 AIGC 应用工具最具价值商业奖。（2023年10月24日 UTC）
• 支持 FaceChain 在 stable-diffusion-webui 中使用🔥🔥🔥。（2023年10月13日 UTC）
• 高性能单人及双人修复填充，简化用户界面。（2023年9月9日 UTC）
• 更多技术细节可在论文中查看。（2023年8月30日 UTC）
• 新增 Lora 训练的验证与集成功能，以及 InpaintTab（目前在 Gradio 中隐藏）。（2023年8月28日 UTC）
• 新增姿态控制模块。（2023年8月27日 UTC）
• 新增稳健的面部 Lora 训练模块，提升单张照片训练及风格 Lora 混合的效果。（2023年8月27日 UTC）
• HuggingFace Space 现已上线！您可通过 🤗 直接体验 FaceChain。（2023年8月25日 UTC）
• 新增超赞提示词！请参考：awesome-prompts-facechain。（2023年8月18日 UTC）
• 支持一系列新风格模型，实现即插即用。（2023年8月16日 UTC）
• 支持自定义提示词。（2023年8月16日 UTC）
• Colab 笔记本现已上线！您可通过 直接体验 FaceChain。（2023年8月15日 UTC）

待办事项

• 全身数字人

引用

如果您认为 FaceChain 和 FaceChain-FACT 对您的研究有所帮助，请在您的论文中引用它们。

@article{liu2023facechain,
  title={FaceChain: 一个用于身份保留的人像生成平台},
  author={刘洋、于成、尚磊、吴子恒、王兴军、赵宇泽、朱琳、程晨、陈伟涛、徐超、谢浩宇、姚远、周文梦、陈英达、谢轩松、孙百贵},
  journal={arXiv 预印本 arXiv:2308.14256},
  year={2023}
}

@article{yu2024facechain,
  title={FaceChain-FACT：一种具有解耦训练的身份保留个性化面部适配器},
  author={于成、谢浩宇、尚磊、刘洋、单俊、孙百贵、薄立峰},
  journal={arXiv 预印本 arXiv:2410.12312},
  year={2024}
}

安装

兼容性验证

我们已在以下环境中验证了端到端的运行：

• Python：py3.8、py3.10
• PyTorch：torch2.0.0、torch2.0.1
• CUDA：11.7
• cuDNN：8+
• 操作系统：Ubuntu 20.04、CentOS 7.9
• GPU：Nvidia-A10 24G

内存优化

建议安装 Jemalloc，以将内存占用从 30G 以上优化至 20G 以下。以下是 Modelscope Notebook 中安装 Jemalloc 的示例。

apt-get install -y libjemalloc-dev
export LD_PRELOAD=/lib/x86_64-linux-gnu/libjemalloc.so

安装指南

支持以下几种安装方式：

1. ModelScope Notebook【推荐】

ModelScope Notebook 提供免费版，允许 ModelScope 用户在最少配置下运行 FaceChain 应用程序，详情请参阅 ModelScope Notebook。

# 第一步：我的 Notebook -> PAI-DSW -> GPU 环境
# 注意：请使用：ubuntu20.04-py38-torch2.0.1-tf1.15.5-modelscope1.8.1

# 第二步：进入 Notebook 单元格，从 GitHub 克隆 FaceChain：
!GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1

# 第三步：切换工作目录到 facechain，并安装依赖项：
import os
os.chdir('/mnt/workspace/facechain')    # 您可以更改为您自己的路径
print(os.getcwd())

!pip3 install gradio==3.47.1
!pip3 install controlnet_aux==0.0.6
!pip3 install python-slugify
!pip3 install diffusers==0.29.0
!pip3 install peft==0.11.1
!pip3 install modelscope -U
!pip3 install datasets==2.16

# 第四步：启动应用服务，点击“公共 URL”或“本地 URL”，上传您的图片以
# 训练您自己的模型并生成您的数字孪生。
!python3 app.py

此外，您也可以购买一个 PAI-DSW 实例（使用 A10 资源），并选择 ModelScope 镜像来按照类似步骤运行 FaceChain。

2. Docker

如果您熟悉 Docker 的使用，我们推荐采用这种方式：

# 第一步：在本地或云端准备带有 GPU 的环境，建议使用阿里云 ECS，详情请参阅：https://www.aliyun.com/product/ecs

# 第二步：下载 Docker 镜像（有关安装 Docker 引擎的说明，请参阅 https://docs.docker.com/engine/install/）
# 针对中国大陆用户：
docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1
# 针对海外用户：
docker pull registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1

# 第三步：运行 Docker 容器
docker run -it --name facechain -p 7860:7860 --gpus all registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1 /bin/bash
# 注意：您可能需要安装 nvidia-container-runtime，具体操作如下：
# 1. 安装 nvidia-container-runtime：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
# 2. sudo systemctl restart docker

# 第四步：在 Docker 容器内安装 Gradio：
pip3 install gradio==3.47.1
pip3 install controlnet_aux==0.0.6
pip3 install python-slugify
pip3 install diffusers==0.29.0
pip3 install peft==0.11.1
pip3 install modelscope -U
pip3 install datasets==2.16

# 第五步：从 GitHub 克隆 FaceChain
GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1
cd facechain
python3 app.py
# 注意：FaceChain 目前假设为单 GPU，如果您的环境有多个 GPU，请改用以下命令：
# CUDA_VISIBLE_DEVICES=0 python3 app.py

# 第六步
运行应用服务器：点击“公共 URL”--> 形式为：https://xxx.gradio.live

3. stable-diffusion-webui

1. 选择“扩展选项卡”，然后选择“从 URL 安装”（官方插件集成已整合，目前请从 URL 安装）。

2. 切换到“已安装”，勾选 FaceChain 插件，然后点击“应用并重启 UI”。安装依赖和下载模型可能需要一些时间。请确保正确安装了“CUDA Toolkit”，否则无法成功安装“mmcv”包。

3. 页面刷新后，若出现“FaceChain”选项卡，则表示安装成功。

脚本执行

FaceChain 支持在 Python 环境中直接推理。在进行无限风格人像生成推理时，请编辑 run_inference.py 中的代码：

# 使用姿态控制，默认为 False
use_pose_model = False
# 包含人像生成 ID 信息的输入图像路径
input_img_path = 'poses/man/pose2.png'
# 姿态控制图像的路径，仅在使用姿态控制时有效
pose_image = 'poses/man/pose1.png'
# 推理时生成的图像数量
num_generate = 5
# 风格模型的权重，详情请参见 styles
multiplier_style = 0.25
# 指定保存生成图像的文件夹，可根据需要修改此参数
output_dir = './generated'
# 所选基础模型的索引，详情请参见 facechain/constants.py
base_model_idx = 0
# 风格模型的索引，详情请参见 styles
style_idx = 0

然后执行：

python run_inference.py

您可以在 output_dir 中找到生成的个人数字图像照片。

在进行固定模板人像生成推理时，请编辑 run_inference_inpaint.py 中的代码。

# 模板图像中的人脸数量
num_faces = 1
# 用于修复的人脸索引，从左至右计数
selected_face = 1
# 修复强度，无需更改此参数
strength = 0.6
# 模板图像的路径
inpaint_img = 'poses/man/pose1.png'
# 包含人像生成 ID 信息的输入图像路径
input_img_path = 'poses/man/pose2.png'
# 推理时生成的图像数量
num_generate = 1

# 指定保存生成图像的文件夹，此参数可根据需要修改
output_dir = './generated_inpaint'

然后执行：

python run_inference_inpaint.py

您可以在 output_dir 文件夹中找到生成的个人数字图像照片。

算法介绍

AI人像生成的能力源自于像 Stable Diffusion 这样的大型生成模型及其微调技术。由于大型模型具有强大的泛化能力，因此可以通过在特定类型的数据和任务上进行微调来完成下游任务，同时保持模型整体的文本理解与图像生成能力。基于训练与无训练的 AI 人像生成技术基础在于将不同的微调任务应用于生成模型。目前，大多数现有的 AI 人像工具都采用“先训练后生成”的两阶段流程，其中微调任务是“生成固定角色 ID 的人像照片”，对应的训练数据则是该固定角色 ID 的多张图像。这种基于训练的流程效果取决于训练数据的规模，因此需要一定的图像数据支持和较长的训练时间，这也增加了用户的使用成本。

与基于训练的流程不同，无训练的流程将微调任务调整为“生成指定角色 ID 的人像照片”，即以角色 ID 图像（人脸照片）作为额外输入，输出则是一张保留输入 ID 的人像照片。这种流程将离线训练与在线推理完全分离，用户只需一张照片即可在短短 10 秒内直接基于微调后的模型生成人像，从而避免了大量数据和长时间训练所带来的成本。无训练 AI 人像生成的微调任务基于适配器模块。人脸照片通过一个权重固定的图像编码器和一个参数高效的特征投影层进行处理，以获得对齐的特征，随后通过类似于文本条件的注意力机制输入到 Stable Diffusion 的 U-Net 模型中。此时，人脸信息作为独立的分支条件与文本信息一同输入模型进行推理，从而使生成的图像能够保持 ID 的保真度。

基于人脸适配器的基本算法已经可以实现无训练的 AI 人像生成，但为了进一步提升其效果，仍需进行一些调整。现有的无训练人像工具普遍存在以下问题：人像图像质量较差、人像中的文本跟随与风格保留能力不足、人像面部的可控性和丰富性欠佳，以及与 ControlNet 和风格 Lora 等扩展的兼容性较差。为了解决这些问题，FaceChain 认为现有无训练 AI 人像工具的微调任务耦合了过多超出角色 ID 的信息，并提出了 FaceChain 人脸适配器解耦训练（FaceChain FACT），以解决上述问题。通过在数百万张人像数据上对 Stable Diffusion 模型进行微调，FaceChain FACT 能够实现针对指定角色 ID 的高质量人像生成。FaceChain FACT 的整个框架如下图所示。

FaceChain FACT 的解耦训练包含两个部分：人脸与图像的解耦，以及 ID 与人脸的解耦。现有方法通常将去噪人像图像作为微调任务，这使得模型难以准确聚焦于人脸区域，从而影响基础 Stable Diffusion 模型的文生图能力。FaceChain FACT 借鉴了换脸算法的顺序处理与区域控制优势，从结构和训练策略两方面实现了人脸与图像解耦的微调方法。在结构上，不同于现有方法采用并行交叉注意力机制处理人脸与文本信息，FaceChain FACT 采用了顺序处理的方式，将一个独立的适配器层插入到原 Stable Diffusion 的各个模块中。这样一来，人脸适配就成为去噪过程中类似换脸的一个独立步骤，避免了人脸与文本条件之间的相互干扰。在训练策略上，除了原有的 MSE 损失函数外，FaceChain FACT 还引入了人脸适配增量正则化（FAIR）损失函数，通过控制适配器层中人脸适配步骤的特征增量，使其更加专注于人脸区域。在推理时，用户可以通过调整人脸适配器的权重灵活地调节生成效果，在保持 Stable Diffusion 文生图能力的同时，平衡人脸的保真度与泛化能力。FAIR 损失函数的公式如下：

此外，针对生成人脸的可控性和丰富性较差的问题，FaceChain FACT 提出了 ID 与人脸解耦的训练方法，使整个人像生成过程仅保留角色 ID 而非完整的人脸。首先，为了更好地从人脸中提取 ID 信息并保留某些关键的面部细节，同时更好地适配 Stable Diffusion 的结构，FaceChain FACT 采用了一种名为 TransFace 的基于 Transformer 架构的人脸特征提取器，该模型已在大规模人脸数据集上进行了预训练。随后，将倒数第二层的所有 token 输入到一个简单的注意力查询模型中进行特征投影，从而确保提取出的 ID 特征符合上述要求。另外，在训练过程中，FaceChain FACT 还使用分类器自由引导（CFG）方法对同一 ID 的不同人像图像进行随机打乱与丢弃，这样就能保证用于去噪的输入人脸图像与目标图像可能来自不同但具有相同 ID 的人脸，从而进一步防止模型过度拟合人脸的非 ID 信息。因此，FaceChain FACT 具有与 FaceChain 大量精美风格的高度兼容性，具体表现如下。

模型列表

FaceChain 中使用的模型：

[1] 人脸识别模型 TransFace：https://www.modelscope.cn/models/iic/cv_vit_face-recognition

[2] 人脸检测模型 DamoFD：https://modelscope.cn/models/damo/cv_ddsar_face-detection_iclr23-damofd

[3] 人体分割模型 M2FP：https://modelscope.cn/models/damo/cv_resnet101_image-multiple-human-parsing

[4] 美肤修复模型 ABPN：https://www.modelscope.cn/models/damo/cv_unet_skin_retouching_torch

[5] 人脸融合模型：https://www.modelscope.cn/models/damo/cv_unet_face_fusion_torch

[6] FaceChain FACT 模型：https://www.modelscope.cn/models/yucheng1996/FaceChain-FACT

[7] 人脸属性识别模型 FairFace：https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface

更多信息

• ModelScope 库

​ ModelScope 库为构建 ModelScope 的模型生态系统提供了基础，包括将各类模型集成到 ModelScope 的接口与实现。

• 向 ModelScope 贡献模型

许可证

本项目采用 Apache 许可证（版本 2.0） 许可。

FaceChain 快速上手指南

环境准备

系统要求

• 操作系统：Ubuntu 20.04 / CentOS 7.9
• Python 版本：3.8 或 3.10
• PyTorch 版本：2.0.0 或 2.0.1
• CUDA 版本：11.7
• CUDNN 版本：8+
• GPU：Nvidia A10 24G（推荐）

前置依赖

• 安装 Jemalloc 可优化内存使用，将内存从超过 30G 降低至低于 20G：

  apt-get install -y libjemalloc-dev
  export LD_PRELOAD=/lib/x86_64-linux-gnu/libjemalloc.so
  

---

安装步骤

方法一：ModelScope Notebook（推荐）

1. 登录 ModelScope Notebook，选择 PAI-DSW 的 GPU 环境。

   • 推荐镜像：ubuntu20.04-py38-torch2.0.1-tf1.15.5-modelscope1.8.1

2. 在 Notebook 中执行以下命令：

# Step1: 克隆 FaceChain 仓库
!GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1

# Step2: 进入 facechain 目录并安装依赖
import os
os.chdir('/mnt/workspace/facechain')    # 根据实际路径修改
print(os.getcwd())

!pip3 install gradio==3.47.1
!pip3 install controlnet_aux==0.0.6
!pip3 install python-slugify
!pip3 install diffusers==0.29.0
!pip3 install peft==0.11.1
!pip3 install modelscope -U
!pip3 install datasets==2.16

# Step3: 启动应用服务
!python3 app.py

3. 启动后通过提供的 URL 访问 Gradio 界面，上传图片即可生成数字人肖像。

---

方法二：Docker（适合熟悉 Docker 的用户）

1. 准备支持 GPU 的本地或云环境，推荐使用阿里云 ECS。

2. 下载 Docker 镜像（国内用户）：

docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1

3. 启动容器：

docker run -it --name facechain -p 7860:7860 --gpus all registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1 /bin/bash

4. 安装依赖并启动应用：

pip3 install gradio==3.47.1
pip3 install controlnet_aux==0.0.6
pip3 install python-slugify
pip3 install diffusers==0.29.0
pip3 install peft==0.11.1
pip3 install modelscope -U
pip3 install datasets==2.16

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git --depth 1
cd facechain
python3 app.py

---

方法三：stable-diffusion-webui 插件安装

1. 打开 stable-diffusion-webui 的 Extensions Tab，选择 Install From URL，输入 FaceChain 插件地址进行安装。

2. 安装完成后，在 Installed 页面中启用 FaceChain 插件，并重启 UI。

3. 页面刷新后，若出现 FaceChain 标签页，则表示安装成功。

---

基本使用（最简单的使用示例）

使用 Gradio 界面生成数字人肖像

1. 启动 FaceChain 应用后，访问提供的 Gradio 网页链接（如：https://xxx.gradio.live）。

2. 上传一张人脸照片，选择风格、分辨率等参数，点击生成按钮。

3. 等待约 10 秒，即可看到生成的个性化肖像。

使用 Python 脚本生成（以 Infinite Style Portrait 为例）

编辑 run_inference.py 文件，设置如下参数：

# 是否使用姿态控制，默认为 False
use_pose_model = False
# 输入图像路径
input_image_path = 'your_image.jpg'
# 输出图像路径
output_image_path = 'generated_image.png'

然后运行脚本：

python3 run_inference.py

---

📌 提示：如果需要更详细的配置或自定义训练，请参考项目中的文档和论文。