GFPGAN

GitHub
37.4k 6.3k 中等 1 次阅读 今天NOASSERTION开发框架图像
AI 解读 由 AI 自动生成,仅供参考

GFPGAN 是一款专注于现实世界人脸修复的开源 AI 工具,由腾讯 ARC 实验室研发。它主要解决老照片模糊、低分辨率视频人脸不清或因压缩导致的面部细节丢失等难题,能够将受损严重的人脸图像恢复得清晰自然。

与传统的修复方法不同,GFPGAN 的独特之处在于巧妙利用了预训练人脸生成对抗网络(如 StyleGAN2)中蕴含的丰富先验知识。这种“盲脸修复”技术让模型即使在没有清晰原图参考的情况下,也能智能推测并重建出符合人体结构的高保真五官细节,有效避免了修复后人脸失真或僵硬的问题。项目持续迭代,最新模型在极低画质输入下也能呈现更自然的肤色与纹理,甚至支持动漫风格图像的优化。

GFPGAN 既适合研究人员和开发者进行算法探索与二次开发(提供 PyPI 包及 Colab 演示),也方便设计师用于老旧影像资料的数字化修复。对于普通用户,通过 Hugging Face 或 Replicate 等平台提供的在线演示,无需配置复杂环境即可一键体验高清人脸修复效果。无论是挽救家庭老照片,还是提升影视素材画质,GFPGAN 都提供了一个高效且实用的解决方案。

使用场景

一位数字档案管理员正在处理一批上世纪 90 年代的家庭录像带截图,这些图像因年代久远而面临严重的人脸模糊和噪点问题,急需修复以用于家族纪念册的数字化出版。

没有 GFPGAN 时

  • 细节丢失严重:传统插值放大算法(如双三次插值)仅能增加像素数量,无法还原五官纹理,人脸依旧模糊成一团马赛克。
  • 人工成本高昂:若聘请专业修图师逐张手工重绘五官,面对数千张截图,耗时数月且费用远超项目预算。
  • 身份特征失真:通用去噪模型容易过度平滑,导致人物面部特征“塑料化”,甚至改变原本的面部轮廓,让家属难以辨认。
  • 低质输入束手无策:面对极低分辨率或高压缩伪影的源文件,常规 AI 工具往往产生奇怪的伪影或直接失败。

使用 GFPGAN 后

  • 纹理智能重建:GFPGAN 利用预训练 StyleGAN2 的丰富先验知识,能从模糊色块中“幻觉”出逼真的皮肤毛孔、发丝等高频细节。
  • 批量高效处理:通过命令行或 Colab 脚本一键批量运行,数千张老照片的修复工作从数月缩短至几小时,极大提升交付效率。
  • 身份高度保真:专为盲人脸复原设计的架构,在增强清晰度的同时,精准锁定并保留人物独有的生物特征,确保“修旧如旧”。
  • 鲁棒性极强:即使是分辨率极低或受损严重的输入,GFPGAN v1.3/v1.4 模型也能输出自然、连贯的高质量人脸结果。

GFPGAN 将原本不可能低成本完成的老照片人脸复原任务,转化为可自动化、高保真的标准化流程,让珍贵记忆得以清晰重现。

运行环境要求

操作系统
  • Linux
  • Windows
GPU
  • 可选
  • 推荐使用 NVIDIA GPU + CUDA 以加速运行
  • 提供无需 CUDA 扩展的“纯净版”模型,支持在 CPU 模式或 Windows 上运行
  • 具体显存和 CUDA 版本未说明
内存

未说明

依赖
notes项目提供无需自定义 CUDA 扩展的‘纯净版’,可在 Windows 或纯 CPU 环境下运行。若需使用论文原始模型或进行训练,则可能需要 Linux 环境和 CUDA 支持。建议使用 Anaconda 或 Miniconda 管理环境。推理前需下载预训练模型文件(如 GFPGANv1.3.pth)。若需增强背景区域,需额外安装 realesrgan。
python>=3.7
PyTorch>=1.7
basicsr
facexlib
realesrgan
GFPGAN hero image

快速开始

download PyPI Open issue Closed issue LICENSE python lint Publish-pip

  1. :boom: 更新了在线演示:Replicate。这里还有一个备份
  2. :boom: 更新了在线演示:Huggingface Gradio
  3. GFPGAN的Colab演示google colab logo;(另一个Colab演示用于原始论文中的模型)

:rocket: 感谢您对我们工作的关注。您可能还想查看我们在Real-ESRGAN中针对动漫图像和视频推出的小型模型的新更新 :blush:

GFPGAN旨在开发一种适用于真实场景的人脸修复实用算法
它利用预训练人脸GAN(如StyleGAN2)中封装的丰富多样的先验知识,实现盲人像修复。

:question: 常见问题解答可在FAQ.md中找到。

:triangular_flag_on_post: 更新

  • :white_check_mark: 添加了RestoreFormer的推理代码。
  • :white_check_mark: 添加了V1.4模型,该模型比V1.3生成的细节略多,且身份保持更好。
  • :white_check_mark: 添加了**V1.3模型,它能产生更自然*的修复效果,并在极低质量高质量*输入上表现更佳。更多信息请参见模型库Comparisons.md
  • :white_check_mark: 集成到Huggingface Spaces中,使用Gradio。请参阅Gradio网页演示
  • :white_check_mark: 支持使用Real-ESRGAN增强非人脸区域(背景)。
  • :white_check_mark: 我们提供了一个干净版本的GFPGAN,不需要CUDA扩展。
  • :white_check_mark: 我们提供了一个不进行人脸着色的更新模型。

如果GFPGAN对您的照片或项目有所帮助,请为本仓库点赞或推荐给您的朋友。谢谢:blush: 其他推荐项目:
:arrow_forward: Real-ESRGAN:一种用于通用图像修复的实用算法
:arrow_forward: BasicSR:一个开源的图像和视频修复工具箱
:arrow_forward: facexlib:一个提供有用人脸相关功能的集合
:arrow_forward: HandyView:一款基于PyQt5的图像查看器,便于查看和比较


:book: GFP-GAN:基于生成式人脸先验的真实世界盲人像修复

[论文]   [项目页面]   [演示]
王鑫涛李宇张洪伦山英
腾讯PCG应用研究中心(ARC)


:wrench: 依赖与安装

安装

我们现在提供了一个干净版本的GFPGAN,不需要自定义的CUDA扩展。
如果您想使用我们论文中的原始模型,请参阅PaperModel.md了解安装方法。

  1. 克隆仓库

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
    
  2. 安装依赖包

    # 安装basicsr - https://github.com/xinntao/BasicSR
    # 我们在训练和推理中都使用BasicSR
    pip install basicsr
    
    # 安装facexlib - https://github.com/xinntao/facexlib
    # 我们在facexlib包中使用人脸检测和修复辅助工具
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # 如果你想用Real-ESRGAN增强背景(非人脸)区域,
    # 还需要安装realesrgan包
    pip install realesrgan
    

:zap: 快速推理

我们以 v1.3 版本为例。更多模型请参见 这里

下载预训练模型:GFPGANv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

开始推理!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
用法:python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [选项]...

  -h                   显示帮助信息
  -i input             输入图像或文件夹。默认:inputs/whole_imgs
  -o output            输出文件夹。默认:results
  -v version           GFPGAN 模型版本。可选:1 | 1.2 | 1.3。默认:1.3
  -s upscale           图像的最终上采样倍数。默认:2
  -bg_upsampler        背景超分辨率模型。默认:realesrgan
  -bg_tile             背景超分辨率模型的分块大小,测试时设为 0 表示不分块。默认:400
  -suffix              修复后人脸的后缀
  -only_center_face    只修复中心人脸
  -aligned             输入为已对齐的人脸
  -ext                 图像扩展名。可选:auto | jpg | png,auto 表示使用与输入相同的扩展名。默认:auto

如果您想使用我们论文中的原始模型,请参阅 PaperModel.md,了解安装和推理方法。

:european_castle: 模型库

版本 模型名称 描述
V1.3 GFPGANv1.3.pth 基于 V1.2;更自然的修复效果;在极低质量/高质量输入上表现更好。
V1.2 GFPGANCleanv1-NoCE-C2.pth 不含色彩化;无需 CUDA 扩展。使用更多经过预处理的数据进行训练。
V1 GFPGANv1.pth 论文中的原始模型,包含色彩化功能。

对比结果请参见 Comparisons.md

请注意,V1.3 并不总是优于 V1.2。您可能需要根据自己的用途和输入选择不同的模型。

版本 优势 劣势
V1.3 ✓ 自然的输出
✓ 在极低质量输入上的表现更好
✓ 对相对高质量输入也有效
✓ 可以进行重复(两次)修复
✗ 锐度不够
✗ 身份特征会有轻微变化
V1.2 ✓ 输出更锐利
✓ 带有美颜效果
✗ 部分输出显得不自然

您可以在这里找到 更多模型(例如判别器):[Google Drive],或者 [腾讯微云]

:computer: 训练

我们提供了 GFPGAN 的训练代码(用于我们的论文)。
您可以根据自身需求对其进行改进。

提示

  1. 更多高质量人脸数据可以提升修复效果。
  2. 您可能需要进行一些预处理,例如美颜处理。

流程

(您可以尝试一个简单的版本 (options/train_gfpgan_v1_simple.yml),该版本不需要人脸关键点标注。)

  1. 数据集准备:FFHQ

  2. 下载预训练模型及其他数据,并将其放入 experiments/pretrained_models 文件夹。

    1. 预训练 StyleGAN2 模型:StyleGAN2_512_Cmul1_FFHQ_B12G4_scratch_800k.pth
    2. FFHQ 人脸关键点数据:FFHQ_eye_mouth_landmarks_512.pth
    3. 一个简单的 ArcFace 模型:arcface_resnet18.pth
  3. 相应地修改配置文件 options/train_gfpgan_v1.yml

  4. 开始训练

python -m torch.distributed.launch --nproc_per_node=4 --master_port=22021 gfpgan/train.py -opt options/train_gfpgan_v1.yml --launcher pytorch

:scroll: 许可证与致谢

GFPGAN 采用 Apache License Version 2.0 许可证发布。

BibTeX

@InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {利用生成式人脸先验实现真实场景下的盲人像修复},
    booktitle={IEEE 计算机视觉与模式识别会议 (CVPR)},
    year = {2021}
}

:e-mail: 联系方式

如有任何问题,请发送邮件至 xintao.wang@outlook.comxintaowang@tencent.com

版本历史

v1.3.82022/09/16
v1.3.72022/09/16
v1.3.42022/07/13
v1.3.22022/02/15
v1.3.12022/02/14
v1.3.02022/02/14
v0.2.02021/08/06
v0.1.02021/06/15

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

159.3k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|1周前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架