Pytorch_Retinaface

GitHub
2.9k 808 中等 2 次阅读 昨天MIT图像
AI 解读 由 AI 自动生成,仅供参考

Pytorch_Retinaface 是一个基于 PyTorch 框架实现的人脸检测开源项目,复现了论文 "RetinaFace: Single-stage Dense Face Localisation in the Wild" 中的算法。它能够在复杂场景下快速准确地检测人脸位置,并同时输出人脸的五个关键点坐标(眼睛、鼻子、嘴角)。

这个项目主要解决了轻量级人脸检测的需求痛点。传统高精度人脸检测模型往往体积庞大、计算量大,难以在移动端或边缘设备上实时运行。Pytorch_Retinaface 提供了两种骨干网络选择:MobileNet0.25 版本仅 1.7MB 大小,在 WIDERFACE 困难测试集上达到 80.99% 的准确率;ResNet50 版本则追求更高精度,在相同测试集上可达 89.60%。这种灵活的架构设计让开发者能根据实际场景在速度和精度之间自由取舍。

适合计算机视觉开发者、AI 算法工程师以及需要在产品中集成人脸检测功能的技术团队使用。项目提供了完整的训练代码、预训练模型和 TensorRT 部署支持,还配套有专门的 C++ 推理版本(Face-Detector-1MB-with-landmark),方便从研究到生产的全链路落地。对于希望快速搭建人脸相关应用(如美颜、身份验证、表情分析)的开发者来说,这是一个开箱即用且经过充分验证的可靠选择。

使用场景

某智能门锁厂商正在开发支持"刷脸开锁"的新一代产品,需要在低功耗芯片上实现实时人脸检测,同时保证各种光线和角度下的识别准确率。

没有 Pytorch_Retinaface 时

  • 模型体积臃肿:通用的 ResNet 人脸检测模型超过 100MB,无法嵌入到仅有 8MB Flash 存储的低成本门锁芯片中
  • 边缘端算力不足:现有方案需要云端协同检测,开锁延迟高达 2-3 秒,用户体验差且存在隐私泄露风险
  • 复杂场景漏检严重:逆光、侧脸、多人同框时,检测准确率骤降,经常出现"识别不到人脸"的客诉
  • 部署成本高昂:为适配不同硬件平台,需要重复开发 C++ 推理代码,研发周期拉长 2 个月以上

使用 Pytorch_Retinaface 后

  • 1.7MB 超轻量模型:MobileNet0.25 骨干网络将模型压缩至 1.7MB,轻松装入资源受限的嵌入式设备,BOM 成本降低 40%
  • 端侧实时推理:纯本地运行,检测延迟降至 50ms 以内,实现"靠近即解锁"的流畅体验,用户人脸数据不出设备
  • WiderFace Hard 80.99% 精度:在遮挡、模糊、小目标等困难场景下依然保持高检出率,夜间红外模式也能稳定工作
  • 一键迁移边缘设备:官方提供从 Python 训练到 C++ 推理的完整工具链,2 周内即可完成跨平台部署,支持 TensorRT 加速

Pytorch_Retinaface 让高精度人脸检测真正"瘦身"到边缘端,是智能硬件厂商平衡性能与成本的理想选择。

运行环境要求

操作系统
  • Linux
  • macOS
  • Windows
GPU
  • 需要 NVIDIA GPU 用于训练(CUDA 支持),支持多卡训练 CUDA_VISIBLE_DEVICES=0,1,2,3
  • MobileNet0.25 backbone 模型仅 1.7M,适合边缘设备部署
内存

未说明

依赖
notes1. 提供两种 backbone:ResNet50(精度更高)和 MobileNet0.25(轻量级,适合移动端);2. 支持 TensorRT 加速部署;3. 提供预训练模型,无需从头训练;4. 需要下载 WIDERFACE 数据集进行训练/评估;5. 提供 C++ 推理版本供边缘设备使用
python3.x
torch>=1.1.0
torchvision>=0.3.0
Pytorch_Retinaface hero image

快速开始

PyTorch 版 RetinaFace

RetinaFace: Single-stage Dense Face Localisation in the WildPyTorch 实现。当 RetinaFace 使用 mobilenet0.25 作为主干网络(backbone net)时,模型大小仅为 1.7M。我们也提供 resnet50 作为主干网络以获得更好的效果。官方 Mxnet 代码可在此处找到。

移动端或边缘设备部署

我们还提供了一套适用于边缘设备的人脸检测器,详见此处,涵盖从 Python 训练到 C++ 推理的完整流程。

使用 Resnet50 作为主干网络时的 WiderFace 验证集单尺度性能

风格 easy medium hard
Pytorch (与 Mxnet 相同参数) 94.82 % 93.84% 89.60%
Pytorch (原始图像尺度) 95.48% 94.04% 84.43%
Mxnet 94.86% 93.87% 88.33%
Mxnet(原始图像尺度) 94.97% 93.89% 82.27%

使用 Mobilenet0.25 作为主干网络时的 WiderFace 验证集单尺度性能

风格 easy medium hard
Pytorch (与 Mxnet 相同参数) 88.67% 87.09% 80.99%
Pytorch (原始图像尺度) 90.70% 88.16% 73.82%
Mxnet 88.72% 86.97% 79.19%
Mxnet(原始图像尺度) 89.58% 87.11% 69.12%

FDDB 性能

FDDB(pytorch) 性能
Mobilenet0.25 98.64%
Resnet50 99.22%

目录

安装

克隆与安装
  1. git clone https://github.com/biubug6/Pytorch_Retinaface.git

  2. 需要 Pytorch 1.1.0+ 和 torchvision 0.3.0+。

  3. 代码基于 Python 3

数据
  1. 下载 WIDERFACE 数据集。

  2. 百度云dropbox下载标注文件(人脸边界框 & 五个面部关键点)

  3. 按如下结构组织数据集目录:

  ./data/widerface/
    train/
      images/
      label.txt
    val/
      images/
      wider_val.txt

注:wider_val.txt 仅包含验证集文件名,不包含标注信息。

数据1

我们还提供了按上述目录结构组织好的数据集。

链接:谷歌云盘百度云 密码:ruck

训练

我们提供 resnet50 和 mobilenet0.25 作为主干网络来训练模型。 我们在 imagenet 数据集上训练了 Mobilenet0.25,top 1 准确率达到 46.58%。如果您不希望训练模型,我们也提供了训练好的模型。预训练模型和训练好的模型已上传至谷歌云盘百度云 密码:fstq。模型可按如下结构放置:

  ./weights/
      mobilenet0.25_Final.pth
      mobilenetV1X0.25_pretrain.tar
      Resnet50_Final.pth
  1. 训练前,您可以在 data/config.pytrain.py 中检查网络配置(如 batch_size、min_sizes 和 steps 等)。

  2. 使用 WIDER FACE 训练模型:

CUDA_VISIBLE_DEVICES=0,1,2,3 python train.py --network resnet50 或
CUDA_VISIBLE_DEVICES=0 python train.py --network mobile0.25

评估

评估 widerface 验证集

  1. 生成 txt 文件
python test_widerface.py --trained_model weight_file --network mobile0.25 或 resnet50
  1. 评估 txt 结果。Demo 来自此处
cd ./widerface_evaluate
python setup.py build_ext --inplace
python evaluation.py
  1. 您也可以使用 widerface 官方 Matlab 评估 demo,见此处

评估 FDDB

  1. 下载 FDDB 图像至:
./data/FDDB/images/
  1. 使用以下命令评估训练好的模型:
python test_fddb.py --trained_model weight_file --network mobile0.25 或 resnet50
  1. 下载 eval_tool 来评估性能。

TensorRT

-TensorRT

参考文献

@inproceedings{deng2019retinaface,
title={RetinaFace: Single-stage Dense Face Localisation in the Wild},
author={Deng, Jiankang and Guo, Jia and Yuxiang, Zhou and Jinke Yu and Irene Kotsia and Zafeiriou, Stefanos},
booktitle={arxiv},
year={2019}

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|今天
开发框架图像Agent

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.7k|★★☆☆☆|2天前
开发框架图像Agent

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|昨天
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。

74.9k|★★★☆☆|今天
语言模型图像开发框架

tesseract

Tesseract 是一款历史悠久且备受推崇的开源光学字符识别(OCR)引擎,最初由惠普实验室开发,后由 Google 维护,目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据,有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题,是数字化归档和信息自动化的重要基础工具。 在技术层面,Tesseract 展现了强大的适应能力。从版本 4 开始,它引入了基于长短期记忆网络(LSTM)的神经网络 OCR 引擎,显著提升了行识别的准确率;同时,为了兼顾旧有需求,它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码,开箱即用即可识别超过 100 种语言,并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面,它灵活支持纯文本、hOCR、PDF、TSV 等多种格式,方便后续数据处理。 Tesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库(libtesseract),不包含图形用户界面(GUI),因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中

73.3k|★★☆☆☆|3天前
开发框架图像