MTCNN - 用于人脸检测和对齐的多任务级联卷积网络（Multitask Cascaded Convolutional Networks）

概述

MTCNN 是一个健壮的人脸检测和对齐库，专为 Python（一种高级编程语言）>= 3.10 和 TensorFlow（一个开源的机器学习框架）>= 2.12 实现，旨在使用多任务级联卷积网络检测人脸及其关键点（landmark）。该库通过提供完整重构、简化使用流程、提升性能以及支持批量处理，改进了原始实现。

该库适用于需要人脸检测和对齐的应用程序，支持边界框（bounding box）和关键点（landmark）预测。

安装

MTCNN 可以通过 pip 安装：

pip install mtcnn

MTCNN 需要 TensorFlow >= 2.12。此外部依赖可手动安装，或通过以下命令与 MTCNN 一起自动安装：

pip install mtcnn[tensorflow]

使用示例

from mtcnn import MTCNN
from mtcnn.utils.images import load_image

# Create a detector instance
detector = MTCNN(device="CPU:0")

# Load an image
image = load_image("ivan.jpg")

# Detect faces in the image
result = detector.detect_faces(image)

# Display the result
print(result)

输出示例：

[
    {
        "box": [277, 90, 48, 63],
        "keypoints": {
            "nose": [303, 131],
            "mouth_right": [313, 141],
            "right_eye": [314, 114],
            "left_eye": [291, 117],
            "mouth_left": [296, 143]
        },
        "confidence": 0.9985
    }
]

模型概述

MTCNN 使用三个网络的级联来检测人脸和面部关键点：

• PNet (Proposal Network，建议网络): 扫描图像并提出候选人脸区域。
• RNet (Refine Network，精炼网络): 精炼来自 PNet 的人脸建议。
• ONet (Output Network，输出网络): 检测面部关键点（眼睛、鼻子、嘴巴）并提供边界框的最终精炼。

所有网络均使用 TensorFlow 的函数式 API 实现，并经过优化以避免不必要的操作（如转置），确保更快、更高效的执行。

文档

该项目的完整文档可在 Read the Docs 获取。

引用

如果您在研究或项目中使用此库实现，请考虑引用以下内容：

@software{ivan_de_paz_centeno_2024_13901378,
  author       = {Iván de Paz Centeno},
  title        = {ipazc/mtcnn: v1.0.0},
  month        = oct,
  year         = 2024,
  publisher    = {Zenodo},
  version      = {v1.0.0},
  doi          = {10.5281/zenodo.13901378},
  url          = {https://doi.org/10.5281/zenodo.13901378}
}

以及 Kaipeng Zhang 的原始研究工作：

@article{7553523,
    author={K. Zhang and Z. Zhang and Z. Li and Y. Qiao}, 
    journal={IEEE Signal Processing Letters}, 
    title={Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks}, 
    year={2016}, 
    volume={23}, 
    number={10}, 
    pages={1499-1503}, 
    keywords={Benchmark testing;Computer architecture;Convolution;Detectors;Face;Face detection;Training;Cascaded convolutional neural network (CNN);face alignment;face detection}, 
    doi={10.1109/LSP.2016.2603342}, 
    ISSN={1070-9908}, 
    month={Oct}
}

您也可以引用此项目所基于的原始 GitHub 仓库（包括网络权重）：
Original MTCNN Implementation by Kaipeng Zhang

以及作为灵感来源的 FaceNet 实现：
Facenet's MTCNN implementation

关于作者

本项目由 Iván de Paz Centeno 开发和维护，旨在标准化人脸检测并提供一个易于使用的框架，以帮助研究社区推动人工智能知识的边界。

如果您发现此项目有用，请考虑通过 GitHub Sponsors 支持它。您的支持将有助于覆盖改进代码库、添加新功能和提供更好文档的相关成本。

致谢

本项目随着时间的推移，得益于多位开发者的贡献而不断发展。尽管当前代码库已完全重写，但我们承认并感谢过去贡献者的宝贵输入和合作。

特别感谢所有提交拉取请求、报告问题或提供反馈以使本项目更好的人。

要查看完整的贡献者列表，请访问 GitHub 贡献者页面。

许可证

本项目根据 MIT 许可证 许可。

MTCNN 快速上手指南

环境准备

• 系统要求：支持 Windows、Linux 或 macOS 系统
• Python 版本：需安装 Python 3.10 或更高版本
• 前置依赖：无特殊依赖，安装过程将自动处理 TensorFlow >= 2.12（推荐使用国内镜像源加速下载）

安装步骤

使用以下命令安装 MTCNN 及其依赖（优先推荐清华镜像源加速）：

pip install mtcnn[tensorflow] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简使用示例（直接复制运行即可）：

from mtcnn import MTCNN
from mtcnn.utils.images import load_image

# 创建检测器实例
detector = MTCNN(device="CPU:0")

# 加载图像
image = load_image("ivan.jpg")

# 检测图像中的人脸
result = detector.detect_faces(image)

# 显示结果
print(result)

输出示例：

[
    {
        "box": [277, 90, 48, 63],
        "keypoints": {
            "nose": [303, 131],
            "mouth_right": [313, 141],
            "right_eye": [314, 114],
            "left_eye": [291, 117],
            "mouth_left": [296, 143]
        },
        "confidence": 0.9985
    }
]