FacePose_pytorch

基于 PyTorch 的头部姿态估计（偏航角、滚动角、俯仰角）与情绪检测实现，在实时场景下达到 SOTA 性能。部署简单、使用便捷、精度高，一次性解决人脸检测的所有问题。（极简、极快、高效是我们的宗旨）

更新日志

[2020/12] 我们发现了一种更优的人脸关键点算法，能够在 CPU 或移动设备上实时估计 468 个 3D 人脸地标。

首先安装 Anaconda3 和 Python 3.7

pip install mediapipe
python newdectect.y (在 CPU 上运行)
你可以自行替换此 GitHub 中的 PFLD 算法。

[2020/11] 恭喜！该算法已应用于以下两款产品：面向儿童的在线教育平台，用于识别孩子是否认真听讲；以及现场会议或学校课堂，用于评估发言质量。

头部角度，尤其是面部情绪识别的准确性，已达到世界顶尖水平。然而，由于某些原因，我们仅开源预测代码。

未来我们将发布超高精度模型（包括角度和情绪）。如有需要，请给本项目加星并留下邮箱，我们会单独发送给您。

示例

# 安装依赖
首先安装 Anaconda3 和 Python 3.7，然后：
pip install numpy opencv-python 
pip install torch==1.4.0
pip install torchvision==0.5.0
下载表情模型（角度模型已在代码中）：[https://pan.baidu.com/s/1oxznkRcP5w8lzYMAjj87-w]，提取码：WIKI


# 运行简单的推理脚本（角度）
使用电脑摄像头录制一段人脸旋转的视频，并将其放入 video 文件夹。
CUDA_VISIBLE_DEVICE=0 python video.py --video_name ./video/your_video_name.mp4
（提示：可以修改 video.py 文件以对图片进行推理）

# 运行简单的推理脚本（情绪）
将下载的表情模型放入 checkpoint 文件中，并且（如果你使用自己的照片，需要先将人脸裁剪出来，或者使用 Retinaface 先进行人脸检测。可以在 video.py 中查看相关操作）。
CUDA_VISIBLE_DEVICE=0 python emotion.py --img ./img/surprise.jpg

目前仅支持单人脸部。你可以尝试修改代码，以支持多人的脸部角度和表情识别，不过可能会稍显复杂。

训练

无需进行模型训练（直接使用我们的模型即可）。

介绍

1. 首先使用 Retinaface 提取人脸框，再利用 PFLD 识别人脸关键点，最后根据这些关键点估算出人脸姿态。部署和使用都非常简单，精度高、速度快。
2. 我们收集了数百人的面部角度转换数据，并通过数百人面部的关键点旋转情况拟合了一个简单的线性模型。实验表明，这种简单的数学线性点模型效率更高、精度也更好（你也可以使用 GBDT 或其他算法进行回归）。
3. 同时，参考了 2020 年美国峰会发表的几篇论文，我们开发了一套高精度的情绪识别模型。结果显示，在 RAF-DB 数据集上的准确率为 95%，在 AffectNet 数据集上的准确率为 80%，而在 FERPlus 数据集上的准确率为 98%。目前我们能够预测七种表情：“惊讶”、“恐惧”、“疑惑”、“快乐”、“悲伤”、“愤怒”和“中性”。

性能

GPU 型号     | fps/s  | 角度误差（yaw, roll, pitch）| 情绪
Nvidia-V100  | 90     | -3°~+3°                    | 平均 95%

示例

其他项目

以下是一些经典的人脸姿态检测项目列表，你可以自行对比效果：
OpenFace：[https://github.com/TadasBaltrusaitis/OpenFace]
Dlib：[https://github.com/KeeganRen/FaceReconstruction]
3DDFA_V2：[https://github.com/cleardusk/3DDFA_V2]

常见问题解答

Q1. 为什么要在已有多个 FacePose 项目的情况下再实现一个？

A1：因为现有的开源项目识别误差较大。而本项目是一个集关键点检测与表情检测于一体的方案。

Q2：这个仓库与其他项目到底有什么不同？

A2：例如，其他开源项目常用的一些方法如下：

1. Dlib：其人脸关键点识别不够准确，尤其在人脸旋转或翻滚时误差较大。
2. 虚拟 3D 模型：通过将关键点识别结果与“2D 到 3D 虚拟固定模型”进行比对的方式非常不精确，因为每个人的脸部特征都不同。
3. 通过卷积网络统计人脸关键点位图来计算角度，同样存在较大的误差。

Q3：如果我发现了一个 bug，应该怎么办？

A3：请先查看更新日志，确认是否已修复；若已修复，则拉取最新代码重新尝试。如果问题仍未解决，请创建一个新的 issue，并详细描述问题。

贡献

特别感谢 ElonMusk、huangwj 和 wangz 对代码及英文文档的贡献和修订。

FacePose_pytorch 快速上手指南

FacePose_pytorch 是一个基于 PyTorch 的开源工具，能够实时、高精度地估计人脸头部姿态（Yaw, Roll, Pitch）并检测面部情绪。该工具部署简单，推理速度快，适合在 CPU 或移动设备上运行。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / Windows / macOS
• Python 版本：3.7 (强烈建议使用 Anaconda3 管理环境)
• 硬件要求：
  • CPU：支持实时运行（配合 MediaPipe 方案）
  • GPU：NVIDIA 显卡（推荐用于高精度模型推理，需安装 CUDA）

2. 安装步骤

第一步：创建并激活环境

建议先安装 Anaconda3，然后创建一个新的 Python 3.7 环境：

conda create -n facepose python=3.7
conda activate facepose

第二步：安装基础依赖

安装必要的计算机视觉和深度学习库：

pip install numpy opencv-python
pip install torch==1.4.0
pip install torchvision==0.5.0

提示：国内用户若下载缓慢，可添加清华源加速：-i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：获取模型文件

角度估计模型已包含在代码中，但情绪识别模型需要单独下载：

1. 下载地址：百度网盘链接
2. 提取码：WIKI
3. 操作：将下载好的模型文件放入项目根目录下的 checkpoint 文件夹中。

(可选更新)：如果您希望使用更先进的关键点检测算法（支持 468 个 3D 人脸 landmark，CPU/移动端实时运行），可额外安装 MediaPipe：

pip install mediapipe

3. 基本使用

本项目目前主要支持单张人脸或单个视频流的推理。

场景一：视频头部姿态估计 (Head Pose)

录制一段包含人脸旋转的视频，将其放入 video 文件夹，然后运行以下命令：

CUDA_VISIBLE_DEVICE=0 python video.py --video_name ./video/your_video_name.mp4

提示：如需对静态图片进行姿态估计，可修改 video.py 脚本适配图片输入。

场景二：单图情绪识别 (Emotion Detection)

准备一张包含人脸的图片（如果图片背景复杂，建议先使用 RetinaFace 裁剪出人脸区域），然后运行：

CUDA_VISIBLE_DEVICE=0 python emotion.py --img ./img/surprise.jpg

系统将输出该人脸的情绪分类结果（支持：surprise, fear, strange, happiness, sadness, anger, neutral 七种表情）。