FSA-Net

[CVPR19] FSA-Net：基于单张图像的细粒度结构聚合学习，用于头部姿态估计

代码作者：杨孙毅

【更新信息】

• 2019年10月6日：再次向【Kapil Sachdeva】（https://github.com/ksachdeva）致以衷心的感谢！我们已成功替换 Keras 的 Lambda 层，并支持将 tf 预训练模型 转换为 TensorFlow 模型！
• 2019年9月27日：对模型代码进行了重构。由【Kapil Sachdeva】（https://github.com/ksachdeva）贡献了极其优美且简洁的代码。
• 2019年8月30日：演示版本更新！新增了鲁棒且高效的 SSD 人脸检测器！

对比视频

（基准方法 Hopenet：https://github.com/natanielruiz/deep-head-pose）

（全新！！！）快速且稳健的 SSD 人脸检测器演示（2019年8月30日）

网络摄像头演示

单人场景（LBP）	多人场景（MTCNN）

时间序列	细粒度结构

结果

论文

PDF

https://github.com/shamangary/FSA-Net/blob/master/0191.pdf

论文作者

【杨孙毅】（https://scholar.google.com/citations?user=WhISCE4AAAAJ&hl=en）、【陈怡婷】（https://sites.google.com/media.ee.ntu.edu.tw/yitingchen/）、【林延宇】（https://www.citi.sinica.edu.tw/pages/yylin/index_zh.html）以及【庄永裕】（https://www.csie.ntu.edu.tw/~cyy/）

摘要

本文提出了一种基于单张图像进行头部姿态估计的方法。以往的方法往往通过地标或深度估计来预测头部姿态，而这些方法往往需要额外的计算资源，远超实际需求。我们的方法以回归和特征聚合为基础。为了构建一个更轻量化的模型，我们采用了软分段回归方案。现有的特征聚合方法通常将输入视为一组特征，因此忽略了特征图中各特征之间的空间关系。我们提出了一种学习细粒度结构映射的方法，通过在特征聚合前对特征进行空间分组。细粒度结构能够提供基于部分的信息以及聚合后的值。通过利用可学习与不可学习的权重，针对空间位置进行差异化设计，我们可以生成多种互补的模型组合。实验结果表明，我们的方法在性能上优于当前最先进的方法，包括无地标方法以及基于地标或深度估计的方法。仅使用一帧 RGB 图像作为输入，我们的方法在估计yaw角时甚至超越了采用多模态信息（RGB-D、RGB-Time）的方法。此外，所提出的模型的内存开销比以往方法减少了 100 倍。

平台

• Keras
• TensorFlow
• GTX-1080Ti
• Ubuntu

python                    3.5.6                hc3d631a_0  
keras-applications        1.0.4                    py35_1    anaconda
keras-base                2.1.0                    py35_0    anaconda
keras-gpu                 2.1.0                         0    anaconda
keras-preprocessing       1.0.2                    py35_1    anaconda
tensorflow                1.10.0          mkl_py35heddcb22_0  
tensorflow-base           1.10.0          mkl_py35h3c3e929_0  
tensorflow-gpu            1.10.0               hf154084_0    anaconda
cudnn                     7.1.3                 cuda8.0_0  
cuda80                    1.0                           0    soumith
numpy                     1.15.2          py35_blas_openblashd3ea46f_0  [blas_openblas]  conda-forge
numpy-base                1.14.3           py35h2b20989_0  

依赖项

• 一份关于大部分依赖项的指南。（中文版） http://shamangary.logdown.com/posts/3009851
• Anaconda
• OpenCV
• MTCNN

pip3 install mtcnn

• Capsule：https://github.com/XifengGuo/CapsNet-Keras
• Loupe_Keras：https://github.com/shamangary/LOUPE_Keras

代码

本项目共分为三个主要部分：

1. 数据预处理
2. 训练与测试
3. 演示

接下来，我们将逐一详细讲解各个部分的内容。

本仓库适用于 300W-LP、AFLW2000 和 BIWI 数据集。

1. 数据预处理

【献给像我这样懒惰的人】

如果你不想重新下载每一份数据集的图片并重复进行预处理，或者你甚至并不在意文件夹中的数据结构，只需从以下链接下载 data.zip 文件，并将数据文件夹替换为该文件即可。

Google Drive

现在，你可以直接跳转到“训练与测试”阶段。

【详细说明】

在论文中，我们定义了 协议 1 和 协议 2。

# 协议 1

训练：300W-LP（包含多个子集：{AFW.npz, AFW_Flip.npz, HELEN.npz, HELEN_Flip.npz, IBUG.npz, IBUG_Flip.npz, LFPW.npz, LFPW_Flip.npz}）

测试：AFLW2000.npz 或 BIWI_noTrack.npz

# 协议 2

训练：BIWI（70%）→ BIWI_train.npz
测试：BIWI（30%）→ BIWI_test.npz

（请注意，类型 1（300W-LP、AFLW2000）的数据集图像排列方式相同，我将其归类为 类型 1。这与协议 1 或协议 2 无关。）

如果你想从头开始进行预处理，请先下载数据集。

下载数据集

• 【300W-LP、AFLW2000】（http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/3DDFA/main.htm）
• 【BIWI】（https://data.vision.ee.ethz.ch/cvl/gfanelli/head_pose/head_forest.html）

将 300W-LP 和 AFLW2000 文件夹放置于 data/type1/ 目录下，将 BIWI 文件夹放置于 data/ 目录下。

运行预处理

# 对于 300W-LP 和 AFLW2000 数据集

cd data/type1
sh run_created_db_type1.sh


# 对于 BIWI 数据集

cd data
python TYY_create_db_biwi.py
python TYY_create_db_biwi_70_30.py

2. 训练与测试

# 训练
sh run_fsanet_train.sh

# 测试
# 请注意，我们分别计算 yaw、pitch、roll 的 MAE，然后将它们平均为单一的 MAE 以进行评估。
sh run_fsanet_test.sh

只需在 Shell 脚本中确认自己想要使用的模型类型，一切就绪。

3. 演示

要正确处理演示文件，您需要一台网络摄像头。

请注意，颜色轴的中心即为检测到的人脸中心。 理想情况下，每一张帧都应包含新的面部检测结果。 然而，如果面部检测失败，则会沿用之前的检测结果来估算人脸姿态。

LBP 在实时面部检测中速度足够快；而 MTCNN 虽然精度更高，但速度较慢。

（2019年8月30日更新！）SSD 面部检测既稳健又快速！我从 https://www.pyimagesearch.com 处借用了部分面部检测器代码。

# LBP 面部检测器（速度快，但往往容易漏检人脸）
cd demo
sh run_demo_FSANET.sh

# MTCNN 面部检测器（速度慢，但精度高）
cd demo
sh run_demo_FSANET_mtcnn.sh

# SSD 面部检测器（速度快且精度高）
cd demo
sh run_demo_FSANET_ssd.sh

4. 转换为 TensorFlow 模型图

cd training_and_testing
python keras_to_tf.py --trained-model-dir-path ../pre-trained/300W_LP_models/fsanet_var_capsule_3_16_2_21_5 --output-dir-path <your_output_dir>

上述命令会将 TensorFlow 模型图生成至 <your_output_dir>/converted-models/tf/fsanet_var_capsule_3_16_2_21_5.pb 目录下。

模块说明：

1. ssr_G_model： https://github.com/shamangary/FSA-Net/blob/master/lib/FSANET_model.py#L441

   • 采用双流结构来提取特征。

2. ssr_feat_S_model： https://github.com/shamangary/FSA-Net/blob/master/lib/FSANET_model.py#L442

   • 通过不同评分函数生成细粒度的结构映射。
   • 将这些映射应用于特征，并生成主胶囊。

3. ssr_aggregation_model： https://github.com/shamangary/FSA-Net/blob/master/lib/FSANET_model.py#L443

   • 将主胶囊输入胶囊层，输出最终的聚合胶囊特征，并将其划分为三个阶段。

4. ssr_F_model： https://github.com/shamangary/FSA-Net/blob/master/lib/FSANET_model.py#L444

   • 以先前三个阶段的特征作为输入，进行软步进回归（SSR）模块的处理。每个阶段进一步拆分为三个子部分：预测、动态索引偏移以及动态缩放。如需了解更多细节，请参阅 '[IJCAI18] SSR-Net'。

5. SSRLayer： https://github.com/shamangary/FSA-Net/blob/master/lib/FSANET_model.py#L444

   • 以预测、动态索引偏移和动态缩放作为最终回归输出的输入。 在本例中，共有三个输出值： yaw、pitch 和 roll。

第三方实现

• https://github.com/aoru45/FSANet.Pytorch
• https://github.com/omasaht/headpose-fsanet-pytorch

使用 FSANet ONNX 格式打造的超棒 VR 飞行模拟

• https://github.com/xuhao1/FOXTracker/

FSA-Net 快速上手指南

环境准备

• 系统：Ubuntu 16.04+（Windows 亦可，推荐 Ubuntu）
• GPU：GTX-1080Ti 或同等级别 NVIDIA 显卡（≥4 GB 显存）
• CUDA / cuDNN：CUDA 8.0 + cuDNN 7.1.3（或 CUDA 10.x + 对应 cuDNN）
• Python：3.5 / 3.6（官方示例基于 3.5.6）
• 深度学习框架
  • TensorFlow-GPU 1.10.0
  • Keras 2.1.0（GPU 版）

安装步骤

1. 创建并激活 Conda 环境

conda create -n fsanet python=3.5
conda activate fsanet

2. 一键安装主要依赖

# TensorFlow-GPU 1.10.0（清华镜像加速）
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.10.0

# Keras 2.1.0
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras-gpu==2.1.0

# 其他依赖
pip install opencv-python mtcnn

3. 克隆代码与权重

git clone https://github.com/shamangary/FSA-Net.git
cd FSA-Net

4. 下载预处理数据（懒人包）

# 下载 data.zip（Google Drive 或国内镜像）
# 解压后替换项目根目录下的 data/ 文件夹

5. 可选：下载预训练模型

# 已内置在 pre-trained/ 目录，无需额外操作

基本使用

1. 快速测试（单张图片）

cd demo
# 使用 SSD 人脸检测器（推荐）
sh run_demo_FSANET_ssd.sh

程序会自动打开摄像头，实时显示头部姿态（yaw / pitch / roll）。

2. 训练自己的模型

# 训练（默认 Protocol 1，300W-LP → AFLW2000）
sh run_fsanet_train.sh

# 测试
sh run_fsanet_test.sh

3. 导出 TensorFlow 冻结图（部署用）

cd training_and_testing
python keras_to_tf.py \
  --trained-model-dir-path ../pre-trained/300W_LP_models/fsanet_var_capsule_3_16_2_21_5 \
  --output-dir-path ./exported
# 生成的 .pb 文件位于 ./exported/converted-models/tf/

至此，FSA-Net 已可跑通 Demo、训练及导出模型。