人脸关键点检测

本项目包含三种人脸关键点检测算法，均使用 PyTorch 实现。

• 面部关键点检测中的风格聚合网络，CVPR 2018
• 基于配准的监督：一种无监督方法，用于提升面部关键点检测器的精度，CVPR 2018
• 教师指导学生如何从部分标注图像中学习用于面部关键点检测，ICCV 2019
• 基于配准与三角剖分的关键点检测监督，TPAMI 2020

面部关键点检测中的风格聚合网络

SAN（CVPR 2018） 的训练和测试代码位于 SAN 目录。

基于配准的监督：一种无监督方法，用于提升面部关键点检测器的精度

Supervision-by-Registration（CVPR 2018） 的训练和测试代码位于 SBR 目录。

教师指导学生如何从部分标注图像中学习用于面部关键点检测

Teacher Supervises Students (TS3)（ICCV 2019） 的模型代码位于 TS3 目录。

基于配准与三角剖分的关键点检测监督

SRT（TPAMI 2020） 的训练和测试代码位于 SRT 目录。

引用

如果本项目对您的研究有所帮助，请引用以下论文：

@inproceedings{dong2018san,
   title={Style Aggregated Network for Facial Landmark Detection},
   author={Dong, Xuanyi and Yan, Yan and Ouyang, Wanli and Yang, Yi},
   booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
   pages={379--388},
   doi={10.1109/CVPR.2018.00047},
   year={2018}
}
@inproceedings{dong2018sbr,
  title={{Supervision-by-Registration}: An Unsupervised Approach to Improve the Precision of Facial Landmark Detectors},
  author={Dong, Xuanyi and Yu, Shoou-I and Weng, Xinshuo and Wei, Shih-En and Yang, Yi and Sheikh, Yaser},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={360--368},
  doi={10.1109/CVPR.2018.00045},
  year={2018}
}
@inproceedings{dong2019teacher,
  title={Teacher Supervises Students How to Learn from Partially Labeled Images for Facial Landmark Detection},
  author={Dong, Xuanyi and Yang, Yi},
  booktitle={Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
  pages={783--792},
  doi={10.1109/ICCV.2019.00087},
  year={2019}
}
@inproceedings{dong2020srt,
  title     = {Supervision by Registration and Triangulation for Landmark Detection},
  author    = {Dong, Xuanyi and Yang, Yi and Wei, Shih-En and Weng, Xinshuo and Sheikh, Yaser and Yu, Shoou-I},
  journal   = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
  volume    = {},
  number    = {},
  keywords  = {Landmark Detection;Optical Flow;Triangulation;Deep Learning},
  doi       = {10.1109/TPAMI.2020.2983935},
  ISSN      = {1939-3539},
  year      = {2020},
  month     = {},
  note      = {\mbox{doi}:\url{10.1109/TPAMI.2020.2983935}}
}

联系方式

如需提问或报告问题，请在 问题跟踪器 中提交 issue。

Landmark Detection 快速上手指南

本项目基于 PyTorch 实现了四种先进的人脸关键点检测算法，涵盖从风格聚合网络到无监督注册监督等多种前沿技术。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.6 或更高版本
• 深度学习框架: PyTorch (建议版本 >= 1.0)
• 硬件: 推荐使用 NVIDIA GPU 以加速训练和推理过程

前置依赖安装：

建议使用 pip 安装核心依赖。国内用户可使用清华源或阿里源加速下载：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python numpy scipy matplotlib

安装步骤

克隆仓库并进入对应算法目录。本项目将不同算法分置于独立文件夹中，请根据需求选择：

git clone https://github.com/D-X-Y/landmark-detection.git
cd landmark-detection

# 示例：进入 SAN (CVPR 2018) 算法目录
cd SAN

# 其他算法目录同理：
# cd SBR  (Supervision-by-Registration)
# cd TS3  (Teacher Supervises Students)
# cd SRT  (Supervision by Registration and Triangulation)

注意：各子目录可能包含特定的 requirements.txt，如有请执行 pip install -r requirements.txt 安装额外依赖。

基本使用

由于不同算法（SAN, SBR, TS3, SRT）的训练和测试脚本略有差异，以下以最常用的 SAN (Style Aggregated Network) 为例展示基本流程。其他算法请参考对应目录下的具体脚本说明。

1. 数据准备

确保已下载并预处理好人脸数据集（如 WFLW, 300W 等），并将数据路径配置在相应的 .sh 脚本或配置文件中。

2. 运行测试（推理）

使用预训练模型进行关键点检测测试：

# 在 SAN 目录下执行
./scripts/test.sh

3. 运行训练

从头开始训练模型（需准备数据集）：

# 在 SAN 目录下执行
./scripts/train.sh

切换其他算法： 若需使用 SBR, TS3, 或 SRT 算法，只需进入对应目录（如 cd ../SBR），并运行该目录下的 scripts/ 中的相应脚本即可。

---

如需引用本项目研究成果，请在您的论文中参考 README 中提供的 BibTeX citation。遇到问题请访问 GitHub Issues 页面反馈。