更新

更新 2020年1月22日 您可能会对关注我的新 YouTube 频道感兴趣，该频道每周会发布关于 计算机视觉、机器学习、深度学习 和 机器人技术 的视频：点击这里。

更新 2019年7月16日 Deepgaze 2.0 的稳定版本已在 2.0 分支中提供。

更新 2019年3月20日 已开始向 Python/OpenCV 3.0 迁移，请查看 2.0 分支以获取初步版本。

更新 2017年6月10日 文章《使用卷积神经网络和自适应梯度方法进行野外头部姿态估计》的 PDF 文件将在接下来的 50 天内通过 此特别链接 提供 免费下载。

更新 2017年6月4日 文章《使用卷积神经网络和自适应梯度方法进行野外头部姿态估计》已被 Elsevier 出版的《模式识别》期刊接受发表。Deepgaze CNN 头部姿态估计算法模块正是基于这项工作。

更新 2017年5月31日 实现了新的软件包 saliency_map.py。该软件包包含用于显著性检测的 FASA 算法的实现 [示例] [维基]。

更新 2017年3月22日 修复了 mask_analysis.py 中的一个错误，并且几乎完成了更鲁棒的 CNN 头部姿态估计算法。

什么是 Deepgaze？

Deepgaze 是一个用于人机交互、人员检测与跟踪的库，它利用 卷积神经网络（CNN）进行人脸检测、头部姿态估计和分类。通过确定一个人的 头部朝向，可以近似估算其注意力焦点。这在眼睛被遮挡或用户距离摄像头太远以至于无法以良好分辨率捕捉到眼部区域时尤为有用。当眼部区域可见时，还可以进一步估计 注视方向，这提供了更为丰富的信息，并能很好地指示视野中的兴趣点（FOA）。Deepgaze 包含以下实用工具包：

• 头部姿态估计（透视 n 点法、卷积神经网络）
• 人脸检测（Haar 级联）
• 皮肤与颜色检测（范围检测、反投影）
• 基于直方图的分类（直方图交集）
• 运动检测（帧差法、MOG、MOG2）
• 运动跟踪（粒子滤波器）
• 显著性图（FASA）

Deepgaze 基于 OpenCV 和 TensorFlow 构建，这两者都是计算机视觉和机器学习领域的顶级库。Deepgaze 是一个 开源 项目，欢迎任何贡献，您可以随意 fork 本仓库并提出集成建议。

本库是近期研究成果，如果您在学术工作中使用本库，请引用以下论文：

Patacchiola, M., & Cangelosi, A. (2017). Head pose estimation in the wild using Convolutional Neural Networks and adaptive gradient methods. Pattern Recognition, http://dx.doi.org/10.1016/j.patcog.2017.06.009.

为什么应该使用 Deepgaze？

因为 Deepgaze 能让您的生活更轻松！
许多算法的实现，例如人脸检测器、姿态估计算法和目标分类器，往往非常繁琐。而 Deepgaze 的设计宗旨就是用 几行代码 就能实现这些功能。无论是初学者还是高级用户，Deepgaze 都能帮助节省时间。Deepgaze 中的所有代码都经过优化，并且基于最先进的算法。

什么是卷积神经网络？

卷积神经网络（CNN 或 ConvNet）是一种前馈人工神经网络，其神经元之间的连接模式受到动物视觉皮层组织结构的启发——视觉皮层中的单个神经元排列方式使得它们能够响应覆盖整个视觉场的重叠区域。卷积网络的设计灵感来源于生物过程，是多层感知器的一种变体，旨在尽量减少预处理步骤。它们广泛应用于图像和视频识别、推荐系统以及自然语言处理等领域 [维基]。

主要贡献者

以下是该项目的 主要贡献者 最新名单。我们正在寻找更多贡献者！ 如果您希望添加新模块或改进现有模块，请 发送邮件给我们的团队！

• Massimiliano Patacchiola：项目负责人及主要贡献者
• Joel Gooch：头部姿态估计
• Ishit Mehta：CNN 级联式人脸检测
• Luca Surace：Haar 级联式多人脸检测
• Hrishikesh Kamath：2.0 版本移植、笔记本及测试脚本

先决条件

当前版本的 Deepgaze 基于 Python 2.7，针对 Python 3.0 的移植计划将于明年进行。

要使用该库，您需要安装以下内容：

• Numpy [链接]

sudo pip install numpy

• OpenCV 2.x（不兼容 OpenCV >= 3.x）[链接]

sudo apt-get install libopencv-dev python-opencv

• Tensorflow [链接]

sudo pip install tensorflow

部分示例可能还需要其他库：

• dlib [链接]

安装

注意：此版本已过时，请查看本仓库的 2.0 分支。

您可以从 [这里] 下载仓库，或者使用 git 克隆：

git clone https://github.com/mpatacchiola/deepgaze.git

安装软件包时，需进入 Deepgaze 文件夹并运行 setup.py 脚本（可能需要 root 权限）：

cd deepgaze
sudo python setup.py install

如果您想记录所有已安装的文件，可以在安装过程中使用 --record 标志将过程记录到文本文件中：

sudo python setup.py install --record record.txt

完成！现在请查看下面的示例。

示例

• 使用 OpenCV 中的透视 n 点法进行头部姿态估计 [代码] [视频]

• 使用透视 n 点法和 dlib 人脸检测器进行野外头部姿态估计 [代码] [视频]

• 使用卷积神经网络进行图像中头部姿态估计 [代码]

• 使用直方图反投影算法进行颜色检测 [博客] [代码]

• 使用HSV范围颜色检测器进行皮肤检测 [代码]

• 使用HSV范围颜色检测器进行人脸检测 [代码]

• 在视频流上比较四种角点检测算法 [代码] [视频]

• 在视频流上使用帧差法进行运动检测与跟踪 [代码]

• 在视频流上比较三种运动检测算法 [代码] [视频]

• 使用粒子滤波器对不稳定测量值进行运动跟踪 [代码] [视频]

• 使用多幅反投影技术玩Chrome恐龙游戏进行手势跟踪 [博客] [代码] [视频]

• 根据物体的颜色指纹（直方图交集）对其进行分类 [博客] [代码]

• FASA（快速、准确且考虑尺寸的显著性目标检测）算法的实现 [代码] [维基] [链接]

致谢

• “基于透视n点法的头部姿态估计”示例部分参考了可在这里找到的C++版本，以及第二届国际社会人机交互暑期学校中的“为社交机器人开发注意力系统”研讨会。

• 在实现贝叶斯滤波器和粒子滤波器时，我参考了rlabbe的优秀仓库，该仓库可在此处找到：[https://github.com/rlabbe/Kalman-and-Bayesian-Filters-in-Python]。

Deepgaze 快速上手指南

Deepgaze 是一个基于 OpenCV 和 TensorFlow 的开源库，专注于人机交互、人脸检测与追踪。它利用卷积神经网络（CNN）实现头部姿态估计、视线方向预测等功能，特别适用于眼睛被遮挡或用户距离摄像头较远的场景。

注意：根据官方说明，当前主分支版本已过时，主要基于 Python 2.7 和 OpenCV 2.x。如需使用更新的 Python 3 和 OpenCV 3+ 版本，请切换至仓库的 2.0 分支。本指南基于主分支内容编写。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu/Debian)
• Python 版本：Python 2.7
• 核心依赖：
  • Numpy
  • OpenCV 2.x (不兼容 OpenCV 3.x 及以上版本)
  • TensorFlow
  • (可选) dlib：部分示例需要此库

安装依赖

建议使用国内镜像源加速安装过程。

# 安装 Numpy
sudo pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 OpenCV 2.x (通过 apt-get 安装系统包)
sudo apt-get update
sudo apt-get install libopencv-dev python-opencv

# 安装 TensorFlow
sudo pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

# (可选) 如果运行特定示例需要 dlib
sudo pip install dlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 从 GitHub 下载 Deepgaze 源代码：

   git clone https://github.com/mpatacchiola/deepgaze.git
   

2. 执行安装 进入项目目录并运行安装脚本（可能需要 root 权限）：

   cd deepgaze
   sudo python setup.py install
   

   提示：如果您希望记录安装的文件列表以便后续卸载，可以使用 --record 参数：

   sudo python setup.py install --record record.txt
   

基本使用

Deepgaze 提供了丰富的示例代码。以下是最核心的基于 CNN 的头部姿态估计用法示例。

示例：图片头部姿态估计

该示例展示了如何使用预训练的 CNN 模型对静态图片进行头部姿态分析。

1. 找到示例脚本：examples/ex_cnn_head_pose_estimation_images/ex_cnn_head_pose_estimation_images.py
2. 准备一张包含人脸的图片。
3. 运行脚本（具体参数请参考脚本内部注释或帮助信息）：

python examples/ex_cnn_head_pose_estimation_images/ex_cnn_head_pose_estimation_images.py

其他常用功能示例

Deepgaze 还内置了多种计算机视觉任务的示例，您可以直接运行以下脚本来体验：

• 基于 PnP 算法的头部姿态估计 ( webcam )

  python examples/ex_pnp_head_pose_estimation_webcam.py
  

• 肤色检测 (HSV 范围)

  python examples/ex_skin_detection_images/ex_skin_detection_images.py
  

• 颜色检测 (直方图反向投影)

  python examples/ex_color_detection_image/ex_color_detection_image.py
  

• 运动检测与追踪 (帧差法)

  python examples/ex_diff_motion_detection_video/ex_diff_motion_detection.py
  

• 显著性图生成 (FASA 算法)

  python examples/ex_fasa_saliency_map/ex_fasa_saliency_map_images.py
  

学术引用：如果您在学术研究中使用本库，请引用以下论文： Patacchiola, M., & Cangelosi, A. (2017). Head pose estimation in the wild using Convolutional Neural Networks and adaptive gradient methods. Pattern Recognition.