GazeML

一个基于 TensorFlow 的深度学习框架，用于训练高性能的眼球注视估计模型。

请注意，尽管该框架可能适用于多种平台，但它目前仅在 Ubuntu 16.04 系统上进行了测试。

所有实现均为对已发表算法的重新实现，因此提供的模型不应被视为参考标准。

当前该框架集成了以下模型：

ELG

基于眼区关键点的注视估计。

Seonwook Park, Xucong Zhang, Andreas Bulling 和 Otmar Hilliges. “学习在非约束环境下为远程注视估计寻找眼区关键点”。载于 2018 年 ACM 眼动追踪研究与应用研讨会论文集，第 21 页。ACM，2018 年。

• 项目页面：https://ait.ethz.ch/landmarks-gaze
• 视频：https://youtu.be/cLUHKYfZN5s

DPG

深度图像化注视估计

Seonwook Park, Adrian Spurr 和 Otmar Hilliges. “深度图像化注视估计”。载于欧洲计算机视觉会议，2018 年。

• 项目页面：https://ait.ethz.ch/pictorial-gaze

要下载 MPIIGaze 训练数据，请运行 bash get_mpiigaze_hdf.bash

注：此重实现与原始提出的实现有所不同，在 MPIIGaze 数据集内部验证条件下达到 4.63 度的误差。这些改动旨在获得相当的性能，并使模型更加精简。

安装依赖

必要时加上 sudo 后运行：

python3 setup.py install

请注意，这也可以在 虚拟环境 中完成。在这种情况下，命令序列类似于：

    mkvirtualenv -p $(which python3) myenv
    python3 setup.py install

使用 virtualenvwrapper 时。

Tensorflow

假设 TensorFlow 已单独安装，以便在需要时使用 自定义 wheel 文件。

请按照 TensorFlow 的官方安装指南进行操作 这里。

获取预训练权重

要获取本仓库提供的预训练权重，请运行：

    bash get_trained_weights.bash

运行演示

要运行摄像头演示，请执行以下步骤：

    cd src
    python3 elg_demo.py

如需查看可用选项，请改用：

    python3 elg_demo.py --help

结构

• datasets/ - 所有用于训练/验证/测试所需的数据源。
• outputs/ - 模型的所有输出文件都将放置于此，包括日志、摘要和检查点。
• src/ - 所有源代码。
  • core/ - 基础类
  • datasources/ - 用于读取和预处理训练及测试数据的例程
  • models/ - 神经网络定义
  • util/ - 工具方法

GazeML 快速上手指南

GazeML 是一个基于 TensorFlow 的深度学习框架，专为高性能视线估计（Gaze Estimation）训练而设计。本指南将帮助你快速在本地环境中部署并运行演示。

环境准备

系统要求

• 操作系统：推荐 Ubuntu 16.04（虽然可能在其他平台运行，但仅在此系统上经过充分测试）。
• Python 版本：Python 3。

前置依赖

1. TensorFlow： 框架假设已单独安装 TensorFlow，以便灵活使用自定义 wheel 文件。请参考 TensorFlow 官方安装指南 进行安装。

   国内加速建议：安装时可使用清华或阿里镜像源加速下载，例如： pip3 install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 虚拟环境（可选但推荐）： 建议使用 virtualenv 或 virtualenvwrapper 隔离环境。

安装步骤

1. 克隆与依赖安装

你可以选择在虚拟环境中安装。如果使用 virtualenvwrapper，操作如下：

mkvirtualenv -p $(which python3) myenv
python3 setup.py install

若不使用虚拟环境，直接运行（必要时添加 sudo）：

python3 setup.py install

2. 获取预训练权重

下载仓库提供的预训练模型权重：

bash get_trained_weights.bash

3. 获取训练数据（可选）

如需下载 MPIIGaze 训练数据以进行重新训练或验证：

bash get_mpiigaze_hdf.bash

基本使用

安装完成后，即可运行网络摄像头演示程序来体验视线估计功能。

1. 进入源码目录：

   cd src
   

2. 启动 ELG 模型演示：

   python3 elg_demo.py
   

3. 查看可用参数选项：

   python3 elg_demo.py --help
   

注意：本框架集成的模型（如 ELG、DPG）均为已发表算法的重实现，提供的模型仅供参考，不作为原始算法的性能基准。