概述

注意：这是一个跟踪库（tracking library），并非独立的虚拟角色操控程序（stand-alone avatar puppeteering program）。我也正在开发 VSeeFace，它允许使用 OpenSeeFace 跟踪来动画化 VRM 和 VSFAvatar 3D 模型。VTube Studio 使用 OpenSeeFace 进行基于网络摄像头的跟踪以动画化 Live2D 模型。Godot 引擎的渲染器可以在 这里 找到。

本项目实现了一个基于 MobileNetV3 的面部关键点检测模型（facial landmark detection model）。

由于 Pytorch 1.3 在 Windows 上的 CPU 推理速度（CPU inference speed）非常低，该模型已转换为 ONNX 格式（ONNX format）。使用 onnxruntime，它可以以 30 - 60 fps（帧每秒）的速度跟踪单张人脸。有四个模型，具有不同的速度与跟踪质量权衡。

如果有人好奇，这个名字是对“开阔海洋”（open seas）和“看见面孔”（seeing faces）的一个无厘头双关语。没有更深层的含义。

最新的示例视频可以在 这里 找到，展示了默认跟踪模型在不同噪声和光照水平下的性能。

跟踪质量

由于 OpenSeeFace 使用的关键点（landmarks）与其他方法略有不同（它们接近 iBUG 68，嘴角少了两个点，并且是准 3D 面部轮廓而不是跟随可见轮廓的面部轮廓），很难将其精度与科学文献中常见的其他方法进行数值比较。跟踪性能也更多地优化为生成对动画化虚拟角色有用的关键点，而不是精确拟合面部图像。例如，只要眼部关键点能显示眼睛是睁开还是闭合，即使位置有些偏差，它们仍然可以用于此目的。

从一般观察来看，OpenSeeFace 在恶劣条件下（低光、高噪声、低分辨率）表现良好，并且在很宽的头姿势范围内保持跟踪人脸，同时关键点位置具有较高的相对稳定性。与 MediaPipe 相比，OpenSeeFace 的关键点在挑战性条件下保持更稳定，并且能更准确地表示更广泛的面部表情。然而，眼部区域的跟踪可能不够准确。

我在 Wood 等人关于 3D Face Reconstruction with Dense Landmarks 的视频演示中的样本片段上运行了 OpenSeeFace，以将其与 MediaPipe 及其方法进行比较。你可以在 这里 观看结果。

使用方法

一个用于基于 VRM 的虚拟角色动画的示例 Unity 项目可以在 这里 找到。

面部跟踪本身由 facetracker.py Python 3.7 脚本完成。它是一个命令行程序（commandline program），因此你应该手动从 cmd 启动它或编写批处理文件（batch file）来启动它。如果你下载了发行版并在 Windows 上，你可以运行 Binary 文件夹内的 facetracker.exe，而无需安装 Python。你也可以使用 Binary 文件夹内的 run.bat 来演示跟踪器的基本功能。

该脚本将在网络摄像头输入或视频文件上执行跟踪，并通过 UDP 发送跟踪数据。这种设计还允许在与使用跟踪信息的计算机不同的另一台计算机上进行跟踪。这对于增强性能和避免意外泄露摄像头画面很有用。

提供的 OpenSee Unity 组件（Unity component）可以接收这些 UDP 数据包，并通过名为 trackingData 的公共字段（public field）提供接收到的信息。OpenSeeShowPoints 组件可以可视化检测到的人脸的关键点。它也作为一个示例。请查看它以了解如何正确使用 OpenSee 组件。更多示例包含在 Examples 文件夹中。UDP 数据包是在单独的线程（thread）中接收的，因此任何使用 OpenSee 组件 trackingData 字段的组件都应首先复制该字段并访问此副本，否则信息可能在处理过程中被覆盖。这种设计也意味着，即使 OpenSee 组件被禁用，该字段也会继续更新。

使用 --help 运行 python 脚本以了解可设置的选项。

python facetracker.py --help

可以通过在 Unity 中创建一个新场景，添加一个空的游戏对象并将 OpenSee 和 OpenSeeShowPoints 组件都添加到其中来实现简单的演示。当场景播放时，在视频文件上运行面部跟踪器：

python facetracker.py --visualize 3 --pnp-points 1 --max-threads 4 -c video.mp4

注意：如果使用 poetry 安装了依赖项，则命令必须从 poetry shell 执行，或者必须以 poetry run 开头。

这样跟踪脚本将输出其自己的跟踪可视化，同时演示跟踪数据传输到 Unity。

包含的 OpenSeeLauncher 组件允许从 Unity 启动面部跟踪程序。它是专为配合二进制发布包中分发的 pyinstaller 创建的可执行文件而设计的。它提供了三个公共 API 函数：

• public string[] ListCameras() 返回可用摄像头的名称。数组中摄像头的索引对应于 cameraIndex 字段的 ID。将 cameraIndex 设置为 -1 将禁用网络摄像头捕获。
• public bool StartTracker() 将启动跟踪器。如果它已经在运行，它将关闭当前运行的实例并使用当前设置启动一个新实例。
• public void StopTracker() 将停止跟踪器。当应用程序终止或 OpenSeeLauncher 对象被销毁时，跟踪器会自动停止。

OpenSeeLauncher 组件使用 WinAPI 作业对象（WinAPI job objects）以确保如果应用程序崩溃或在未先终止跟踪进程的情况下关闭，跟踪器子进程将被终止。

额外的自定义命令行参数（commandline arguments）应逐个添加到 commandlineArguments 数组的元素中。例如 -v 1 应作为两个元素添加，一个元素包含 -v，另一个包含 1，而不是包含两部分的一个单一元素。

包含的 OpenSeeIKTarget 组件可与 FinalIK 或其他 IK（反向动力学）解决方案结合使用，以动画化头部运动。

表情检测

OpenSeeExpression 组件可以添加到与 OpenSeeFace 组件相同的组件中，以检测特定的面部表情。它必须针对每个用户进行校准。可以通过 Unity Editor 中的复选框或源代码中可用的等效公共方法进行控制。

要校准此系统，您需要为每种表情收集示例数据。如果捕获过程太快，可以使用 recordingSkip 选项来减慢速度。

一般流程如下：

• 输入您要校准的表情名称。
• 做出该表情并保持住，然后勾选录制框。
• 保持表情并四处移动头部，将其转向各个方向。
• 过一会儿，如果该表情应与说话兼容，则在保持的同时开始说话。
• 这样做一段时间后，取消勾选录制框并开始捕获另一种表情。
• 勾选训练框，查看您收集数据的表情是否被准确检测。
• 您还应该会在组件的下半部分获得一些统计数据。
• 如果任何表情的检测有问题，请继续向其添加数据。

要删除表情的捕获数据，输入其名称并勾选“Clear”框。

要保存训练模型和捕获的训练数据，在“Filename”字段中输入包含完整路径的文件名，并勾选“Save”框。要加载它，输入文件名并勾选“Load”框。

提示

• 合理的表情数量是六个，包括中性表情。
• 在开始捕获表情之前，做一些面部动作并摆动眉毛，以预热跟踪器的特征检测部分。
• 一旦您有了一个工作良好的检测模型，在使用它时花点时间检查所有表情是否按预期工作，如果不是则添加少量数据。

通用说明

• 即使存在面部部分遮挡、眼镜或光照条件不佳的情况，跟踪似乎也相当稳健。
• 最高质量的模型通过 --model 3 选择，最快但跟踪质量最低的模型是 --model 0。
• 较低的跟踪质量主要意味着更刚性的跟踪，使得检测眨眼和眉毛运动更加困难。
• 取决于帧率，人脸跟踪很容易占用整个 CPU 核心。对于单张人脸 30fps，在不错的 CPU 上仍应使用不到一个核心的 100%。如果跟踪使用过多 CPU，请尝试降低帧率。20 的帧率可能没问题，高于 30 的情况很少需要。
• 当将跟踪的人脸数量设置为高于实际可见的人脸数量时，人脸检测模型将每 --scan-every 帧运行一次。这可能会减慢速度，因此尝试将 --faces 设置为不超过您实际跟踪的人脸数量。

模型

包含了四个预训练的人脸关键点模型。使用 --model 开关，可以选择它们进行跟踪。给定的 fps 值是在单核 CPU 上运行单张人脸视频的模型性能。降低帧率会相应减少 CPU 使用量。

• 模型 -1：此模型专为烤面包机等设备运行设计，因此是一个非常非常快且精度很低的模型。(213fps，无视线跟踪)
• 模型 0：这是一个非常快、精度低的模型。(68fps)
• 模型 1：这是一个稍慢但精度更好的模型。(59fps)
• 模型 2：这是一个较慢但精度好的模型。(50fps)
• 模型 3 (默认)：这是最慢但精度最高的模型。(44fps)

FPS 测量值来自在我的 CPU 的一个核心上运行。

可用于 model.py 的 Pytorch 权重可在 此处 找到。一些未优化的 ONNX 模型可在 此处 找到。

结果

关键点

更多样本：Results3.png, Results4.png

人脸检测

关键点模型对于人脸的大小和方向相当稳健，因此自定义人脸检测模型可以使用比其他方法更粗糙的边界框。它在本项目的目的中具有有利的速度与精度比。

发布构建

本仓库发布部分中的构包含一个位于 Binary 文件夹内的 facetracker.exe，该文件夹是使用 pyinstaller 构建的，并包含所有必需的依赖项。

要运行它，至少需要将 models 文件夹放置在 facetracker.exe 所在的同一文件夹中。将其放在公共父文件夹中也可以。

分发时，还应同时分发 Licenses 文件夹，以确保符合某些第三方库提出的要求。未使用的模型可以从重新分发的包中移除而不引起问题。

发布构建包含一个没有遥测功能的自定义版本 ONNX Runtime。

依赖项 (Python 3.6 - 3.9)

• ONNX Runtime
• OpenCV
• Pillow
• Numpy

所需的库可以使用 pip 安装：

 pip install onnxruntime opencv-python pillow numpy

或者可以使用 poetry 在单独的虚拟环境中安装此项目的所有依赖项：

 poetry install

依赖项

• onnxruntime
• OpenCV
• Pillow
• Numpy

所需的库可以使用 pip 安装：

pip install onnxruntime opencv-python pillow numpy

参考文献

训练数据集

该模型是在 LS3D-W 数据集的 66 点版本上进行训练的。

@inproceedings{bulat2017far,
  title={How far are we from solving the 2D \& 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)},
  author={Bulat, Adrian and Tzimiropoulos, Georgios},
  booktitle={International Conference on Computer Vision},
  year={2017}
}

在将 WFLW 数据集缩减为 66 个点，并用此前训练好的模型预测的轮廓点和鼻尖点替换原有对应点后，进行了额外的训练。进行此项额外训练是为了提高对眼睛和眉毛的拟合效果。

@inproceedings{wayne2018lab,
  author = {Wu, Wayne and Qian, Chen and Yang, Shuo and Wang, Quan and Cai, Yici and Zhou, Qiang},
  title = {Look at Boundary: A Boundary-Aware Face Alignment Algorithm},
  booktitle = {CVPR},
  month = June,
  year = {2018}
}

用于训练眼动和眨眼检测模型的是 MPIIGaze 数据集。此外，训练过程中还使用了约 125000 个使用 UnityEyes 生成的合成眼睛图像。

需要注意的是，训练过程中还使用了额外的自定义数据，并且原始数据集中的参考关键点 (landmarks) 经过了一定程度的修改以解决各种问题。仅使用原始的 LS3D-W 和 WFLW 数据集可能无法复现这些模型，然而额外数据不可重新分发。

基于热力图回归 (heatmap regression) 的面部检测模型是在 WIDER FACE 数据集的随机 224x224 裁剪区域上训练的。

@inproceedings{yang2016wider,
  Author = {Yang, Shuo and Luo, Ping and Loy, Chen Change and Tang, Xiaoou},
  Booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  Title = {WIDER FACE: A Face Detection Benchmark},
  Year = {2016}
}

算法

该算法灵感来源于：

• 设计针对不同应用的神经网络架构：从面部关键点追踪到车道偏离预警系统 by YiTa Wu, ULSee 工程副总裁
• 浏览器中的实时人体姿态估计与 TensorFlow.js
• U-Net：用于生物医学图像分割的卷积网络 by Olaf Ronneberger, Philipp Fischer, Thomas Brox
• MobileNets：面向移动视觉应用的高效卷积神经网络 by Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam
• 搜索 MobileNetV3 by Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, Quoc V. Le, Hartwig Adam

MobileNetV3 代码取自 此处。

所有训练均使用了修改版的 自适应翼损失 (Adaptive Wing Loss)。

• 自适应翼损失用于通过热力图回归实现鲁棒的面部对齐 by Xinyao Wang, Liefeng Bo, Li Fuxin

表情检测使用了 LIBSVM。

面部检测使用自定义的热力图回归面部检测模型或 RetinaFace 完成。

@inproceedings{deng2019retinaface,
  title={RetinaFace: Single-stage Dense Face Localisation in the Wild},
  author={Deng, Jiankang and Guo, Jia and Yuxiang, Zhou and Jinke Yu and Irene Kotsia and Zafeiriou, Stefanos},
  booktitle={arxiv},
  year={2019}
}

RetinaFace 检测基于 此 实现。预训练模型经过修改，移除了不必要的关键点检测，并转换为 ONNX 格式，分辨率为 640x640。

致谢！

非常感谢所有帮助我测试的人！

• @Virtual_Deat，他也激励我开始这项工作。
• @ENiwatori 及其家人。
• @ArgamaWitch
• @AngelVayuu
• @DapperlyYours
• @comdost_art
• @Ponoki_Chan

许可证

代码和模型均在 BSD 2-Clause 许可证下分发。

你可以在 Licenses 文件夹中找到用于二进制构建的第三方库的许可证。

OpenSeeFace 快速上手指南

OpenSeeFace 是一个基于 MobileNetV3 的面部特征点检测库，支持实时追踪面部关键点并通过 UDP 传输数据，常用于驱动 VRM 或 Live2D 虚拟形象。

环境准备

• 操作系统：Windows / Linux / macOS
• Python 环境：3.7+（仅在使用 Python 脚本时必需）
• 硬件要求：普通 CPU 即可运行，单面追踪在 30fps 下约占单核不到 100% 资源。
• 注意：Windows 用户强烈推荐使用预编译的 facetracker.exe，无需配置 Python 环境。

安装步骤

方式一：使用预编译版本（推荐）

1. 前往 GitHub Releases 页面下载最新发布的压缩包。
2. 解压后，确保 Binary 文件夹内的 facetracker.exe 与 models 文件夹位于同一目录（或 models 放在其上级目录）。
3. 无需额外安装依赖，双击或命令行运行即可。

方式二：源码部署

1. 克隆项目仓库。
2. 安装依赖（官方推荐使用 Poetry）：

   poetry install
   

3. 若使用其他包管理器，请根据项目依赖文件安装 onnxruntime 等相关库。

基本使用

命令行追踪

程序支持摄像头输入或视频文件输入，追踪数据将通过 UDP 协议发送。

查看可用参数：

python facetracker.py --help

视频文件测试示例：

python facetracker.py --visualize 3 --pnp-points 1 --max-threads 4 -c video.mp4

(注：若使用 Poetry 环境，请在命令前添加 poetry run)

模型选择说明： 通过 --model 参数切换不同精度与速度的模型：

• --model 0：极速模式，精度较低（约 68fps）
• --model 3：默认模式，高精度（约 44fps）
• --model -1：超低性能设备专用，极低精度

Unity 集成简述

1. 在 Unity 场景中创建空物体，添加 OpenSee 和 OpenSeeShowPoints 组件。
2. 运行上述追踪命令（指定 -c 为摄像头 ID 或视频路径）。
3. Unity 组件将自动接收 UDP 数据包中的 trackingData 字段。
4. 如需从 Unity 内部启动追踪器，可添加 OpenSeeLauncher 组件并使用 API 控制。