LipNet：端到端句子级唇读

由 Yannis M. Assael、Brendan Shillingford、Shimon Whiteson 和 Nando de Freitas 在论文《LipNet：端到端句子级唇读》中提出的方法的 Keras 实现（https://arxiv.org/abs/1611.01599）。

结果

场景	轮次	CER	WER	BLEU
未见说话人 [C]	N/A	N/A	N/A	N/A
未见说话人	178	6.19%	14.19%	88.21%
重叠说话人 [C]	N/A	N/A	N/A	N/A
重叠说话人	368	1.56%	3.38%	96.93%

注释：

• [C] 表示使用课程学习。
• N/A 表示训练正在进行中或尚未进行。
• 非常感谢您分享此模型的结果 :)

依赖项

• Keras 2.0+
• Tensorflow 1.0+
• PIP（用于安装包）

此外还有 setup.py 中列出的其他几个库。

使用方法

要使用该模型，首先需要克隆仓库：

git clone https://github.com/rizkiarm/LipNet

然后可以安装该包：

cd LipNet/
pip install -e .

注意： 如果您不想使用 CUDA，需要编辑 setup.py，将 tensorflow-gpu 改为 tensorflow。

这样就完成了！

以下是一些您可以继续尝试的想法：

• 修改该包并对其进行改进。
• 使用预定义的训练场景来训练模型。
• 创建您自己的训练场景。
• 使用 预训练权重 进行唇读。
• 尽情发挥，通过更改一些超参数或修改模型，在其他数据集上进行实验。

数据集

该模型使用 GRID 语料库（http://spandh.dcs.shef.ac.uk/gridcorpus/）。

预训练权重

对于那些在训练模型时遇到困难（或只是想看看最终结果）的人，可以从这里下载并使用提供的权重：https://github.com/rizkiarm/LipNet/tree/master/evaluation/models。

有关保存和加载权重的更多详细信息，请参阅 Keras 常见问题解答。

训练

目前有五种不同的训练场景可供选择：

先决条件

1. 从 GRID 语料库网站下载所有视频（正常）并进行对齐。
2. 解压所有视频并完成对齐。
3. 在每个训练场景文件夹中创建 datasets 文件夹。
4. 在 datasets 文件夹内创建 align 文件夹。
5. 当前的所有 train.py 脚本都假设视频是以 100x50px 口部裁剪图像帧的形式存在。您可以通过在 train.py 中实例化 Generator 时添加 vtype = "face" 和 face_predictor_path（可在 evaluation/models 中找到）来更改这一设置。
6. 另一种方法是使用 scripts/extract_mouth_batch.py 提取口部裁剪图像（使用方法可在脚本中找到）。
7. 为每个 training/*/datasets/align 创建指向您的对齐文件夹的符号链接。
8. 您可以通过修改各自场景中的 train.py 来调整训练参数。

随机划分（未维护）

为 training/random_split/datasets/video 创建指向您的视频数据集文件夹（包含 s* 目录）的符号链接。

使用以下命令训练模型：

./train random_split [GPU（可选）]

注意： 您可以通过修改 train.py 中的 val_split 参数来更改验证集的比例。

未见说话人

创建以下文件夹：

• training/unseen_speakers/datasets/train
• training/unseen_speakers/datasets/val

然后为 training/unseen_speakers/datasets/[train|val]/s* 创建指向视频数据集文件夹中您所选 s* 的符号链接。

论文中使用了 s1、s2、s20 和 s22 进行评估，其余用于训练。

使用以下命令训练模型：

./train unseen_speakers [GPU（可选）]

未见说话人（带课程学习）

与未见说话人训练相同。

注意： 您可以通过修改 train.py 中的 curriculum_rules 方法来调整课程计划。

./train unseen_speakers_curriculum [GPU（可选）]

重叠说话人

运行准备脚本：

python prepare.py [视频数据集路径] [对齐数据集路径] [样本数量]

注释：

• [视频数据集路径] 应该是一个具有 /s{i}/[video] 结构的文件夹。
• [对齐数据集路径] 应该是一个具有 /[align].align 结构的文件夹。
• [样本数量] 应该小于或等于 min(len(ls '/s{i}/*'))。

然后为每位说话人运行训练：

python training/overlapped_speakers/train.py s{i}

重叠说话人（带课程学习）

将 prepare.py 从 overlapped_speakers 文件夹复制到 overlapped_speakers_curriculum 文件夹，并按照之前关于重叠说话人训练的说明运行它。

然后为每位说话人运行训练：

python training/overlapped_speakers_curriculum/train.py s{i}

注意： 同样，您可以通过修改 train.py 中的 curriculum_rules 方法来调整课程计划。

评估

要评估并在单个视频或图像帧上可视化训练好的模型，可以执行以下命令：

./predict [权重路径] [视频路径]

示例：

./predict evaluation/models/overlapped-weights368.h5 evaluation/samples/id2_vcd_swwp2s.mpg

进度

这是一个正在进行中的项目。可能会出现错误。 如果您在实现过程中发现任何错误，请通过提交问题或拉取请求告知我们。谢谢！

待办事项：

• 使用 Stanford-CTC TensorFlow CTC 束搜索
• 自动拼写纠正
• 重叠说话人（及其课程）的训练
• 集成语言模型以用于束搜索
• 对整个数据集进行 RGB 归一化。
• 验证训练中的 CTC 实现。
• 完善文档
• 单元测试
• （可能）更好的课程学习。
• （可能）一些用于处理数据集的实用脚本。

许可证

MIT 许可证

LipNet 快速上手指南

LipNet 是一个端到端的句子级唇读模型，基于 Keras 和 TensorFlow 实现。本指南将帮助你快速搭建环境并运行预训练模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置 WSL 或类似环境)
• Python: 建议 Python 3.6+
• 核心依赖:
  • Keras 2.0+
  • TensorFlow 1.0+
• 硬件加速 (可选): 如需使用 GPU 加速，请确保已安装 CUDA 和 cuDNN，并安装 tensorflow-gpu。

注意：由于该项目基于 TensorFlow 1.x 开发，建议在独立的虚拟环境（如 venv 或 conda）中运行，以避免版本冲突。

安装步骤

1. 克隆仓库

首先，从 GitHub 克隆项目代码：

git clone https://github.com/rizkiarm/LipNet
cd LipNet/

2. 安装依赖包

使用 pip 安装项目所需依赖：

pip install -e .

GPU/CPU 切换提示： 默认情况下 setup.py 可能尝试安装 tensorflow-gpu。如果你不需要 GPU 支持或遇到安装问题，请先编辑 setup.py 文件，将其中的 tensorflow-gpu 修改为 tensorflow，然后再执行上述安装命令。

国内加速建议： 如果下载依赖较慢，推荐使用国内镜像源：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，你可以直接使用提供的预训练权重进行唇读预测，无需重新训练模型。

运行预测

使用 ./predict 脚本加载权重并对视频文件进行分析。

命令格式：

./predict [权重文件路径] [视频文件路径]

示例： 以下命令使用针对“重叠说话人”场景训练的预训练模型（第 368 轮迭代权重）对示例视频进行预测：

./predict evaluation/models/overlapped-weights368.h5 evaluation/samples/id2_vcd_swwp2s.mpg

运行后，终端将输出识别出的文本内容。如果需要处理其他视频，只需替换第二个参数为你的视频路径即可。

提示：预训练权重文件可从项目的 evaluation/models 目录获取。如果本地缺失，请前往 GitHub 仓库对应目录下载。