查普林

一款视觉语音识别（VSR）工具，可实时读取您的唇语，并将您无声口型表达的内容自动输入到文本中。完全在本地运行。

该工具依赖于一个基于 Lip Reading Sentences 3 数据集训练的模型，该模型是 Auto-AVSR 项目的一部分。

观看查普林的演示视频 这里。

安装

1. 克隆仓库并进入目录：

   git clone https://github.com/amanvirparhar/chaplin
   cd chaplin
   

2. 运行安装脚本：

   ./setup.sh
   

   脚本会自动从 Hugging Face Hub 下载所需的模型文件，并将其放置到相应目录中：

   chaplin/
   ├── benchmarks/
       ├── LRS3/
           ├── language_models/
               ├── lm_en_subword/
           ├── models/
               ├── LRS3_V_WER19.1/
   ├── ...
   

3. 安装并运行 ollama，同时拉取 qwen3:4b 模型。
4. 安装 uv。

使用

1. 运行以下命令：

   uv run --with-requirements requirements.txt --python 3.12 main.py config_filename=./configs/LRS3_V_WER19.1.ini detector=mediapipe
   

2. 当摄像头画面显示后，按下 option 键（Mac）或 alt 键（Windows/Linux），开始“录制”，然后开始无声地口型表达文字。
3. 再次按下 option 键（Mac）或 alt 键（Windows/Linux）即可停止录制。原始的 VSR 输出将记录在终端中，而经过 LLM 修正后的版本则会自动输入到光标位置。
4. 若要正常退出，请聚焦于显示摄像头画面的窗口，然后按 q 键。

Chaplin 快速上手指南

Chaplin 是一款完全本地运行的视觉语音识别（VSR）工具，能够实时读取唇语并将无声的口型转化为文本输入。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：macOS、Linux 或 Windows。
• Python 版本：需要 Python 3.12（项目将通过 uv 自动管理）。
• 前置依赖：
  • Ollama：用于运行本地大语言模型进行文本校正。
  • Git：用于克隆代码仓库。
  • 摄像头：用于捕捉唇部动作。

安装步骤

1. 克隆项目

打开终端，执行以下命令下载源码并进入目录：

git clone https://github.com/amanvirparhar/chaplin
cd chaplin

2. 运行设置脚本

执行设置脚本以自动从 Hugging Face Hub 下载所需的模型文件（包括 LRS3 数据集训练的模型和语言模型）：

./setup.sh

注：脚本运行完成后，模型文件将自动存放于 benchmarks/LRS3/ 等相应目录下。

3. 配置 Ollama

安装并启动 Ollama，然后拉取项目指定的 qwen3:4b 模型：

ollama pull qwen3:4b

提示：国内用户若拉取缓慢，可配置 Ollama 国内镜像加速。

4. 安装 uv 包管理器

安装 uv 工具，它将用于管理项目的依赖环境和运行：

# macOS/Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -c "irm https://astral.sh/uv/install.psir | iex"

基本使用

1. 启动程序

使用 uv 运行主程序，指定配置文件和检测器（推荐使用 mediapipe）：

uv run --with-requirements requirements.txt --python 3.12 main.py config_filename=./configs/LRS3_V_WER19.1.ini detector=mediapipe

2. 开始识别

当摄像头画面窗口弹出后：

• 开始录制：按下 option 键（Mac）或 alt 键（Windows/Linux），同时对着摄像头无声地做口型。
• 停止录制：再次按下 option / alt 键。

3. 查看结果

• 终端输出：原始的 VSR 识别结果将打印在终端中。
• 自动输入：经过 LLM（Qwen3）校正后的最终文本将自动在当前光标位置输入。

4. 退出程序

选中摄像头窗口，按下 q 键即可安全退出。