WhisperS2T ⚡

一款针对 Whisper 模型优化的多推理引擎支持的语音转文本流水线！

---

WhisperS2T 是一个经过优化、闪电般快速的开源 语音转文本（ASR）流水线。它专为 Whisper 模型设计，旨在提供更快的转录速度。相比其他实现方式，WhisperS2T 速度极为出色，与 WhisperX 相比提升了 2.3 倍，而与使用 FlashAttention 2 的 HuggingFace Pipeline 相比则快了 3 倍（参考 Insanely Fast Whisper）。此外，它还包含多项启发式方法来提升转录准确性。

Whisper 是由 OpenAI 开发的通用语音识别模型，并非我所开发。该模型基于大规模多样化音频数据集进行训练，同时具备多任务能力，可执行多语言语音识别、语音翻译及语言检测等功能。

发行说明

• [2024年2月25日]：新增预构建的 Docker 镜像以及支持导出为 txt、json、tsv、srt、vtt 格式的转录文件。（完整发行说明请见 此处）
• [2024年1月28日]：新增对 TensorRT-LLM 后端的支持。
• [2023年12月23日]：新增对 CTranslate2 后端的词对齐支持（请参阅 基准测试）。
• [2023年12月19日]：新增对 Whisper-Large-V3 和 Distil-Whisper-Large-V2 的支持（请参阅 基准测试）。
• [2023年12月17日]：WhisperS2T 正式发布！

快速入门

请查看此处提供的 Google Colab 笔记本：notebooks

未来规划

• 准备好使用的 Docker 容器。
• WhisperS2T-Server：优化的端到端部署就绪服务器代码库。
• 提供深入文档，并使用 GitHub Pages 托管。
• 探索集成 Meta 的 SeamlessM4T 模型的可能性。
• 添加更多用于 WER 基准测试的数据集。

基准测试与技术报告

敬请期待将 WhisperS2T 与其他 Whisper 流水线进行对比的技术报告。与此同时，您可以先查看在 A30 GPU 上的一些快速基准测试结果。我所使用的基准测试脚本位于 scripts/ 目录中。

注意： 我在所有基准测试中均将 without_timestamps 参数设置为 True。若将其调整为 False，可能会改善 HuggingFace 流水线的词错误率（WER），但会相应增加推理时间。值得注意的是，WhisperS2T 在推理速度上的显著提升完全得益于其 更优的流水线设计，并未对后端推理引擎（如 CTranslate2、FlashAttention2 等）进行任何特定优化。例如，尽管两者都使用 FlashAttention2 作为推理引擎，WhisperS2T（采用 FlashAttention2）的推理速度仍远超 HuggingFace 流水线（同样使用 FlashAttention2）。此外，两者的 WER 也存在明显差异。

特性

• 🔄 多后端支持： 支持多种 Whisper 模型后端，包括原生 OpenAI 模型、配备 FlashAttention2 的 HuggingFace 模型以及 CTranslate2 模型。
• 🎙️ 轻松集成自定义 VAD 模型： 可无缝添加自定义语音活动检测（VAD）模型，以增强语音识别的控制能力和准确性。
• 🎧 轻松处理小型或大型音频文件： 能够智能地将来自不同文件的小段语音合并成批次，从而确保最佳性能。
• ⏳ 大型音频文件的高效处理： 在后台异步加载大型音频文件的同时，对分段后的批次进行转录，显著缩短加载时间。
• 🌐 多语言/多任务解码的批处理支持： 可在一个批次中解码多种语言，或同时进行转录和翻译，从而提高灵活性并缩短转录时间。（CTranslate2 后端效果最佳）
• 🧠 减少“幻觉”现象： 通过优化参数和启发式方法，减少重复文本输出或“幻觉”现象。（部分启发式方法仅适用于 CTranslate2 后端）
• ⏱️ 动态时长支持（实验性）： 可在给定输入批次中处理长度不固定的音频，而非固定为 30 秒，从而提供更大的灵活性并节省转录计算时间。（仅限 CTranslate2 后端）

开始使用

从 Docker 容器开始

预构建容器

docker pull shashikg/whisper_s2t:dev-trtllm

Dockerhub 仓库：https://hub.docker.com/r/shashikg/whisper_s2t/tags

构建您自己的容器

从 main 分支构建。

docker build --build-arg WHISPER_S2T_VER=main --build-arg SKIP_TENSORRT_LLM=1 -t whisper_s2t:main .

从特定版本 v1.3.0 构建。

git checkout v1.3.0
docker build --build-arg WHISPER_S2T_VER=v1.3.0 --build-arg SKIP_TENSORRT_LLM=1 -t whisper_s2t:1.3.0 .

若要构建支持 TensorRT-LLM 的容器：

docker build --build-arg WHISPER_S2T_VER=main -t whisper_s2t:main-trtllm .

本地安装

安装重采样和加载音频文件所需的音频包。

对于 Ubuntu

apt-get install -y libsndfile1 ffmpeg

对于 MAC

brew install ffmpeg

对于 Ubuntu/MAC/Windows/任何使用 Python Conda 的系统

conda install conda-forge::ffmpeg

要安装或更新到 WhisperS2T 的最新发布版本，请使用以下命令：

pip install -U whisper-s2t

或者从本仓库的最新提交安装：

pip install -U git+https://github.com/shashikg/WhisperS2T.git

注意： 如果你的 cuDNN 和 cuBLAS 是通过 pip wheel 安装的，可以运行以下命令将 cuDNN 路径添加到 LD_LIBRARY_PATH：

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:`python3 -c 'import os; import nvidia.cublas.lib; import nvidia.cudnn.lib; print(os.path.dirname(nvidia.cublas.lib.__file__) + ":" + os.path.dirname(nvidia.cudnn.lib.__file__))'`

使用 TensorRT-LLM 后端

对于 TensorRT-LLM 后端，你需要安装 TensorRT 和 TensorRT-LLM。

bash <repo_dir>/install_tensorrt.sh

对于大多数 Debian 系统，提供的 bash 脚本应该可以正常工作。如果不行或在其他系统上，请按照官方 TensorRT-LLM 指南操作 这里。

使用方法

CTranslate2 后端

import whisper_s2t

model = whisper_s2t.load_model(model_identifier="large-v2", backend='CTranslate2')

files = ['data/KINCAID46/audio/1.wav']
lang_codes = ['en']
tasks = ['transcribe']
initial_prompts = [None]

out = model.transcribe_with_vad(files,
                                lang_codes=lang_codes,
                                tasks=tasks,
                                initial_prompts=initial_prompts,
                                batch_size=32)

print(out[0][0]) # 打印第一段音频的第一句话
"""
[控制台输出]

{'text': "让我们请来正在王宫现场的菲尔·麦基。我们现在看到的是特蕾莎和菲利普·梅。菲利普，你能看到他如何从直升机上被转移下来吗？就像你刚才说的那样，那辆‘野兽’车正开着大灯，因为太阳已经开始落山了，确实快要没入云层之后。它大约在大车道上一英里四分之一的地方",
 'avg_logprob': -0.25426941679184695,
 'no_speech_prob': 8.147954940795898e-05,
 'start_time': 0.0,
 'end_time': 24.8}
"""

要使用词对齐功能，请使用以下方式加载模型：

model = whisper_s2t.load_model("large-v2", asr_options={'word_timestamps': True})

TensorRT-LLM 后端

import whisper_s2t

model = whisper_s2t.load_model(model_identifier="large-v2", backend='TensorRT-LLM')

files = ['data/KINCAID46/audio/1.wav']
lang_codes = ['en']
tasks = ['transcribe']
initial_prompts = [None]

out = model.transcribe_with_vad(files,
                                lang_codes=lang_codes,
                                tasks=tasks,
                                initial_prompts=initial_prompts,
                                batch_size=24)

print(out[0][0]) # 打印第一段音频的第一句话
"""
[控制台输出]

{'text': "让我们请来正在王宫现场的菲尔·麦基。我们现在看到的是特蕾莎和菲利普·梅。菲利普，你能看到他如何从直升机上被转移下来吗？就像你刚才说的那样，那辆‘野兽’车正开着大灯，因为太阳已经开始落山了，确实快要没入云层之后。它大约在大车道上一英里四分之一的地方",
 'start_time': 0.0, 
 'end_time': 24.8}
"""

更多详细信息请参阅此 文档。

注意： 首次运行时，模型的推理速度可能会稍慢。经过 1-2 次运行后，推理速度会有所提升。这是由于 VAD 模型进行了 JIT 跟踪所致。

致谢

• OpenAI Whisper 团队：感谢 OpenAI Whisper 团队开源 Whisper 模型。
• HuggingFace 团队：感谢 HuggingFace 团队将 FlashAttention2 和 Whisper 模型集成到 transformers 库中。
• CTranslate2 团队：感谢 CTranslate2 团队为 Transformer 架构提供更快的推理引擎。
• NVIDIA NeMo 团队：感谢 NVIDIA NeMo 团队贡献了本流程中使用的开源 VAD 模型。
• NVIDIA TensorRT-LLM 团队：感谢 NVIDIA TensorRT-LLM 团队提供的卓越 LLM 推理优化。

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

WhisperS2T 快速上手指南

WhisperS2T 是一个针对 Whisper 模型优化的超快语音转文本（ASR）流水线。相比 WhisperX 提速 2.3 倍，相比使用 FlashAttention 2 的 HuggingFace Pipeline 提速 3 倍，支持 CTranslate2、TensorRT-LLM 等多种推理后端。

1. 环境准备

系统要求

• 操作系统：Linux (Ubuntu), macOS, Windows
• Python：建议 Python 3.8+
• GPU：推荐使用 NVIDIA GPU 以获得最佳性能（支持 CUDA）

前置依赖

在安装 Python 包之前，需先安装音频处理库（用于重采样和加载音频文件）。

Ubuntu:

apt-get install -y libsndfile1 ffmpeg

macOS:

brew install ffmpeg

Conda 用户 (通用):

conda install conda-forge::ffmpeg

2. 安装步骤

方式一：Pip 安装（推荐）

安装最新稳定版：

pip install -U whisper-s2t

或从源码安装最新版：

pip install -U git+https://github.com/shashikg/WhisperS2T.git

注意：如果你通过 pip wheel 安装了 CUDNN 和 CUBLAS，可能需要配置环境变量：

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:`python3 -c 'import os; import nvidia.cublas.lib; import nvidia.cudnn.lib; print(os.path.dirname(nvidia.cublas.lib.__file__) + ":" + os.path.dirname(nvidia.cudnn.lib.__file__))'`

方式二：Docker 安装

拉取预构建镜像（包含 TensorRT-LLM 支持）：

docker pull shashikg/whisper_s2t:dev-trtllm

可选：TensorRT-LLM 后端支持

若需使用 TensorRT-LLM 后端，需额外安装 TensorRT 相关组件：

bash <repo_dir>/install_tensorrt.sh

(注：<repo_dir> 为克隆代码后的目录路径)

3. 基本使用

WhisperS2T 支持多种后端，以下是两种最常用的使用示例。

示例 A：使用 CTranslate2 后端（推荐，速度快且兼容性好）

import whisper_s2t

# 加载模型
model = whisper_s2t.load_model(model_identifier="large-v2", backend='CTranslate2')

# 准备输入数据
files = ['data/KINCAID46/audio/1.wav']
lang_codes = ['en']       # 语言代码，如 'zh', 'en', 'ja' 等
tasks = ['transcribe']    # 任务类型：'transcribe' (转录) 或 'translate' (翻译)
initial_prompts = [None]

# 执行转录（带 VAD 语音活动检测）
out = model.transcribe_with_vad(files,
                                lang_codes=lang_codes,
                                tasks=tasks,
                                initial_prompts=initial_prompts,
                                batch_size=32)

# 输出结果
print(out[0][0]) 

启用词级时间戳（Word Alignment）：

model = whisper_s2t.load_model("large-v2", asr_options={'word_timestamps': True})

示例 B：使用 TensorRT-LLM 后端（极致性能）

import whisper_s2t

# 加载 TensorRT-LLM 后端模型
model = whisper_s2t.load_model(model_identifier="large-v2", backend='TensorRT-LLM')

files = ['data/KINCAID46/audio/1.wav']
lang_codes = ['en']
tasks = ['transcribe']
initial_prompts = [None]

# 执行转录
out = model.transcribe_with_vad(files,
                                lang_codes=lang_codes,
                                tasks=tasks,
                                initial_prompts=initial_prompts,
                                batch_size=24)

print(out[0][0])

提示：首次运行时，由于 VAD 模型的 JIT 追踪编译，推理速度可能稍慢。运行 1-2 次后速度将显著提升并达到最佳状态。