疯狂快速的 Whisper

一款自带偏好的命令行工具，用于在设备上使用 Whisper 对音频文件进行转录！由 🤗 Transformers、Optimum 和 flash-attn 提供支持。

简而言之 - 在不到 98 秒内转录 150 分钟（2.5 小时）的音频——使用 OpenAI 的 Whisper Large v3。极速转录如今已成为现实！⚡️

pipx install insanely-fast-whisper==0.0.15 --force

不信？以下是我们使用 Nvidia A100 - 80GB 进行的一些基准测试 👇

P.S. 我们还在 Google Colab T4 GPU 实例上运行了这些基准测试！

P.P.S. 该项目最初是为了展示 Transformers 的基准测试而启动的，但后来演变成一个供人们使用的轻量级命令行工具。这完全是由社区驱动的。我们会根据社区的强烈需求添加功能！

🆕 通过终端实现极速转录！⚡️

我们新增了一个命令行工具来实现快速转录。以下是使用方法：

使用 pipx 安装 insanely-fast-whisper（pip install pipx 或 brew install pipx）：

pipx install insanely-fast-whisper

⚠️ 如果您安装了 Python 3.11.XX 版本，pipx 可能会错误地解析版本号，并在未告知您的情况下安装非常旧的 insanely-fast-whisper 版本（版本为 0.0.8，该版本已无法与当前的 BetterTransformers 兼容）。在这种情况下，您可以传递 --ignore-requires-python 参数给 pip 来安装最新版本：

pipx install insanely-fast-whisper --force --pip-args="--ignore-requires-python"

如果您使用 pip 安装，可以直接传递该参数：pip install insanely-fast-whisper --ignore-requires-python。

从您计算机上的任意路径运行推理：

insanely-fast-whisper --file-name <文件名或 URL>

注意：如果您在 macOS 上运行，还需要添加 --device-id mps 标志。

🔥 您也可以通过此命令行工具运行带有 Flash Attention 2 的 Whisper-large-v3：

insanely-fast-whisper --file-name <文件名或 URL> --flash True 

🌟 您还可以直接通过此命令行工具运行 distil-whisper：

insanely-fast-whisper --model-name distil-whisper/large-v2 --file-name <文件名或 URL> 

不想安装 insanely-fast-whisper？只需使用 pipx run：

pipx run insanely-fast-whisper --file-name <文件名或 URL>

[!NOTE] 该命令行工具具有很强的主观性，仅适用于 NVIDIA 显卡和 Mac 设备。请务必查看默认设置以及可调整的选项列表，以最大化您的转录吞吐量。运行 insanely-fast-whisper --help 或 pipx run insanely-fast-whisper --help 以获取所有命令行参数及其默认值。

命令行选项

insanely-fast-whisper 仓库提供了对 Whisper 在各种场景下运行的全面支持。请注意，截至今天 11 月 26 日，insanely-fast-whisper 同时支持 CUDA 和 mps（Mac）启用的设备。

  -h, --help            显示帮助信息并退出
  --file-name FILE_NAME
                        要转录的音频文件的路径或 URL。
  --device-id DEVICE_ID
                        您显卡的设备 ID。使用 CUDA 时只需传递设备编号，对于搭载 Apple Silicon 的 Mac 则使用 "mps"。（默认值： "0"）
  --transcript-path TRANSCRIPT_PATH
                        保存转录输出的路径。（默认值： output.json）
  --model-name MODEL_NAME
                        用于执行 ASR 的预训练模型或检查点名称。（默认值： openai/whisper-large-v3）
  --task {transcribe,translate}
                        要执行的任务：转录或翻译成另一种语言。（默认值： 转录）
  --language LANGUAGE   
                        输入音频的语言。（默认值： "None"（Whisper 自动检测语言））
  --batch-size BATCH_SIZE
                        您希望并行计算的批次数量。如果遇到 OOM 错误，请减少该值。（默认值： 24）
  --flash FLASH         
                        使用 Flash Attention 2。请阅读常见问题解答，了解如何正确安装 FA2。（默认值： False）
  --timestamp {chunk,word}
                        Whisper 支持分块级别和单词级别的时间戳。（默认值： 分块）
  --hf-token HF_TOKEN
                        提供 hf.co/settings/token，以便 Pyannote.audio 对音频片段进行说话人分离
  --diarization_model DIARIZATION_MODEL
                        用于执行说话人分离的预训练模型或检查点名称。（默认值： pyannote/speaker-diarization）
  --num-speakers NUM_SPEAKERS
                        指定音频文件中确切的说话人数。当对话参与者的具体人数已知时非常有用。必须至少为 1。不能与 --min-speakers 或 --max-speakers 同时使用。（默认值： None）
  --min-speakers MIN_SPEAKERS
                        设置系统在说话人分离过程中应考虑的最小说话人数。必须至少为 1。不能与 --num-speakers 同时使用。如果同时指定了 --max-speakers，则其值必须大于或等于 --min-speakers。（默认值： None）
  --max-speakers MAX_SPEAKERS
                        定义系统在说话人分离过程中应考虑的最大说话人数。必须至少为 1。不能与 --num-speakers 同时使用。如果同时指定了 --min-speakers，则其值必须大于或等于 --min-speakers。（默认值： None）

常见问题解答

如何正确安装 flash-attn，使其与 insanely-fast-whisper 兼容？

请确保通过以下命令安装：pipx runpip insanely-fast-whisper install flash-attn --no-build-isolation。非常感谢 @li-yifei 在这方面提供的帮助。

在 Windows 上如何解决 AssertionError: Torch not compiled with CUDA enabled 错误？

这个问题的根本原因目前尚不清楚，不过您可以通过在虚拟环境中手动安装 PyTorch 来解决，例如：python -m pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121。感谢 @pto2k 对此问题的深入调试。

如何避免在 Mac 上出现内存不足（OOM）异常？

MPS 后端的优化程度不如 CUDA，因此对内存的需求更高。通常情况下，使用 --batch-size 4 运行不会出现问题（大约会占用 12GB 的 GPU 显存）。别忘了设置 --device-id mps。

如何在不使用命令行界面的情况下使用 Whisper？

pip install --upgrade transformers optimum accelerate

import torch
from transformers import pipeline
from transformers.utils import is_flash_attn_2_available

pipe = pipeline(
    "automatic-speech-recognition",
    model="openai/whisper-large-v3", # 从 https://huggingface.co/openai/whisper-large-v3#model-details 中选择检查点
    torch_dtype=torch.float16,
    device="cuda:0", # 或者对于 Mac 设备使用 mps
    model_kwargs={"attn_implementation": "flash_attention_2"} if is_flash_attn_2_available() else {"attn_implementation": "sdpa"},
)

outputs = pipe(
    "<FILE_NAME>",
    chunk_length_s=30,
    batch_size=24,
    return_timestamps=True,
)

outputs

致谢

1. OpenAI Whisper 团队，感谢他们开源了如此出色的模型。
2. Hugging Face Transformers 团队，特别是 Arthur、Patrick、Sanchit 和 Yoach（按字母顺序排列），感谢他们持续维护 Transformers 中的 Whisper 模型。
3. Hugging Face Optimum 团队，感谢他们使 BetterTransformer API 如此易于使用。
4. Patrick Arminio，感谢他在构建这个命令行工具方面给予的巨大帮助。

社区展示

1. @ochen1 创建了一个优秀的 CLI MVP：https://github.com/ochen1/insanely-fast-whisper-cli（现在就试试吧！）
2. @arihanv 使用 NextJS（前端）和 Modal（后端）开发了一款应用（Shush）：https://github.com/arihanv/Shush（快去看看吧！）
3. @kadirnar 基于 Transformers 构建了一个带有优化功能的 Python 包：https://github.com/kadirnar/whisper-plus（冲啊！！！）

insanely-fast-whisper 快速上手指南

insanely-fast-whisper 是一个基于 OpenAI Whisper 的高性能命令行工具，利用 🤗 Transformers、Optimum 和 Flash Attention 2 技术，实现本地极速音频转录。在 NVIDIA A100 上，它能在约 98 秒内完成 2.5 小时的音频转录。

环境准备

• 操作系统：Linux, macOS, Windows
• 硬件要求：
  • NVIDIA GPU：推荐用于最佳性能（需支持 CUDA）。
  • Apple Silicon Mac：支持 MPS 后端（M1/M2/M3 系列芯片）。
• 软件依赖：
  • Python 3.8+
  • pipx（推荐安装方式，可隔离环境）
  • NVIDIA 用户需确保已安装正确的 CUDA 驱动及 PyTorch CUDA 版本。

安装步骤

推荐使用 pipx 进行安装，以避免依赖冲突。

1. 安装 pipx (如未安装)

# Linux/macOS
python -m pip install --user pipx
python -m pipx ensurepath

# macOS (使用 Homebrew)
brew install pipx
pipx ensurepath

2. 安装 insanely-fast-whisper

执行以下命令安装最新稳定版：

pipx install insanely-fast-whisper

注意：如果您使用的是 Python 3.11+，pipx 可能会错误地解析版本限制。若遇到安装旧版本问题，请使用以下强制命令：

pipx install insanely-fast-whisper --force --pip-args="--ignore-requires-python"

3. (可选) 启用 Flash Attention 2 加速

若需极致速度（仅限 NVIDIA GPU），需在工具环境中额外安装 flash-attn：

pipx runpip insanely-fast-whisper install flash-attn --no-build-isolation

基本使用

1. 基础转录

对本地音频文件或网络 URL 进行转录（默认使用 whisper-large-v3 模型）：

insanely-fast-whisper --file-name <filename or URL>

转录结果将默认保存为 output.json。

2. macOS 用户专用

如果您使用的是 Mac (Apple Silicon)，必须指定设备 ID 为 mps：

insanely-fast-whisper --file-name <filename or URL> --device-id mps

提示：Mac 用户若遇到显存不足 (OOM)，建议添加 --batch-size 4 参数。

3. 启用 Flash Attention 2 (NVIDIA GPU)

开启闪存注意力机制以获得最快推理速度：

insanely-fast-whisper --file-name <filename or URL> --flash True

4. 使用蒸馏模型 (更快/更轻量)

使用 distil-whisper 模型进行加速：

insanely-fast-whisper --model-name distil-whisper/large-v2 --file-name <filename or URL>

5. 免安装运行

如果不希望全局安装，可直接通过 pipx run 临时运行：

pipx run insanely-fast-whisper --file-name <filename or URL>

常用参数说明

• --file-name: 音频文件路径或 URL。
• --device-id: GPU 设备号 (CUDA 默认为 "0", Mac 设为 "mps")。
• --model-name: 指定模型 (默认 openai/whisper-large-v3)。
• --language: 输入音频语言 (默认自动检测)。
• --batch-size: 并行批处理大小 (显存不足时请减小此值)。
• --transcript-path: 输出文件保存路径。

查看完整帮助信息：

insanely-fast-whisper --help