WhisperLive

OpenAI Whisper 的近实时实现。

该项目是一个实时转录应用，使用 OpenAI Whisper 模型将语音输入转换为文本输出。它可以用于转录音频输入（无论是来自麦克风的实时音频，还是预先录制的音频文件）。

• 安装
• 快速入门
• 运行服务器
• 运行客户端
• 浏览器扩展
• Docker 中的 Whisper Live 服务器
• 未来工作
• 博客文章
• 联系方式
• 引用

安装

• 安装 PortAudio

 bash scripts/setup.sh

• 通过 pip 安装 whisper-live

 pip install whisper-live

• 在 Fedora 上安装 Python 3.12 虚拟环境

sudo dnf install -y python3.12 python3.12-pip
python3.12 -m venv whisper_env
source whisper_env/bin/activate

OpenAI REST 接口

服务器

python3 run_server.py --port 9090 --backend faster_whisper --max_clients 4 --max_connection_time 600 --enable_rest --cors-origins="http://localhost:8080,http://127.0.0.1:8080"

客户端

python3 client_openai.py $AUDIO_FILE

为 TensorRT 后端设置 NVIDIA/TensorRT-LLM

• 请按照 TensorRT_whisper 自述文件 设置 NVIDIA/TensorRT-LLM，并构建 Whisper-TensorRT 引擎。

快速入门

服务器支持三种后端：faster_whisper、tensorrt 和 openvino。如果运行 tensorrt 后端，请遵循 TensorRT_whisper 自述文件。

运行服务器

• Faster Whisper 后端

python3 run_server.py --port 9090 \
                      --backend faster_whisper \
                      --max_clients 4 \
                      --max_connection_time 600
  
# 使用自定义模型和 cache_dir 来保存自动转换的 ctranslate2 模型
python3 run_server.py --port 9090 \
                      --backend faster_whisper \
                      --max_clients 4 \
                      --max_connection_time 600 \
                      -fw "/path/to/custom/faster/whisper/model" \
                      -c ~/.cache/whisper-live/

• TensorRT 后端。目前，我们建议仅使用 Docker 设置来运行 TensorRT。请遵循 TensorRT_whisper 自述文件，该设置可正常工作。在使用 TensorRT 后端运行服务器之前，请务必先构建您的 TensorRT 引擎。

# 运行仅支持英语的模型
python3 run_server.py -p 9090 \
                      -b tensorrt \
                      -trt /home/TensorRT-LLM/examples/whisper/whisper_small_en \
                      --max_clients 4 \
                      --max_connection_time 600

# 运行多语言模型
python3 run_server.py -p 9090 \
                      -b tensorrt \
                      -trt /home/TensorRT-LLM/examples/whisper/whisper_small \
                      -m \
                      --max_clients 4 \
                      --max_connection_time 600

• 使用 --max_clients 选项限制服务器允许的最大客户端数量。默认值为 4。
• 使用 --max_connection_time 选项限制每个客户端的连接时间（以秒为单位）。默认值为 600 秒。
• WhisperLive 现在支持 OpenVINO 后端，可在 Intel CPU、iGPU 和 dGPU 上实现高效推理。目前，我们测试了由 OpenVINO 在 Hugging Face 上上传的模型。

  • 推荐使用 Docker： 在 Docker 内运行 WhisperLive 时，OpenVINO 会自动启用 GPU 支持（iGPU/dGPU），无需额外的主机设置。

  • 非 Docker 方式： 如果您希望在 Docker 外运行，请确保已在系统上正确安装并配置好 Intel 驱动程序和 OpenVINO 运行时环境。请参阅 安装 OpenVINO 的相关文档。

python3 run_server.py -p 9090 -b openvino

控制 OpenMP 线程

要控制 OpenMP 使用的线程数，可以设置 OMP_NUM_THREADS 环境变量。这对于管理 CPU 资源和确保性能一致性非常有用。如果未指定，OMP_NUM_THREADS 默认值为 1。您可以通过 --omp_num_threads 参数进行更改：

python3 run_server.py --port 9090 \
                      --backend faster_whisper \
                      --omp_num_threads 4

单模型模式

默认情况下，当不指定模型运行服务器时，服务器会为每个客户端连接实例化一个新的 Whisper 模型。这样做的优点是，服务器可以根据客户端请求的模型大小使用不同尺寸的模型。但另一方面，这也意味着您需要等待模型在客户端连接时加载，并且会增加 (V)RAM 的使用量。

如果您使用 -trt 选项提供自定义 TensorRT 模型，或使用 -fw 选项提供自定义 faster_whisper 模型，则服务器只会实例化一次自定义模型，并将其重复用于所有客户端连接。

如果您不希望如此，请设置 --no_single_model。

运行客户端

使用以下命令运行客户端：

python3 run_client.py --files <音频文件名>

这将默认连接到在端口 9090 上运行的本地主机服务器。可以使用 --server 和 --port 标志来指定不同的配置。上述命令会转录音频文件，该文件通过 --files 标志提供。

以下是 run_client.py 脚本中实现的客户端实例的详细信息：

• lang：输入音频的语言，仅适用于多语言模型。
• translate：如果设置为 True，则会将任何语言翻译成英语 (en)。
• model：Whisper 模型大小。
• use_vad：是否在服务器上使用语音活动检测 (Voice Activity Detection)。
• save_output_recording：设置为 True 可以在实时转录过程中将麦克风输入保存为 .wav 文件。此选项有助于记录会话，以便后续回放或分析。默认值为 False。
• output_recording_filename：当 save_output_recording 设置为 True 时，指定麦克风输入将被保存的 .wav 文件路径。
• mute_audio_playback：在转录音频文件时是否静音音频播放。默认为 False。
• enable_translation：在服务器上启动翻译线程（从任意语言翻译到任意语言）。
• target_language：服务器翻译线程的目标翻译语言。

from whisper_live.client import TranscriptionClient
client = TranscriptionClient(
  "localhost",
  9090,
  lang="en",
  translate=False,
  model="small",                                      # 同时支持 hf_model => `Systran/faster-whisper-small`
  use_vad=False,
  save_output_recording=True,                         # 仅用于麦克风输入，默认为 False
  output_recording_filename="./output_recording.wav", # 仅用于麦克风输入
  mute_audio_playback=False,                          # 仅用于文件输入，默认为 False
  enable_translation=True,
  target_language="hi",
)

它连接到在本地主机端口 9090 上运行的服务器。使用多语言模型时，转录的语言将自动检测。您也可以使用 lang 选项指定转录的目标语言，在本例中为英语 (en)。如果希望将源语言翻译成英语，则应将 translate 选项设置为 True；如果希望以源语言进行转录，则设置为 False。

• 转录音频文件：

client("tests/jfk.wav")

• 从麦克风转录：

client()

• 从 RTSP 流转录：

client(rtsp_url="rtsp://admin:admin@192.168.0.1/rtsp")

• 从 HLS 流转录：

client(hls_url="http://as-hls-ww-live.akamaized.net/pool_904/live/ww/bbc_1xtra/bbc_1xtra.isml/bbc_1xtra-audio%3d96000.norewind.m3u8")

浏览器扩展

• 按照 此处 的说明运行带有您所需后端的服务器。
• 使用我们的 Chrome 或 Firefox 扩展直接从浏览器转录音频。请参阅 Audio-Transcription-Chrome 和 https://github.com/collabora/WhisperLive/blob/main/TensorRT_whisper.md。

iOS 客户端

在 iOS 上使用我们的原生 iOS 客户端运行 WhisperLive。请参阅 ios-client 和 ios-client/README.md，以获取设置和使用说明。

Docker 中的 Whisper Live 服务器

• GPU

  • Faster-Whisper

  docker run -it --gpus all -p 9090:9090 ghcr.io/collabora/whisperlive-gpu:latest
  

  • TensorRT。请参阅 TensorRT_whisper readme，以获取设置和其他 TensorRT 后端配置。

  docker build . -f docker/Dockerfile.tensorrt -t whisperlive-tensorrt
  docker run -p 9090:9090 --runtime=nvidia --entrypoint /bin/bash -it whisperlive-tensorrt
  
  # 构建 small.en 引擎
  bash build_whisper_tensorrt.sh /app/TensorRT-LLM-examples small.en        # float16
  bash build_whisper_tensorrt.sh /app/TensorRT-LLM-examples small.en int8   # 仅量化权重为 int8
  bash build_whisper_tensorrt.sh /app/TensorRT-LLM-examples small.en int4   # 仅量化权重为 int4
  
  # 使用 small.en 运行服务器
  python3 run_server.py --port 9090 \
                        --backend tensorrt \
                        --trt_model_path "/app/TensorRT-LLM-examples/whisper/whisper_small_en_float16"
                        --trt_model_path "/app/TensorRT-LLM-examples/whisper/whisper_small_en_int8"
                        --trt_model_path "/app/TensorRT-LLM-examples/whisper/whisper_small_en_int4"
  

  • OpenVINO

  docker run -it --device=/dev/dri -p 9090:9090 ghcr.io/collabora/whisperlive-openvino
  

• CPU

  • Faster-whisper

  docker run -it -p 9090:9090 ghcr.io/collabora/whisperlive-cpu:latest
  

未来工作

• 在转录的基础上增加对其他语言的翻译功能。

博客文章

• 用 WhisperLive 改变语音技术
• WhisperFusion：与 AI 聊天机器人进行超低延迟对话，由 WhisperLive 提供支持。
• 打破语言障碍 2.0：更接近完全可靠、可投入生产的印地语 ASR，该技术被用于 WhisperLive 中的印地语处理。

联系方式

我们随时准备帮助您开展开源和专有 AI 项目。您可以通过 Collabora 官网或通过以下邮箱联系我们：vineet.suryan@collabora.com 和 marcus.edel@collabora.com。

引用文献

@article{Whisper
  title = {Robust Speech Recognition via Large-Scale Weak Supervision},
  url = {https://arxiv.org/abs/2212.04356},
  author = {Radford, Alec and Kim, Jong Wook and Xu, Tao and Brockman, Greg and McLeavey, Christine and Sutskever, Ilya},
  publisher = {arXiv},
  year = {2022},
}

@misc{Silero VAD,
  author = {Silero Team},
  title = {Silero VAD：预训练的企业级语音活动检测器 (VAD)、数字检测器和语言分类器},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/snakers4/silero-vad}},
  email = {hello@silero.ai}
}

WhisperLive 快速上手指南

WhisperLive 是 OpenAI Whisper 模型的准实时（nearly-live）转录应用，支持麦克风实时输入、音频文件、RTSP/HLS 流媒体的语音转文字。

环境准备

系统要求

• 操作系统: Linux (推荐), macOS, Windows (需配置 PortAudio)
• Python: 3.8+ (Fedora 等发行版推荐 Python 3.12)
• 硬件加速 (可选):
  • NVIDIA GPU: 需安装 CUDA 驱动 (用于 TensorRT 或 Faster-Whisper GPU 版)
  • Intel CPU/iGPU/dGPU: 需安装 OpenVINO 运行时及驱动

前置依赖

在安装 Python 包之前，需先安装系统级音频库 PortAudio。

Ubuntu/Debian:

sudo apt-get update
sudo apt-get install -y portaudio19-dev python3-pip

Fedora (含 Python 3.12 环境配置):

sudo dnf install -y python3.12 python3.12-pip portaudio-devel
python3.12 -m venv whisper_env
source whisper_env/bin/activate

macOS:

brew install portaudio

提示: 国内用户可使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

方法一：Pip 安装（推荐）

最简单的方式是通过 pip 直接安装：

pip install whisper-live

方法二：Docker 部署（生产环境推荐）

无需配置本地环境，直接拉取预构建镜像。

CPU 版本 (Faster-Whisper):

docker run -it -p 9090:9090 ghcr.io/collabora/whisperlive-cpu:latest

GPU 版本 (Faster-Whisper):

docker run -it --gpus all -p 9090:9090 ghcr.io/collabora/whisperlive-gpu:latest

Intel OpenVINO 版本:

docker run -it --device=/dev/dri -p 9090:9090 ghcr.io/collabora/whisperlive-openvino

基本使用

WhisperLive 采用 服务端 (Server) + 客户端 (Client) 架构。请先启动服务端，再运行客户端。

1. 启动服务端

默认使用 faster_whisper 后端，监听 9090 端口，允许最多 4 个客户端连接。

python3 run_server.py --port 9090 \
                      --backend faster_whisper \
                      --max_clients 4 \
                      --max_connection_time 600

参数说明:

• --backend: 支持 faster_whisper, tensorrt, openvino。
• --omp_num_threads: 控制 OpenMP 线程数（默认 1），可根据 CPU 核心数调整以提升性能。

2. 运行客户端

场景 A：转录本地音频文件

python3 run_client.py --files tests/jfk.wav

场景 B：实时麦克风转录

运行后对着麦克风说话，终端将实时输出转录文本。

python3 run_client.py

场景 C：在 Python 代码中集成

你可以直接在 Python 脚本中调用客户端进行定制化开发：

from whisper_live.client import TranscriptionClient

# 初始化客户端
client = TranscriptionClient(
  "localhost",
  9090,
  lang="en",              # 语言代码，多语言模型可自动检测
  translate=False,        # True 则翻译为英文，False 仅转录
  model="small",          # 模型大小：tiny, base, small, medium, large
  use_vad=True,           # 启用语音活动检测
  save_output_recording=False, # 是否保存录音文件
)

# 转录文件
client("tests/jfk.wav")

# 或使用麦克风实时转录
# client()

# 或转录网络流 (RTSP/HLS)
# client(rtsp_url="rtsp://admin:admin@192.168.0.1/rtsp")

3. 浏览器扩展使用

若希望通过浏览器直接使用：

1. 保持上述服务端运行状态。
2. 安装 Chrome 或 Firefox 扩展程序（参考项目仓库中的 Audio-Transcription-Chrome 目录）。
3. 在扩展设置中连接 localhost:9090 即可转录网页内的任何音频。