Whisper-WebUI

基于 Gradio 的浏览器界面，用于 Whisper。你可以把它当作一个简单的字幕生成器使用！

笔记本

如果你想在 Colab 上试用，可以在这里进行：whisper-webui.ipynb！

功能

• 你可以选择要使用的 Whisper 实现：
  • openai/whisper
  • SYSTRAN/faster-whisper（默认使用）
  • Vaibhavs10/insanely-fast-whisper
• 从多种来源生成字幕，包括：
  • 文件
  • YouTube
  • 麦克风
• 目前支持的字幕格式：
  • SRT
  • WebVTT
  • txt（仅文本文件，不含时间轴）
• 语音转文本翻译：
  • 从其他语言翻译成英语。（这是 Whisper 的端到端语音转文本翻译功能）
• 文本转文本翻译：
  • 使用 Facebook NLLB 模型翻译字幕文件
  • 使用 DeepL API 翻译字幕文件
• 使用 Silero VAD 对音频输入进行预处理。
• 使用 UVR 对音频输入进行预处理，以分离背景音乐。
• 使用 pyannote 模型进行后处理，实现说话人分离。
  • 要下载 pyannote 模型，你需要拥有 HuggingFace 的 token，并手动接受以下页面上的条款：
    1. https://huggingface.co/pyannote/speaker-diarization-3.1
    2. https://huggingface.co/pyannote/segmentation-3.0

流程图

安装与运行

• 使用 Pinokio 运行

该应用可以在 Pinokio 上运行。

1. 安装 Pinokio 软件。
2. 打开软件，搜索 Whisper-WebUI 并安装。
3. 启动 Whisper-WebUI，然后连接到 http://localhost:7860。

• 使用 Docker 运行

1. 安装并启动 Docker Desktop。

2. 克隆仓库：

git clone https://github.com/jhj0517/Whisper-WebUI.git

3. 构建镜像（镜像大小约为 7GB）：

docker compose build 

4. 运行容器：

docker compose up

5. 使用浏览器连接到 http://localhost:7860 即可访问 WebUI。

如有需要，可以根据你的环境更新 docker-compose.yaml。

• 本地运行

前提条件

要运行此 WebUI，你需要安装 git、Python 3.10 到 3.12 以及 FFmpeg。

请编辑 requirements.txt 中的 --extra-index-url 以匹配你的设备。
默认情况下，WebUI 假设你使用的是 Nvidia GPU 和 CUDA 12.8。如果你使用的是 Intel 显卡或其他版本的 CUDA，请阅读 requirements.txt 并修改 --extra-index-url。

请按照以下链接安装必要的软件：

• git：https://git-scm.com/downloads
• python：https://www.python.org/downloads/ 推荐使用 3.10 ~ 3.12 版本。
• FFmpeg：https://ffmpeg.org/download.html
• CUDA：https://developer.nvidia.com/cuda-downloads

安装 FFmpeg 后，请务必将 FFmpeg/bin 文件夹添加到系统的 PATH 中！

使用脚本文件安装

1. 克隆此仓库：

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. 运行 install.bat 或 install.sh 来安装依赖项。（它会创建一个 venv 目录，并在其中安装依赖项。）
3. 使用 start-webui.bat 或 start-webui.sh 启动 WebUI。（它会在激活 venv 后运行 python app.py）

你也可以通过命令行参数来运行该项目，具体请参阅 wiki 中的参数说明。

显存使用情况

该项目默认集成了 faster-whisper，以更好地利用显存并提高转录速度。

根据 faster-whisper 的测试结果，优化后的 Whisper 模型效率如下：

实现	精度	波束大小	时间	最大显存占用	最大内存占用
openai/whisper	fp16	5	4分30秒	11325MB	9439MB
faster-whisper	fp16	5	54秒	4755MB	3244MB

如果你想使用 faster-whisper 以外的实现，可以使用 --whisper_type 参数，并指定仓库名称。
更多关于 CLI 参数的信息，请参阅 wiki。

如果你想使用微调过的模型，可以手动将模型放置在 models/Whisper/ 目录下，对应相应的实现。

此外，如果你在“模型”下拉菜单中输入 HuggingFace 仓库 ID（例如 deepdml/faster-whisper-large-v3-turbo-ct2），它将会自动下载到该目录中。

REST API

如果你有兴趣将此应用部署为 REST API，请查看 /backend。

待办事项🗓

• 添加 DeepL API 翻译
• 添加 NLLB 模型翻译
• 集成 faster-whisper
• 集成 insanely-fast-whisper
• 集成 whisperX（仅说话人分离部分）
• 添加使用 UVR 进行背景音乐分离的预处理
• 添加 FastAPI 脚本
• 添加 CLI 使用方法
• 支持麦克风实时转录

翻译 🌐

任何将语言翻译成 translation.yaml 的 PR 都将不胜感激！

Whisper-WebUI 快速上手指南

环境准备

系统要求

• 操作系统：Windows / Linux / macOS
• Python 版本：3.10 ~ 3.12（推荐使用 Python 3.11）
• FFmpeg：用于音频处理
• Git：用于代码克隆

前置依赖

• 安装 Git：https://git-scm.com/downloads
• 安装 Python：https://www.python.org/downloads/（建议使用 Python 官方镜像 或 清华源 安装）
• 安装 FFmpeg：https://ffmpeg.org/download.html（安装后需将 FFmpeg/bin 添加到系统 PATH）

注意：若使用 NVIDIA GPU，需安装 CUDA 12.8。若使用 Intel GPU 或其他 CUDA 版本，请根据 requirements.txt 中的 --extra-index-url 进行调整。

---

安装步骤

1. 克隆项目仓库

git clone https://github.com/jhj0517/Whisper-WebUI.git

2. 安装依赖（推荐使用国内镜像加速）

pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

3. 启动 WebUI

python app.py

或者使用脚本启动（根据操作系统选择）：

• Windows: start-webui.bat
• Linux/macOS: start-webui.sh

---

基本使用

1. 访问本地服务 打开浏览器，访问 http://localhost:7860，进入 WebUI 界面。

2. 上传音频文件或输入 YouTube 链接

• 选择音频来源（文件、YouTube、麦克风）
• 选择模型（默认为 SYSTRAN/faster-whisper）
• 选择输出格式（SRT、WebVTT、txt）

3. 开始转录 点击“Transcribe”按钮，等待任务完成。

4. 下载结果 转录完成后，可下载生成的字幕文件。