️🎞️ Subs AI 🎞️

基于 OpenAI 的 Whisper 及其变体的字幕生成工具（Web 界面 + CLI + Python 包）

• Subs AI
• 功能
• 安装
• 使用
  • Web 界面
  • 命令行界面
  • 通过 Python 使用
  • 示例
• Docker
• 注意事项
• 贡献
• 许可证

功能

• 支持的模型

  • openai/whisper

    • Whisper 是一个通用的语音识别模型。它基于大量多样化的音频数据进行训练，同时也是一个多任务模型，能够执行多语言语音识别、语音翻译以及语言识别。

  • linto-ai/whisper-timestamped

    • 多语言自动语音识别，提供词级时间戳和置信度。

  • ggerganov/whisper.cpp（使用 absadiki/pywhispercpp）

    • 高性能的 OpenAI Whisper 自动语音识别（ASR）模型推理。

      • 纯 C/C++ 实现，无依赖。
      • 在 CPU 上运行。

  • guillaumekln/faster-whisper

    • faster-whisper 是使用 CTranslate2 重新实现的 OpenAI Whisper 模型，CTranslate2 是一个用于 Transformer 模型的快速推理引擎。

      在相同精度下，该实现比 openai/whisper 快高达 4 倍，且占用更少的内存。通过在 CPU 和 GPU 上进行 8 位量化，效率还可以进一步提升。

  • m-bain/whisperX

    • 快速自动语音识别（使用 large-v2 可达 70 倍实时速度），具备词级时间戳和说话人分离功能。

      • ⚡️ 使用 whisper large-v2 进行批处理推理，实现 70 倍实时转录。
      • 🪶 后端采用 faster-whisper，large-v2 模型在 beam_size=5 的情况下仅需不到 8GB 显存。
      • 🎯 利用 wav2vec2 对齐技术，获得精确的词级时间戳。
      • 👯‍♂️ 使用来自 pyannote-audio 的说话人分离技术进行多说话人 ASR（提供说话人 ID 标签）。
      • 🗣️ VAD 预处理，减少幻觉现象，并在不降低 WER 的情况下进行批处理。

  • jianfch/stable-ts

    • 为 Whisper 稳定时间戳：该库修改了 Whisper，以生成更可靠的时间戳，并扩展其功能。

  • Hugging Face Transformers

    • Hugging Face 实现的 Whisper。也可以使用 Hugging Face 中心仓库中的任何预训练语音识别模型。

  • API/openai/whisper

    • OpenAI Whisper 通过其 API 调用。或者任何其他类似 OpenAI 的 Whisper API（例如 speaches.ai）。

• Web 界面

  • 完全离线，无需第三方服务。
  • 支持 Linux、Mac 和 Windows。
  • 轻量级，易于使用。
  • 支持字幕编辑。
  • 集成工具：
    • 使用 xhluca/dl-translate 进行翻译：
      • 支持的模型：
        • facebook/nllb-200-distilled-600M
        • facebook/m2m100_418M
        • facebook/m2m100_1.2B
        • facebook/mbart-large-50-many-to-many-mmt
    • 使用 smacke/ffsubsync 自动同步。
    • 将字幕合并到视频中。

• 命令行界面

  • 适用于简单或批量处理。

• Python 包

  • 如果您想开发自己的脚本。

• 由于 tkarabela/pysubs2 的支持，支持多种字幕格式。

  • SubRip
  • WebVTT
  • substation alpha
  • MicroDVD
  • MPL2
  • TMP

• 支持音频和视频文件。

安装

• 安装 ffmpeg

摘自官方 openai/whisper 安装说明

您的系统需要安装命令行工具 ffmpeg，大多数包管理器都可以获取：

# 在 Ubuntu 或 Debian 上
sudo apt update && sudo apt install ffmpeg

# 在 Arch Linux 上
sudo pacman -S ffmpeg

# 在 MacOS 上使用 Homebrew (https://brew.sh/)
brew install ffmpeg

# 在 Windows 上使用 Chocolatey (https://chocolatey.org/)
choco install ffmpeg

# 在 Windows 上使用 Scoop (https://scoop.sh/)
scoop install ffmpeg

您可能还需要安装 rust，如果 tokenizers 没有为您的平台提供预编译的 wheel 文件。如果您在执行上述 pip install 命令时遇到安装错误，请参考 入门页面 来安装 Rust 开发环境。此外，您可能还需要配置 PATH 环境变量，例如 export PATH="$HOME/.cargo/bin:$PATH"。如果安装失败并提示“没有名为 'setuptools_rust' 的模块”，则需要安装 setuptools_rust，例如：

pip install setuptools-rust

• 安装完 ffmpeg 后，安装 subsai。

pip install git+https://github.com/absadiki/subsai

[!注意]

• 建议使用 Python 3.10 或 3.11。3.12 或更高版本可能存在兼容性问题。
• 如果在使用 subsai 时，torch 无法检测到您的 GPU 设备，而您确实拥有受支持的 GPU，则可能是 pip 安装了 CPU 版本的 torch。您可以按照 PyTorch 的本地入门指南安装支持 CUDA 的 PyTorch 版本。 更多信息请参阅 https://github.com/absadiki/subsai/issues/162。

使用

Web 界面

要使用 Web 界面，在终端中运行以下命令：

subsai-webui

随后将在您的默认浏览器中打开网页，否则请访问命令输出提供的链接。

您也可以使用 Docker 运行 Web 界面。

命令行界面

用法: subsai [-h] [--version] [-m MODEL] [-mc MODEL_CONFIGS] [-f FORMAT] [-df DESTINATION_FOLDER] [-tm TRANSLATION_MODEL]
              [-tc TRANSLATION_CONFIGS] [-tsl TRANSLATION_SOURCE_LANG] [-ttl TRANSLATION_TARGET_LANG]
              media_file [media_file ...]

位置参数:
  media_file            媒体文件的路径、文件列表，或包含路径的文本文件，用于批量处理。

选项:
  -h, --help            显示此帮助信息并退出
  --version             显示程序版本号并退出
  -m MODEL, --model MODEL
                        转录 AI 模型。可用模型：['openai/whisper', 'linto-ai/whisper-timestamped']
  -mc MODEL_CONFIGS, --model-configs MODEL_CONFIGS
                        JSON 配置（JSON 文件路径或直接字符串）
  -f FORMAT, --format FORMAT, --subtitles-format FORMAT
                        输出字幕格式，可用格式：['.srt', '.ass', '.ssa', '.sub', '.json', '.txt', '.vtt']
  -df DESTINATION_FOLDER, --destination-folder DESTINATION_FOLDER
                        字幕将被存储的目录，默认与媒体文件所在的目录相同。
  -tm TRANSLATION_MODEL, --translation-model TRANSLATION_MODEL
                        使用 AI 模型翻译字幕，可用模型：['facebook/m2m100_418M', 'facebook/m2m100_1.2B',
                        'facebook/mbart-large-50-many-to-many-mmt']
  -tc TRANSLATION_CONFIGS, --translation-configs TRANSLATION_CONFIGS
                        JSON 配置（JSON 文件路径或直接字符串）
  -tsl TRANSLATION_SOURCE_LANG, --translation-source-lang TRANSLATION_SOURCE_LANG
                        字幕的源语言
  -ttl TRANSLATION_TARGET_LANG, --translation-target-lang TRANSLATION_TARGET_LANG
                        字幕的目标语言

简单使用示例

subsai ./assets/test1.mp4 --model openai/whisper --model-configs '{"model_type": "small"}' --format srt

注意：对于 Windows CMD，您需要使用以下命令： subsai ./assets/test1.mp4 --model openai/whisper --model-configs "{\"model_type\": \"small\"}" --format srt

您也可以提供一个简单的文本文件来进行批量处理 (每行应包含单个媒体文件的绝对路径)

subsai media.txt --model openai/whisper --format srt

从 Python 中调用

安装步骤：

1. git clone https://github.com/absadiki/subsai
2. cd subsai
3. uv pip install -e .

注意：若只需最小化安装或在安装依赖时遇到问题，可在 requirements.txt 文件中注释掉您不会使用的后端依赖项。

from subsai import SubsAI

file = './assets/test1.mp4'
subs_ai = SubsAI()
model = subs_ai.create_model('openai/whisper', {'model_type': 'base'})
subs = subs_ai.transcribe(file, model)
subs.save('test1.srt')

如需更高级的用法，请参阅文档。

示例

简单的示例可在 examples 文件夹中找到。

• VAD 示例：使用 silero-vad 处理长音频文件。

  

• 翻译示例：翻译已有的字幕文件。

  

Docker

• 请确保已安装 docker。

• 预构建镜像

  1. docker pull absadiki/subsai:main
  2. docker run --gpus=all -p 8501:8501 -v /path/to/your/media_files/folder:/media_files absadiki/subsai:main

• 在本地构建镜像

  1. 克隆仓库并进入目录
  2. docker compose build
  3. docker compose run -p 8501:8501 -v /path/to/your/media_files/folder:/media_files subsai-webui # subsai-webui-cpu 仅限 CPU

• 您可以通过挂载的 media_files 文件夹访问您的媒体文件。

注意事项

• 如果您拥有 NVIDIA 显卡，可能需要安装 CUDA 才能使用 GPU 功能。
• 支持 PyTorch 的 AMD 显卡也应能正常工作。#67
• 终端会显示转录时间，请在运行 Web UI 时留意。
• 如果不喜欢深色模式的 Web UI，可以在“设置 > 主题 > 浅色”中切换为浅色模式。

贡献

如果您发现任何错误、建议或反馈，请提交一个问题进行讨论。

许可证

本项目采用 GNU 通用公共许可证第 3 版或更高版本授权。您可以在这些许可条件下修改或重新分发本项目（更多信息请参阅 LICENSE）。

Subs AI 快速上手指南

Subs AI 是一款基于 OpenAI Whisper 及其变体的字幕生成工具，提供 Web 界面、命令行（CLI）和 Python 包三种使用方式，支持离线运行、多模型选择及字幕翻译功能。

环境准备

系统要求

• 操作系统：Linux、macOS 或 Windows
• Python 版本：推荐 Python 3.10 或 3.11（3.12 及以上版本可能存在兼容性问题）
• 硬件加速（可选）：
  • NVIDIA 显卡：需安装 CUDA 以启用 GPU 加速。
  • AMD 显卡：兼容 PyTorch 的 AMD GPU 亦可使用。

前置依赖

必须安装 FFmpeg 命令行工具。

安装命令：

# Ubuntu / Debian
sudo apt update && sudo apt install ffmpeg

# Arch Linux
sudo pacman -S ffmpeg

# macOS (使用 Homebrew)
brew install ffmpeg

# Windows (使用 Chocolatey)
choco install ffmpeg

# Windows (使用 Scoop)
scoop install ffmpeg

注意：若安装过程中出现 setuptools_rust 相关错误，请先安装 Rust 环境或执行 pip install setuptools-rust。若检测到 GPU 但无法使用，可能是安装了 CPU 版 PyTorch，请参考 PyTorch 官网 重新安装带 CUDA 支持的版本。

安装步骤

推荐使用 pip 直接从 GitHub 安装最新版：

pip install git+https://github.com/absadiki/subsai

国内加速建议：若下载速度较慢，可配置国内镜像源（如清华源）：

pip install git+https://github.com/absadiki/subsai -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Subs AI 支持三种主要使用方式，您可根据需求选择。

1. Web 界面 (最简单直观)

启动本地 Web 服务，通过浏览器操作：

subsai-webui

运行后会自动在默认浏览器打开页面（或访问终端显示的链接）。支持上传音视频文件、选择模型、生成字幕、翻译及调整时间轴，完全离线运行。

2. 命令行 (CLI)

适合批量处理或脚本集成。

基础示例（生成 SRT 字幕）：

subsai ./assets/test1.mp4 --model openai/whisper --model-configs '{"model_type": "small"}' --format srt

Windows CMD 用户注意：双引号需要转义：

subsai ./assets/test1.mp4 --model openai/whisper --model-configs "{\"model_type\": \"small\"}" --format srt

批量处理（读取包含文件路径的文本文件）：

subsai media.txt --model openai/whisper --format srt

3. Python 开发调用

适合嵌入自定义工作流。

安装开发版：

git clone https://github.com/absadiki/subsai
cd subsai
uv pip install -e .

代码示例：

from subsai import SubsAI

file = './assets/test1.mp4'
subs_ai = SubsAI()
# 创建模型，可选择 'openai/whisper', 'faster-whisper', 'whisperX' 等
model = subs_ai.create_model('openai/whisper', {'model_type': 'base'})
# 转录音频
subs = subs_ai.transcribe(file, model)
# 保存字幕
subs.save('test1.srt')

支持的功能亮点

• 多模型支持：包括 openai/whisper, faster-whisper (速度快), whisperX (带说话人区分), whisper-timestamped 等。
• 字幕格式：支持 .srt, .vtt, .ass, .json 等多种格式。
• 内置翻译：集成 NLLB 和 M2M100 模型，可直接将字幕翻译为目标语言。
• Docker 支持：可通过 Docker 一键部署 Web UI。