目录

• 官方
• 模型变体
• 应用
• Web 应用
• 命令行工具
• 在线实验环境
• 软件包
• 文章
• 视频
• 社区
• 第三方 API
• 相关列表

官方

• 简介
• 源代码
• 白皮书

模型变体

• Whisper.cpp - Whisper 的 C++ 移植版本。
  • 多语言绑定
• WhisperX - 添加快速自动说话人识别功能，支持词级时间戳和说话人分离。
• faster-whisper - 使用 CTranslate2 对 Whisper 进行更高效的重新实现。
• Whisper JAX - 基于 JAX 的 Whisper 实现，在 TPU 上可获得高达 70 倍的速度提升。
• whisper-timestamped - 添加词级时间戳和置信度分数。
• whisper-openvino - 在 OpenVINO 上运行的 Whisper。
• whisper.tflite - 在 TensorFlow Lite 上运行的 Whisper。
• Whisper 变体 - Hugging Face 上的各种 Whisper 变体。
• Whisper-AT - 除了语音之外，还能识别非语音音频事件的 Whisper。

应用

• Aiko - iOS 和 macOS 平台上的音频转录应用。
• MacWhisper - macOS 平台上的音频转录应用。（免费增值模式）
• Whisper Memos - iOS 平台上的音频转录应用。（免费增值模式）
• FourYou - iOS 平台上的音频日记应用。
• Jojo Transcribe - macOS 平台上的音频转录应用。
• Buzz - macOS 平台上的音频转录与翻译应用。
• WhisperScript - macOS 平台上的音频转录应用。（免费增值模式 · Electron）
• Audio Podium - macOS 平台上的音频/视频管理应用。
• superwhisper - 全球范围内的 macOS 菜单栏音频转录应用。
• TypeWhisper - 支持全系统听写功能的本地语音转文字应用，适用于 macOS 和 Windows。
• Speech Note - Linux 平台上的音频转录应用。
• FridayGPT - 基于 OpenAI API 的 macOS 听写应用。
• EasyWhisper - Windows 和 macOS 平台上的音频转录及说话人分离应用。（免费增值模式）
• Audio Note - macOS 和 Windows 平台上实时音频转录的应用。（免费增值模式 · Electron）
• Whisper - Android 平台上的转录与翻译应用。（开源软件）
• VoiceInk - macOS 平台上的听写与转录应用。（开源软件）
• Ito AI - Mac 平台上的 AI 语音听写应用。（开源软件）
• OpenSuperWhisper - macOS 平台上的听写应用。（开源软件）
• Screenpipe - 24/7 本地屏幕与音频录制，并配备 AI 搜索功能。（开源软件）

Web 应用

托管

• bigWav - 音频转录与标注工具。
• Free Podcast Transcription - 在您的浏览器中本地运行。
• Gladia - 实时处理的转录服务。
• Whisper-Web - 使用 WebGPU 进行本地转录，优化了针对多种语言的微调模型。（开源软件）

自托管

• Subs AI - 字幕生成工具。
• WaaS - 提供 Whisper 的 GUI 和 API。
• writeout.ai - Laravel 应用程序，用于转录和翻译音频文件。
• Meeper - 会议及其他浏览器标签页的转录、摘要等功能。（Chrome 插件）

命令行工具

• yt-whisper - YouTube 字幕生成工具。
• phonix - 视频字幕生成工具。
• whisper-standalone-win - Whisper 和 Faster Whisper 的独立 Windows 可执行文件。
• whisper-ctranslate2 - 基于 CTranslate2 的 Whisper 命令行工具，与原版兼容。
• insanely-fast-whisper-cli - 通过多项优化，可实现接近 30 倍实时速度的转录。
• whisper-diarization - 自动语音识别与说话人分离功能。
• hns - 使用 faster-whisper 的设备端语音转文字 CLI，并具备自动复制到剪贴板的功能。

在线实验环境

• Hugging Faces - 在 Hugging Face 上运行的 Whisper 演示。（源码）
• Monster API - 在 Monster API 上运行的 Whisper 演示。（源码）
• Web Whisper - Pluja 提供的 Whisper 演示。（源码）
• YouTube 视频转录 - 在 Colab 上运行。

软件包

JavaScript

• use-whisper - React 钩子。

文章

• A.I. 模块化未来的低语 - 机器学习的未来在于可适应且易于使用的开源语音转文字程序。
• 如何运行 Whisper 语音识别模型 - 解释了如何安装和运行该模型，并提供了将 Whisper 与其他模型进行比较的性能分析。
• 使用 Flask 构建自己的语音转文字应用 - 该教程演示了 Whisper 的语音转文字模型，包括在 Gradient Notebook 中运行的示例，以及如何通过 Gradient Deployments 设置一个 Flask 应用的指南。
• 将播客转换为文本 - 使用 Python 和 Whisper API 进行语音转文字转录的教程，展示了 GPU 加速的更快转录速度及先进技术。

视频

• OpenAI 的 Whisper 太棒了！ - Whisper 简介。
• 如何实现比 Google 高级 API 更好的免费语音转文字转录 - 教程。
• 多语言 AI 语音识别实时应用 - 教程。

社区

• 讨论区
• Discord

第三方 API

使用 Whisper 的 API。

• Whisper+ - Whisper 模型的扩展版本，增加了说话人识别、自定义词汇表、摘要生成和章节划分等强大功能。
• Replicate - 在 Replicate 上运行 Whisper。

相关列表

• awesome-chatgpt - ChatGPT 资源。

Awesome Whisper 快速上手指南

Whisper 是由 OpenAI 开源的自动语音识别（ASR）系统，支持多语言转录和翻译。本指南基于官方及社区优化版本，帮助开发者快速部署和使用。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows (WSL2 推荐)
• Python 版本：3.8 - 3.11
• 硬件加速（可选但推荐）：NVIDIA GPU (需安装 CUDA) 或 Apple Silicon (M1/M2/M3)
• 前置依赖：
  • pip (Python 包管理工具)
  • ffmpeg (用于音频处理)

安装 ffmpeg：

• Ubuntu/Debian:

  sudo apt update && sudo apt install ffmpeg
  

• macOS (使用 Homebrew):

  brew install ffmpeg
  

• Windows: 下载构建包并添加到环境变量，或使用 winget：

  winget install Gyan.FFmpeg
  

国内加速提示：建议使用国内镜像源安装 Python 依赖，以提升下载速度。 bash pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

你可以选择安装官方原版，或者社区优化版（推荐用于生产环境，速度更快）。

方案 A：安装官方原版 (OpenAI Whisper)

最基础的版本，兼容性好。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple openai-whisper

方案 B：安装优化版 (faster-whisper) [推荐]

基于 CTranslate2 重写，推理速度更快，显存占用更低，且支持更多量化选项。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple faster-whisper

方案 C：本地运行 (无 Python 环境)

如果你不想配置 Python 环境，可以直接下载预编译的二进制文件：

• Windows: 访问 whisper-standalone-win 下载 exe 文件。
• C++ 实现: 克隆 whisper.cpp 并在本地编译，适合嵌入式或极低资源场景。

基本使用

以下示例展示如何使用命令行进行最简单的语音转文字操作。

1. 使用官方原版

加载模型并转录音频文件。首次运行时会自动下载模型权重（约几百 MB 到几 GB 不等）。

whisper audio_file.mp3 --model base --language zh

• --model: 可选 tiny, base, small, medium, large。模型越大越准确，但速度越慢。
• --language: 指定源语言（如 zh 代表中文），不指定则自动检测。
• 输出：默认生成同名的 .txt (文本) 和 .srt (字幕) 文件。

2. 使用 faster-whisper (Python API)

如果你需要在代码中集成，推荐使用 faster-whisper：

from faster_whisper import WhisperModel

# 初始化模型 (device 可选 "cuda", "cpu", "auto")
model = WhisperModel("base", device="cuda", compute_type="float16")

# 执行转录
segments, info = model.transcribe("audio_file.mp3", language="zh")

print("检测到的语言:", info.language)

for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

3. 进阶功能：带时间戳与说话人区分

如果需要词级时间戳或区分不同说话人，可以使用社区变体：

• 词级时间戳: 使用 whisper-timestamped

  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple whisper-timestamped
  whisper-timestamped audio_file.mp3 --model base
  

• 说话人区分 (Diarization): 使用 WhisperX

  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple whisperx
  # 具体用法需参考 WhisperX 文档，支持批量处理和说话人聚类
  

常用模型大小参考

模型	参数量	推荐场景	显存需求 (近似)
tiny	39M	快速测试，低配设备	< 1GB
base	74M	日常通用，平衡速度与精度	~1GB
small	244M	高精度需求	~2GB
medium	769M	专业转录	~5GB
large	1550M	最高精度，多语言混合	~10GB+