该项目是 whisper.cpp 实现的 Windows 移植版。
而 whisper.cpp 本身则是对 OpenAI 的 Whisper 自动语音识别（ASR）模型的 C++ 移植。

快速入门指南

从本仓库的“Releases”部分下载 WhisperDesktop.zip，解压 ZIP 文件后运行 WhisperDesktop.exe。

在第一个界面上，程序会提示您下载一个模型。
我推荐使用 ggml-medium.bin（大小为 1.42GB），因为我主要就是用这个模型测试过该软件。

下一个界面允许您转录音频文件。

还有一个界面可以捕获并实时转录或翻译来自麦克风的音频。

功能特性

• 基于 DirectCompute 的厂商无关 GPGPU；该技术也被称为“Direct3D 11 中的计算着色器”。

• 纯 C++ 实现，除操作系统必备组件外无其他运行时依赖。

• 比 OpenAI 的原生实现快得多。
  在我配备 GeForce 1080Ti 显卡的台式机上， 使用 medium 模型处理一段 3 分 24 秒的语音 时，PyTorch 结合 CUDA 需要 45 秒，而我的实现结合 DirectCompute 仅需 19 秒。
  有趣的是：前者需要 9.63 GB 的运行时依赖，而后者仅需 431 KB 的 Whisper.dll。

• 混合 F16/F32 精度：Windows 要求支持 D3D 10.0 版本及更高版本中的 R16_FLOAT 缓冲区。

• 内置性能剖析器，可测量各个计算着色器的执行时间。

• 内存占用低。

• 使用 Media Foundation 处理音频，支持大多数音频和视频格式（Ogg Vorbis 是少数例外）， 以及大多数可在 Windows 上使用的音频采集设备（某些专业设备除外，它们仅支持 ASIO API）。

• 音频采集中的语音活动检测。
  该实现基于 Mohammad Moattar 和 Mahdi Homayoonpoor 于 2009 年发表的论文《一种简单但高效的实时语音活动检测算法》。

• 易于使用的 COM 风格 API。C# 封装库已在 nuget 上发布：WhisperNet
  版本 1.10 引入了对 PowerShell 5.1 的脚本支持，即预装于 Windows 上的老版“Windows PowerShell”。

• 提供预编译的二进制文件。

目前仅支持 64 位 Windows 系统。
理论上应在 Windows 8.1 或更高版本上运行，但我仅在 Windows 10 上进行了测试。
该库需要支持 Direct3D 11.0 的显卡，而在 2023 年，这几乎等同于任何独立显卡。 最后一款不支持 D3D 11.0 的显卡是 Intel Sandy Bridge 系列，发布于 2011 年。

在 CPU 方面，该库需要支持 AVX1 和 F16C 指令集。

开发者指南

构建说明

1. 克隆本仓库。

2. 在 Visual Studio 2022 中打开 WhisperCpp.sln。我使用的是免费的社区版，版本号为 17.4.4。

3. 切换到 Release 配置。

4. 构建并运行解决方案中 Tools 子文件夹下的 CompressShaders C# 项目。 要运行该项目，右键点击项目，在 Visual Studio 中选择“设为启动项目”，然后在主菜单中选择“调试/开始执行（不调试）”。 成功完成后，您将看到一个控制台窗口，显示类似以下内容：
   压缩了 46 个计算着色器，从 123.5 KB 减少到 18.0 KB

5. 构建 Whisper 项目以生成原生 DLL，或构建 WhisperNet 以获取 C# 封装库和 nuget 包，亦或编译示例程序。

其他说明

如果您使用 Visual C++ 2022 或更高版本开发软件，并计划分发该库，则可能需要以 .msm 合并模块的形式重新分发 Visual C++ 运行时 DLL， 或者使用 vc_redist.x64.exe 二进制文件。
如果是这样，请右键单击 Whisper 项目，选择“属性”，进入“C/C++”->“代码生成”， 将“运行库”设置从 多线程 (/MT) 更改为 多线程 DLL (/MD)， 然后重新构建：生成的二进制文件将会更小。

该库集成了 GPU 调试工具 RenderDoc。
当您通过 RenderDoc 启动程序时，按住 F12 键即可捕获计算调用。
如果需要调试 HLSL 着色器，建议使用调试版 DLL，其中包含调试版着色器，这样在调试器中可以获得更好的用户体验。

本仓库还包含许多仅用于开发的代码： 例如几种替代模型的实现、部分计算着色器的 FP64 兼容版本、调试跟踪功能以及用于比较跟踪日志的工具等。
这些内容通常通过预处理器宏或 constexpr 标志进行禁用，我认为保留在这里并无问题。

性能说明

这台电脑上可用的显卡种类有限。
具体来说，我已针对以下硬件进行了优化：nVidia 1080Ti、Ryzen 7 5700G 内置的 Radeon Vega 8，以及 Ryzen 5 5600U 内置的 Radeon Vega 7。
汇总信息请见此处。

对于大型模型，nVidia 显卡的相对速度为 5.8；对于中型模型，则为 10.6。
而 AMD Ryzen 5 5600U 的 APU 在处理中型模型时，相对速度约为 2.2。虽然不算出色，但仍然远超实时速度。

我还测试了 nVidia 1650：其速度虽不及 1080Ti，但仍相当不错，远超实时。
此外，我也在 Core i7-3612QM 内置的 Intel HD Graphics 4000 上进行了测试，结果中型模型的相对速度为 0.14，小型模型为 0.44。 这一速度远低于实时，不过我很高兴地发现，我的软件甚至能在 2012 年推出的集成移动显卡上运行。

目前尚不确定独立 AMD 显卡或集成 Intel 显卡上的性能是否理想，因为我并未专门为此进行优化。
理想情况下，可能需要对几款最耗时的计算着色器——mulMatTiled.hlsl 和 mulMatByRowTiled.hlsl——进行略微不同的编译。
此外，或许还需要调整 Whisper/D3D/device.h 头文件中的 useReshapedMatMul() 参数。

我不太清楚如何准确衡量瓶颈所在，但直觉告诉我，问题主要在于内存带宽，而非计算能力。
Hacker News 上有人 测试 了 3060Ti，该版本配备了 GDDR6 显存。 与 1080Ti 相比，这款显卡的 FP32 浮点运算能力提升了 1.3 倍，但显存带宽却下降至 0.92 倍。结果显示，应用程序在 3060Ti 上的运行速度慢了约 10%。

进一步优化建议

我仅用了几天时间来优化这些着色器的性能。
实际上还有很大的提升空间，以下是一些可能的方向：

• 较新的显卡，如 Radeon Vega 或 nVidia 1650，其 FP16 性能通常高于 FP32，而我的计算着色器目前仍只使用 FP32 数据类型。
  精度减半，乐趣加倍

• 当前版本中，FP16 张量通过着色器资源视图将加载值上转换为 FP32，并通过无序访问视图将存储值下转换为 FP16。
  或许可以改用 字节地址缓冲区， 直接加载和存储完整的 4 字节数据，然后在 HLSL 中利用 f16tof32 和 f32tof16 内建函数进行上下转换。

• 目前所有着色器都是离线编译的，Whisper.dll 文件中包含的是 DXBC 字节码。
  HLSL 编译器 D3DCompiler_47.dll 是操作系统的一部分，且编译速度很快。 对于那些计算密集型着色器，或许更适合分发 HLSL 源代码而不是 DXBC 字节码，并在启动时根据运行环境的特定参数（如 D3D_SHADER_MACRO）进行即时编译。

• 将整个项目从 D3D11 升级到 D3D12 也是一个不错的方向。
  新 API 虽然使用起来更复杂，但提供了 D3D11 所不具备的一些潜在有用特性： wave 内建函数 以及 显式 FP16 支持。

缺失功能

尚未实现自动语言检测功能。

当前版本在实时音频捕获方面存在较高的延迟。
具体而言，根据语音检测的情况，延迟大约为 5 到 10 秒。
至少在我的测试中，当输入的音频片段过短时，模型表现并不理想。
为了改善用户体验，我暂时提高了延迟，但这并非最佳解决方案。

结语

在我看来，这是一个无偿的业余项目，我在 2022-23 年冬季假期期间完成了它。
代码中可能存在一些错误。
本软件按“原样”提供，不提供任何形式的担保。

感谢 Georgi Gerganov 开发的 whisper.cpp 实现，以及其中以 GGML 二进制格式存储的模型。
我并不擅长 Python 编程，也对机器学习生态系统知之甚少。
如果没有一个优秀的 C++ 参考实现作为对照，我根本不会开始这个项目。

whisper.cpp 项目中有一个示例，使用 同样的 GGML 实现来运行另一款 OpenAI 的模型——GPT-2。
借助本项目中已实现的计算着色器及相关基础设施，支持该机器学习模型应该并不困难。

如果您觉得这个项目有所帮助，恳请您考虑向 “Come Back Alive” 基金会 捐款。

Whisper (Windows 桌面版) 快速上手指南

本项目是 whisper.cpp 的 Windows 移植版本，底层基于 OpenAI 的 Whisper 自动语音识别 (ASR) 模型。它利用 DirectCompute (Direct3D 11) 进行 GPU 加速，无需庞大的 Python 运行时依赖，在支持的硬件上比原版实现更快且内存占用更低。

环境准备

系统要求

• 操作系统：64 位 Windows 8.1 或更高版本（推荐 Windows 10/11）。
• GPU 要求：支持 Direct3D 11.0 的显卡（2011 年后的主流独立显卡及大部分核显均支持，如 NVIDIA GeForce 10 系列及以上、AMD Radeon Vega 系列等）。
• CPU 要求：处理器需支持 AVX1 和 F16C 指令集。

前置依赖

• 无需安装额外运行时：该工具为纯 C++ 实现，除操作系统核心组件外无其他运行时依赖（如不需要安装 Python、PyTorch 或 CUDA Toolkit）。
• 可选开发环境：若仅需使用成品软件，无需安装 Visual Studio；若需二次开发或编译，需安装 Visual Studio 2022 (Community 版即可)。

安装步骤

本项目提供预编译的二进制文件，普通用户推荐直接使用发布包。

1. 下载发布包 访问本仓库的 "Releases" 页面，下载最新的 WhisperDesktop.zip 文件。

2. 解压文件 将下载的 ZIP 文件解压到任意本地目录（建议路径不包含中文字符或空格）。

3. 运行程序 双击运行目录中的 WhisperDesktop.exe 启动图形界面。

开发者注意：如需自行编译，请克隆仓库并在 VS2022 中打开 WhisperCpp.sln，先构建并运行 Tools/CompressShaders 项目，再构建 Whisper 或 WhisperNet 项目。

基本使用

启动 WhisperDesktop.exe 后，请按以下步骤操作：

1. 下载模型

首次启动时，程序会提示下载模型文件。

• 推荐模型：选择 ggml-medium.bin (大小约 1.42GB)。作者在测试中主要使用该模型，能在速度和精度间取得良好平衡。
• 等待下载完成后，模型将自动加载。

2. 转录音频文件

• 在主界面选择 "Transcribe" (转录) 选项卡。
• 点击按钮选择本地的音频或视频文件（支持大多数 Media Foundation 兼容格式，如 MP3, WAV, MP4 等，注：不支持 Ogg Vorbis）。
• 程序将调用 GPU 开始转录，完成后即可在界面查看文本结果。

3. 实时麦克风录音与转录/翻译

• 切换到 "Capture" (捕获) 选项卡。
• 选择可用的麦克风设备。
• 程序内置了语音活动检测 (VAD)，会自动识别说话内容并实时转录或翻译成文本。
  • 注意：实时模式目前存在约 5-10 秒的延迟，这是为了确保模型能处理足够长的音频片段以保证准确率。

---

本工具由社区维护，作为“按原样”提供的开源项目。如有性能瓶颈，通常受限于显存带宽而非计算能力。