whisper.unity

这是 whisper.cpp 的 Unity3d 绑定。它提供了在本地设备上运行的 OpenAI Whisper 自动语音识别（ASR）模型的高性能推理能力。

本仓库附带“ggml-tiny.bin”模型权重。这是 Whisper 模型中最小、最快的版本，但与其他模型相比，其质量较差。如果需要更高质量的识别效果，请查看 其他模型权重。

主要特性：

• 多语言支持，涵盖约60种语言
• 可以将一种语言的语音转换为另一种语言的文本（例如，德语语音转为英语文本）
• 不同大小的模型可在速度和准确率之间提供权衡
• 无需互联网连接，即可在用户本地设备上运行
• 免费且开源，可用于商业项目

支持的平台：

• Windows (x86_64, 可选 Vulkan)
• MacOS (Intel 和 ARM, 可选 Metal)
• Linux (x86_64, 可选 Vulkan)
• iOS (设备和模拟器, 可选 Metal)
• Android (ARM64)
• WebGL (请参阅 此问题)
• VisionOS

示例

https://user-images.githubusercontent.com/6161335/231581911-446286fd-833e-40a2-94d0-df2911b22cad.mp4

使用“whisper-small.bin”模型对麦克风输入的英语、德语和俄语进行测试

https://user-images.githubusercontent.com/6161335/231584644-c220a647-028a-42df-9e61-5291aca3fba0.mp4

“whisper-tiny.bin”模型，在搭载 M1 Pro 芯片的 MacBook 上以实时速度的50倍运行

快速入门

克隆本仓库，并将其作为常规 Unity 项目打开。仓库自带示例和小型多语言模型权重。

或者，您也可以将本仓库作为 Unity 包 添加到您的项目中。通过以下 Git URL 将其添加到 Unity 包管理器：

https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

GPU 加速

Whisper 支持使用 Vulkan（Windows、Linux）或 Metal（macOS、iOS 和 visionOS）进行 GPU 加速，这可以在某些硬件上显著提升性能。

要启用 GPU 使用，请在场景中找到 WhisperManager 并启用“使用 GPU”切换。Whisper 将尝试使用 GPU 推理，如果硬件不支持，则会回退到 CPU 推理。

CUDA 已不再支持，现已被 Vulkan 取代。如果您需要 CUDA 支持，请使用较早的版本。

whisper.cpp 仅在 Apple7 GPU 或更新的 GPU 上支持 Metal（从 Apple M1 芯片开始）。在较旧的硬件上，推理将回退到 CPU。

下载其他模型权重

您可以尝试不同的 Whisper 模型权重。例如，使用仅支持英语的权重可以提高英语语音转文字的准确性，或者尝试更大尺寸的模型以获得更好的效果。

您可以从 这里 下载模型权重，只需将其放入您的 StreamingAssets 文件夹中即可。

有关模型差异和格式的更多信息，请参阅 whisper.cpp 的 README 和 OpenAI 的 README。

从源代码编译 C++ 库

本项目为所有支持的平台提供了预编译的 whisper.cpp 库。您可以通过 GitHub Actions 从源代码重新构建这些库。为此，先 fork 本仓库，然后进入 Actions => Build C++ => Run workflow。流水线完成后，您可以在工件选项卡中下载编译好的库。

如果您希望在本地机器上构建库：

1. 克隆原始的 whisper.cpp 仓库。
2. 切换到标签 v1.7.5。其他版本可能与此 Unity 绑定不兼容。
3. 在命令行中打开 whisper.unity 文件夹。
4. 如果您使用的是 Windows，请运行：

.\build_cpp.bat path\to\whisper

5. 如果您使用的是 MacOS，请运行：

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. 如果您使用的是 Linux，请运行：

sh build_cpp_linux.sh path/to/whisper

7. 如果编译成功，生成的库将自动更新到包中的 Plugins 文件夹。

Windows 版本只会生成 Windows 库，Linux 版本只会生成 Linux 库，而 MacOS 版本则会同时生成 macOS、iOS 和 Android 的库。

许可证

本项目采用 MIT 许可证授权。

它使用了 whisper.cpp 的编译库和模型权重，该库同样采用 MIT 许可证。

原始的 OpenAI Whisper 代码和权重也采用 MIT 许可证。

whisper.unity 快速上手指南

whisper.unity 是 OpenAI Whisper 自动语音识别（ASR）模型在 Unity3D 中的高性能本地推理绑定，基于 whisper.cpp 构建。支持多语言识别、翻译及离线运行。

环境准备

系统要求

本工具支持以下平台：

• Windows: x86_64 (可选 Vulkan GPU 加速)
• macOS: Intel 和 ARM (M1/M2/M3 等，可选 Metal GPU 加速)
• Linux: x86_64 (可选 Vulkan GPU 加速)
• iOS: 真机与模拟器 (可选 Metal 加速，需 Apple A7 及以上芯片)
• Android: ARM64
• visionOS: 支持
• 注：WebGL 暂不支持

前置依赖

• Unity 编辑器: 建议使用较新稳定版（具体版本参考仓库测试状态）。
• 网络环境: 首次使用需下载模型文件，若访问 HuggingFace 困难，建议配置代理或使用国内镜像站下载模型后手动放入项目。
• GPU 加速注意:
  • CUDA 已不再支持，Windows/Linux 用户请使用 Vulkan。
  • macOS/iOS 用户需确保硬件支持 Metal (Apple M1 芯片或更新)，否则将自动回退至 CPU 推理。

安装步骤

你可以选择以下两种方式之一将工具集成到项目中：

方式一：作为 Unity Package 安装（推荐）

1. 打开 Unity 项目，进入菜单栏 Window > Package Manager。
2. 点击左上角 + 号，选择 Add package from git URL...。
3. 输入以下地址并点击 Add：

   https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity
   

4. 等待导入完成，插件将自动包含示例场景和默认的 ggml-tiny.bin 模型。

方式二：克隆仓库作为普通项目

1. 克隆仓库到本地：

   git clone https://github.com/Macoron/whisper.unity.git
   

2. 使用 Unity Hub 打开该文件夹作为常规 Unity 项目。
3. 项目中已预置示例场景和基础模型权重。

基本使用

1. 准备模型文件

插件默认自带 ggml-tiny.bin（最小最快，但精度较低）。如需更高精度或多语言支持：

1. 从 HuggingFace whisper.cpp 页面 下载其他模型（如 ggml-small.bin, ggml-base.bin 等）。
2. 将下载的 .bin 文件放入 Unity 项目的 Assets/StreamingAssets 文件夹中。

2. 配置场景

1. 在 Unity 中打开示例场景（通常位于 Samples 或 Examples 文件夹）。
2. 在Hierarchy中找到名为 WhisperManager 的游戏对象。
3. 启用 GPU 加速（可选）：
   • 勾选 Use GPU 选项。
   • 系统将尝试使用 Vulkan (Win/Linux) 或 Metal (Mac/iOS) 进行推理；若硬件不支持，会自动降级为 CPU。

3. 运行测试

• 点击 Unity 编辑器的 Play 按钮。
• 允许麦克风权限。
• 对着麦克风说话，即可在控制台或 UI 上看到实时转录的文字结果。

4. 代码调用简述

在脚本中获取 WhisperManager 实例即可控制录音与转录逻辑。核心流程如下：

1. 初始化模型（自动加载 StreamingAssets 中的 .bin 文件）。
2. 开始录音。
3. 调用转录接口获取文本。

提示：默认模型仅用于快速测试。生产环境中请根据目标语言和设备性能选择合适的模型大小（Tiny, Base, Small, Medium, Large）。