使用 Whisper 和 TFLite 的离线语音识别

此仓库提供了两款利用 OpenAI Whisper 语音转文本模型的 Android 应用。其中一款应用使用 TensorFlow Lite Java API，便于 Java 集成；另一款则采用 TensorFlow Lite Native API，以获得更高的性能。此外，还包含用于生成模型的 Python 脚本以及预构建的 APK 文件，方便直接部署。

📂 文件夹结构

• whisper_java:
  一个使用 TensorFlow Lite Java API 进行 Whisper 模型推理的 Android 应用，非常适合集成 TensorFlow Lite 的 Java 开发者。

• whisper_native:
  一个使用 TensorFlow Lite Native API 进行模型推理的 Android 应用，为偏好原生代码的开发者提供优化的性能。

• models_and_scripts:
  包含将 Whisper 模型转换为 TensorFlow Lite 格式的 Python 脚本，并附带预生成的 TFLite 模型。

  • generate_model.py: 用于生成 TFLite 模型的脚本。
  • generated_model: 存放优化后的 TFLite 模型的目录。

• demo_and_apk:
  包含可直接安装在 Android 设备上的预构建 APK 文件。

🚀 使用方法

• 运行 Whisper Java 应用程序

  1. 进入 whisper_java 文件夹。
  2. 在 Android Studio 中打开项目。
  3. 构建并在 Android 设备或模拟器上运行。

• 运行 Whisper Native 应用程序

  • 对于 whisper_native 应用，步骤与上述类似。

Whisper ASR 集成指南

本指南介绍了如何在 Android 应用中集成 Whisper 和 Recorder 类，实现音频录制与语音识别功能。

以下是分别使用 Whisper 和 Recorder 的代码片段：

Whisper（语音识别）

初始化与配置：

// 初始化 Whisper
Whisper mWhisper = new Whisper(this); // 创建 Whisper 实例

// 加载 Whisper 的模型和词汇表
String modelPath = "path/to/whisper-tiny.tflite"; // 提供模型文件路径
String vocabPath = "path/to/filters_vocab_multilingual.bin"; // 提供词汇表文件路径
mWhisper.loadModel(modelPath, vocabPath, true); // 加载模型并设置多语言模式

// 设置监听器以处理 Whisper 的状态更新和识别结果
mWhisper.setListener(new IWhisperListener() {
    @Override
    public void onUpdateReceived(String message) {
        // 处理 Whisper 状态更新
    }

    @Override
    public void onResultReceived(String result) {
        // 处理转录结果
    }
});

转录：

// 设置要转录的音频文件路径。音频格式应为 16K、单声道、16 位
String waveFilePath = "path/to/your_audio_file.wav"; // 提供音频文件路径
mWhisper.setFilePath(waveFilePath); // 设置音频文件路径

// 开始转录
mWhisper.setAction(Whisper.ACTION_TRANSCRIBE); // 设置操作为转录
mWhisper.start(); // 启动转录

// 执行其他操作
// 在此处添加您的额外代码

// 停止转录
mWhisper.stop(); // 停止转录

Recorder（音频录制）

初始化与配置：

// 初始化 Recorder
Recorder mRecorder = new Recorder(this); // 创建 Recorder 实例

// 设置监听器以处理 Recorder 的状态更新和音频数据
mRecorder.setListener(new IRecorderListener() {
    @Override
    public void onUpdateReceived(String message) {
        // 处理 Recorder 状态更新
    }

    @Override
    public void onDataReceived(float[] samples) {
        // 处理录制过程中接收到的音频数据
        // 您可以将这些数据通过 writeBuffer() 转发给 Whisper 进行实时识别
        // mWhisper.writeBuffer(samples);
    }
});

录制：

// 检查并请求录音权限
checkRecordPermission(); // 检查并请求录音权限

// 设置录音的音频文件路径。录音将以 16K、单声道、16 位格式进行
String waveFilePath = "path/to/your_audio_file.wav"; // 提供音频文件路径
mRecorder.setFilePath(waveFilePath); // 设置音频文件路径

// 开始录音
mRecorder.start(); // 开始录音

// 执行其他操作
// 在此处添加您的额外代码

// 停止录音
mRecorder.stop(); // 停止录音

请根据您的具体应用场景调整这些代码片段，提供正确的文件路径，并在应用程序中妥善处理异常情况。

注意：在使用 Recorder 类时，请确保您的应用程序具备必要的权限、错误处理机制以及文件路径管理功能。

演示视频

实时转录

重要提示

Whisper ASR 是一款强大的语音转文字工具。然而，请注意，在 Android 应用中处理音频数据和转录内容时，可能需要仔细同步并做好错误处理，以确保流畅的用户体验。

祝您使用 Whisper ASR Android 应用提升语音识别能力！

💖 支持本项目

维护该项目需要投入大量时间和精力。如果您觉得它很有用，并希望支持其开发，可以通过 PayPal 进行捐助：

🔹 PayPal 直接链接：https://www.paypal.com/vilassn

如有任何疑问或商务合作事宜，欢迎随时联系： 📧 邮箱：vilassninawe@gmail.com

感谢您的支持！🚀

致谢

本项目使用了以下开源实现：

• Niranjan Yadla (2022)
  Whisper TFLite: OpenAI Whisper 模型的边缘设备移植版
  https://github.com/nyadla-sys/whisper.tflite

@misc{nyadla-sys,
  author = {Niranjan Yadla},
  title = {{Whisper TFLite: OpenAI Whisper 模型的边缘设备移植版}},
  year = 2022,
  howpublished = {GitHub 仓库},
  url = {https://github.com/nyadla-sys/whisper.tflite},
  note = {OpenAI Whisper 的原始 TFLite 实现，适用于设备端自动语音识别}
}

whisper_android 快速上手指南

本指南帮助中国开发者快速在 Android 设备上部署和使用基于 OpenAI Whisper 模型的离线语音识别工具。该项目提供两种实现方案：基于 Java API（易于集成）和基于 Native API（性能更优）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Windows, macOS 或 Linux
• IDE: Android Studio (推荐最新稳定版)
• JDK: Java Development Kit 11 或更高版本
• Android SDK: 已配置好 SDK Tools 和 Build Tools
• 设备: Android 真机或模拟器（建议真机以获得最佳音频处理性能）
• 前置依赖:
  • 无需额外安装 Python 环境即可运行示例 App（如需自定义转换模型，需安装 Python 及 TensorFlow 相关库）。
  • 项目已包含预生成的 TFLite 模型和词汇表文件。

提示：国内开发者若在下载 Gradle 依赖时遇到困难，建议在项目级 build.gradle 或 settings.gradle 中配置阿里云或腾讯云镜像源以加速构建。

安装步骤

您可以选择直接安装预编译包或通过源码构建。

方式一：直接安装预编译 APK（最快）

1. 进入项目根目录下的 demo_and_apk 文件夹。
2. 根据您的性能需求选择 APK 文件：
   • whisper_java.apk: 适合大多数场景，集成简单。
   • whisper_native.apk: 适合对推理速度有更高要求的场景。
3. 将 APK 文件传输至 Android 设备并安装。
4. 授予应用“录音”权限后即可使用。

方式二：源码构建（适合二次开发）

1. 构建 Java 版本

# 进入 Java 实现目录
cd whisper_java

# 使用 Android Studio 打开当前目录，或在命令行执行：
./gradlew assembleDebug
# 生成的 APK 位于 build/outputs/apk/debug/

2. 构建 Native 版本

# 进入 Native 实现目录
cd whisper_native

# 使用 Android Studio 打开当前目录，或在命令行执行：
./gradlew assembleDebug

3. (可选) 自定义模型转换

如果需要转换其他尺寸的 Whisper 模型，可使用 models_and_scripts 目录下的脚本：

cd models_and_scripts
python generate_model.py --model_name tiny --output_dir generated_model

基本使用

本项目核心功能通过 Whisper 类（语音识别）和 Recorder 类（音频录制）实现。以下是集成到现有 Android 项目的最小化代码示例。

1. 初始化 Whisper 引擎

在 Activity 或 Service 中初始化模型。请确保 whisper-tiny.tflite 和 filters_vocab_multilingual.bin 文件已放置在 assets 或内部存储的正确路径。

// 初始化 Whisper 实例
Whisper mWhisper = new Whisper(this);

// 加载模型和词汇表
String modelPath = "path/to/whisper-tiny.tflite"; 
String vocabPath = "path/to/filters_vocab_multilingual.bin";
// 第三个参数 true 表示启用多语言模式
mWhisper.loadModel(modelPath, vocabPath, true);

// 设置监听器处理状态和结果
mWhisper.setListener(new IWhisperListener() {
    @Override
    public void onUpdateReceived(String message) {
        // 处理状态更新（如：加载中、就绪等）
        Log.d("Whisper", "Status: " + message);
    }

    @Override
    public void onResultReceived(String result) {
        // 处理最终转录文本
        Log.d("Whisper", "Transcription: " + result);
    }
});

2. 执行文件转录

如果您已有录音文件（格式要求：16kHz, 单声道，16bit WAV），可直接进行转录：

// 设置音频文件路径
String waveFilePath = "path/to/your_audio_file.wav";
mWhisper.setFilePath(waveFilePath);

// 设置动作为转录并开始
mWhisper.setAction(Whisper.ACTION_TRANSCRIBE);
mWhisper.start();

// ... 执行其他逻辑 ...

// 完成后停止
mWhisper.stop();

3. 实时录音与识别（进阶）

结合 Recorder 类实现实时流式识别：

// 初始化录音器
Recorder mRecorder = new Recorder(this);

mRecorder.setListener(new IRecorderListener() {
    @Override
    public void onUpdateReceived(String message) {
        // 处理录音状态
    }

    @Override
    public void onDataReceived(float[] samples) {
        // 将录音数据实时写入 Whisper 进行处理
        // 注意：需确保 Whisper 已初始化并处于监听状态
        if (mWhisper != null) {
            mWhisper.writeBuffer(samples);
        }
    }
});

// 请求权限并设置录音路径
checkRecordPermission(); 
String recordPath = "path/to/output_recording.wav";
mRecorder.setFilePath(recordPath);

// 开始录音
mRecorder.start();

// 停止录音
// mRecorder.stop();

注意：

1. 音频数据格式必须严格为 16kHz, Mono, 16-bit PCM，否则识别结果将为空或不准确。
2. 在实际应用中，请务必妥善处理文件路径权限（Android 10+ 需使用 Scoped Storage）及异常捕获。