仓库赞助商：Recall.ai - 桌面录制 API

如果您正在寻找托管的桌面录制 API，建议了解一下 Recall.ai，这是一个可以录制 Zoom、Google Meet、Microsoft Teams、线下会议等的 API。

LocalVocal - 语音 AI 助手 OBS 插件

介绍

LocalVocal 可以在您的本地机器上实时将语音转录为文本，并同时翻译成任何语言。✅ 无需 GPU，✅ 无云服务费用，✅ 无需网络连接，✅ 无停机时间！隐私优先 - 所有数据都保留在您的本地机器上。

该插件使用 OpenAI 的 Whisper 处理实时语音并预测转录结果，利用 ggerganov 的 Whisper.cpp 在 CPU 和 GPU 上高效运行模型。翻译功能使用 CTranslate2 实现。

使用方法

   
https://youtu.be/ns4cP9HFTxQ https://youtu.be/4llyfNi9FGs https://youtu.be/R04w02qG26o

使用 LocalVocal 可以做更多事情：

• 实时翻译
• 翻译任意应用的字幕
• 使用 DeepL 进行实时翻译
• 使用 OpenAI 进行实时翻译
• ChatGPT + 语音合成
• 推送字幕到 YouTube
• 本地 LLM 实时翻译
• 使用教程

当前功能：

• 实时将音频转录为 100 种语言的文字
• 使用文本源在屏幕上显示字幕
• 将字幕发送到 .txt 或 .srt 文件（供外部来源或视频播放使用），支持是否聚合选项
• 字幕与 OBS 录制时间戳同步
• 在 RTMP 流上发送字幕（例如 YouTube、Twitch）
• 使用您自己的 Whisper 模型（支持任何 GGML 格式）
• 实时将字幕翻译成主要语言（支持云提供商、Whisper 内置翻译以及 NMT 神经机器翻译模型）
• 支持 CUDA、hipBLAS（AMD ROCm）、Apple Arm64、AVX 和 SSE 加速
• 过滤或替换生成的字幕中的任何部分
• 部分转录，实现流式字幕体验
• 来自 HuggingFace 的数百个针对数十种语言微调的 Whisper 模型

下载

请查看最新版本获取下载和安装说明。

可用版本

LocalVocal 提供多个版本以满足不同的硬件配置和操作系统需求。以下是您可以下载的不同版本的简要说明：

• Windows（请确保已安装最新的 MSVC 运行时）
  • generic：此版本可在所有系统上运行。详见通用变体
  • NVidia：此版本针对配备 NVIDIA GPU 的系统进行了优化。详见 NVidia 优化变体
  • AMD：此版本针对配备 AMD GPU 的系统进行了优化。详见 AMD 优化变体
• MacOS
  • Intel (x86_64)：此版本适用于配备 Intel 处理器的 Mac 电脑。详见 MacOS 变体
  • Apple Silicon (arm64)：此版本针对配备 Apple Silicon（M1、M2 等）处理器的 Mac 电脑进行了优化。详见 MacOS 变体
• Linux x86_64：此版本适用于采用 x86_64 架构的 Linux 系统。
  • generic：此版本可在所有系统上运行。详见通用变体
  • NVidia：此版本针对配备 NVIDIA GPU 的系统进行了优化。详见 NVidia 优化变体
  • AMD：此版本针对配备 AMD GPU 的系统进行了优化。详见 AMD 优化变体

请务必下载与您的系统硬件和操作系统相匹配的版本，以获得最佳性能。

Whisper 后端现已在插件启动时动态加载，这带来了两个主要优势：

• 更好的 CPU 性能和兼容性 - Whisper 可以自动从所有可用的后端中选择最适合您系统的最佳 CPU 后端。这意味着该插件现在可以充分利用具有更多功能的新型 CPU，同时在比以往更旧的硬件上也能使用（在 v0.5.0 之前，假设用户至少拥有支持 AVX2 的 CPU）
• 更高的稳定性 - 如果存在无法在您的系统上使用的后端，无论是由于 CPU 功能不可用、缺少依赖项还是其他原因，它将简单地不被加载，而不是导致崩溃

为确保插件能够"开箱即用"，默认配置为仅使用 CPU（对于从早于 v0.5.0 的版本升级的用户也是如此）。这是为了避免在启动时立即崩溃，因为如果由于某种原因您的 GPU 无法被 Whisper 后端之一使用（例如，Apple 上的 Metal 后端在无法分配缓冲区来加载模型时会崩溃）

如果您想使用 GPU 加速，请务必进入插件设置并选择您想要的 GPU 加速后端

通用变体

这些变体应该在任何系统上都能良好运行，无论硬件配置如何。它们包含以下 Whispercpp 后端：

• CPU
  • Generic x86_64
  • Generic x86_64 with SSE4.2
  • Sandy Bridge（支持 SSE4.2、AVX 的 CPU）
  • Haswell（支持 SSE4.2、AVX、F16C、AVX2、BMI2、FMA 的 CPU）
  • Sky Lake（支持 SSE4.2、AVX、F16C、AVX2、BMI2、FMA、AVX512 的 CPU）
  • Ice Lake（支持 SSE4.2、AVX、F16C、AVX2、BMI2、FMA、AVX512、AVX512_VBMI、AVX512_VNNI 的 CPU）
  • Alder Lake（支持 SSE4.2、AVX、F16C、AVX2、BMI2、FMA、AVX_VNNI 的 CPU）
  • Sapphire Rapids（支持 SSE4.2、AVX、F16C、AVX2、BMI2、FMA、AVX512、AVX512_VBMI、AVX512_VNNI、AVX512_BF16、AMX_TITLE、AMX_INT8 的 CPU）
• OpenBLAS - 与 CPU 后端结合使用以加速处理速度
• Vulkan - 标准跨平台图形库，允许在不支持 CUDA 或 ROCm 的 GPU 上进行 GPU 加速处理。也可与集成显卡配合使用）
  • Windows 上可能需要 Vulkan 运行时，可从 https://sdk.lunarg.com/sdk/download/1.4.328.1/windows/VulkanRT-X64-1.4.328.1-Installer.exe 下载
• OpenCL（目前仅限 Linux）- 行业标准并行计算库，在支持的 GPU 上可能比 Vulkan 更快

NVidia 优化变体

这些变体包含通用变体中的所有后端，还提供了 CUDA 后端，可在支持的 NVidia GPU 上提供加速性能。如果您的平台上提供了 OpenCL 后端，它还会使用 CUDA OpenCL 库而不是通用库。

请确保已安装最新的 NVidia GPU 驱动程序，可能还需要 CUDA 工具包 v12.8.0 或更高版本。

如果在 Linux 上安装，为了避免安装整个 CUDA 工具包（如果您不需要），您可以安装 cuda-runtime-12.8 软件包以获取所有运行时库和驱动程序，或者安装 cuda-libaries-12-8 软件包以仅获取运行时库。

AMD 优化变体

这些变体包含通用变体中的所有后端，还包括使用 AMD 的 ROCm 框架的 hipblas 后端，可在支持的 AMD GPU上加速计算

请确保已安装兼容的 AMD GPU 驱动程序

Mac OS 变体

这些变体提供以下后端：

• CPU
  • 与通用变体中列出的相同的 Intel CPU x86_64 变体
  • ARM CPU 的 m1、m2/m3 和 m4 变体
• Accelerate - 与 CPU 后端结合使用以加速处理速度
• Metal - 使用系统 GPU 进行加速处理
• CoreML - 特殊后端，使用 Apple 的 CoreML 而不是 Whisper 的常规模型处理，可在 Metal 或 CPU 后端上运行

模型

该插件附带 Tiny.en 模型，并通过下拉菜单自动下载其他 Whisper 模型。 如果您在磁盘上有外部 GGML Whisper 模型文件，也可以选择使用。

如果在 Apple 上使用 CoreML，它还会自动为您的选定模型下载相应的 CoreML 编码器模型。

从 https://ggml.ggerganov.com/ 和 HuggingFace 获取更多模型，按照 whisper.cpp 上的说明 创建您自己的模型或下载其他模型，例如蒸馏模型。

构建

该插件已在 Mac OSX（Intel 和 Apple silicon）、Windows（带和不带 Nvidia CUDA）以及 Linux 上构建和测试。

首先，将此仓库克隆到您选择的目录中。

Mac OSX

使用 CI 流水线脚本，在本地你只需要调用 zsh 脚本，它会根据 $MACOS_ARCH（可以是 x86_64 或 arm64）中指定的架构进行构建。

$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c Release

安装

上述脚本应该会成功执行，插件文件（例如 obs-localvocal.plugin）会位于根目录下的 ./release/Release 文件夹中。将 .plugin 文件复制到 OBS 目录，例如 ~/Library/Application Support/obs-studio/plugins。

要获取 .pkg 安装包文件，可以运行例如：

$ ./.github/scripts/package-macos -c Release

（请注意，输出文件可能在 Release 文件夹中，而不是 package-macos 预期的 install 文件夹，因此你需要将文件夹从 build_x86_64/Release 重命名为 build_x86_64/install）

Linux

使用预编译版本

1. 克隆仓库，如果不是使用 Ubuntu，请使用发行版的包管理器安装以下依赖的开发版本：

   • libcurl
   • libsimde
   • libssl
   • icu（International Components for Unicode，一种Unicode字符集支持库）
   • openblas（最好使用 OpenMP 变体而非 pthreads 变体）
   • OpenCL（开放计算语言，一种并行计算框架）
   • Vulkan（一种图形和计算 API）

   如果你可能会多次构建插件，建议也安装 ccache（编译缓存工具）

2. 通过 rustup（推荐）或你的发行版包管理器安装 Rust

3. 将 ACCELERATION 环境变量设置为 generic、nvidia 或 amd 之一（未设置时默认为 generic）

   export ACCELERATION="nvidia"
   

4. 然后从仓库目录运行以下命令构建插件：

   ./.github/scripts/build-linux
   

   如果由于某种原因无法使用 CI 构建脚本，可以按以下方式构建插件

   cmake -B build_x86_64 --preset linux-x86_64 -DCMAKE_INSTALL_PREFIX=./release
   cmake --build build_x86_64 --target install
   

5. 安装

   如果使用 Ubuntu 且插件之前是通过 .deb 包安装的，请将结果复制到 Ubuntu 的标准 OBS 文件夹

   sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/
   sudo cp -R release/RelWithDebInfo/share/* /usr/share/
   

   否则，请遵循官方 OBS 插件指南 并将结果复制到你的用户插件文件夹

   mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit
   cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/
   mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data
   cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
   

   注意：发布文件夹中的 lib 路径因 Linux 发行版而异（例如在 Gentoo 上，插件库位于 release/RelWithDebInfo/lib64/obs-plugins），但复制目标目录始终相同。

从源码构建 Whispercpp 以及插件

如果由于某种原因无法使用 CI 构建脚本，或者只是更喜欢从源码构建 Whispercpp 依赖项以及插件，请按照上述步骤操作，但使用以下命令构建插件：

cmake -B build_x86_64 --preset linux-x86_64 -DLINUX_SOURCE_BUILD=ON -DCMAKE_INSTALL_PREFIX=./release
cmake --build build_x86_64 --target install

从源码构建时，Vulkan 和 OpenCL 开发库是可选的，只有在安装后才会被使用。同样，如果找到 CUDA 或 ROCm 工具包，它们也会被使用，相关 的 Whisper 后端将被启用。

完整源码构建的默认设置是构建针对主机系统优化的 Whisper 和插件。要更改此行为，请在 CMake 配置命令中添加以下一个或两个选项（两个中的第一个）：

• 要构建所有 CPU 后端，请添加 -DWHISPER_DYNAMIC_BACKENDS=ON
• 要构建所有 CUDA 内核，请添加 -DWHISPER_BUILD_ALL_CUDA_ARCHITECTURES=ON

Linux (Flatpak)

将插件构建为 OBS Studio 的 Flatpak 扩展，可以方便地在 Linux 系统上进行分发和安装。

前置条件

1. 安装 Flatpak 和 flatpak-builder：

   # 在 Ubuntu/Debian 上
   sudo apt install flatpak flatpak-builder
   
   # 在 Fedora 上
   sudo dnf install flatpak flatpak-builder
   
   # 在 Arch Linux 上
   sudo pacman -S flatpak flatpak-builder
   

2. 添加 Flathub 仓库：

   flatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepo
   

3. 安装 OBS Studio Flatpak 和所需的 SDK：

   flatpak install flathub com.obsproject.Studio
   flatpak install flathub org.kde.Sdk//6.8
   

构建

1. 如果还没有克隆仓库，请先克隆：

   git clone https://github.com/locaal-ai/obs-localvocal.git
   cd obs-localvocal
   

2. 将 ACCELERATION 环境变量设置为 generic、nvidia 或 amd 之一（未设置时默认为 generic）：

   export ACCELERATION="nvidia"  # 或 "amd" 或 "generic"
   

3. 构建 Flatpak 扩展：

   ./flatpak/build.sh --disable-rofiles-fuse --force-clean build-dir ./flatpak/com.obsproject.Studio.Plugin.LocalVocal.yaml
   

   构建过程将：

   • 编译所有依赖项，包括 ICU 77、whisper.cpp、CTranslate2 等
   • 使用选定的加速后端构建 LocalVocal 插件
   • 创建与 OBS Studio 集成的 Flatpak 扩展

4. 安装构建好的扩展：

   ./flatpak/build.sh --disable-rofiles-fuse --install build-dir ./flatpak/com.obsproject.Studio.Plugin.LocalVocal.yaml
   

   或手动安装：

   flatpak-builder --user --install --force-clean build-dir ./flatpak/com.obsproject.Studio.Plugin.LocalVocal.yaml
   

5. 验证安装：

   flatpak list | grep LocalVocal
   

运行带有插件的 OBS Studio

安装后，只需从应用程序菜单启动 OBS Studio 或通过以下方式运行：

flatpak run com.obsproject.Studio

LocalVocal 插件现在应该在 OBS Studio 的滤镜中可用。

故障排除

• 构建失败并出现 ICU 错误：Flatpak 构建使用 ICU 77，这是构建过程的一部分。这是 Qt 的 uic 二进制兼容性所必需的。
• 未检测到 CUDA/ROCm：请确保在构建前设置了 ACCELERATION 环境变量。
• 插件在 OBS 中不可见：请确保 Flatpak 扩展已安装到正确位置，并且 OBS Studio 是从 Flatpak 运行的。

Windows

使用 CI 脚本，例如：

> .github/scripts/Build-Windows.ps1 -Configuration Release

构建产物应该在根目录的 ./release 文件夹中。你可以手动安装 OBS 目录中的文件。

> Copy-Item -Recurse -Force "release\Release\*" -Destination "C:\Program Files\obs-studio\"

在 Windows 上构建 CUDA 支持版本

LocalVocal 现在可以通过预编译的 Whisper.cpp（一种高效的语音识别库）二进制文件自动构建 CUDA（NVIDIA 计算统一设备架构）支持版本，该文件来自 https://github.com/locaal-ai/locaal-ai-dep-whispercpp。CMake（跨平台的构建工具）脚本会下载所有必要的文件。

要使用 cuda 构建，请添加 ACCELERATION 环境变量（值为 cpu、hipblas 或 cuda），然后正常构建。

> $env:ACCELERATION="cuda"
> .github/scripts/Build-Windows.ps1 -Configuration Release

LocalVocal 快速上手指南

LocalVocal 是一款 OBS 插件，可实现实时语音转文字和翻译。完全本地运行，无需 GPU、无需云服务、无需网络，保护隐私。

环境准备

系统要求

操作系统	要求
Windows 10/11	64 位，需安装 最新 MSVC 运行时
macOS 10.15+	Intel 或 Apple Silicon (M1/M2/M3)
Linux	x86_64 架构

硬件配置

• 通用版：支持所有系统，包含多种 CPU 优化版本（SSE4.2、AVX、AVX2、AVX512）
• NVIDIA 版：需 NVIDIA GPU + CUDA Toolkit 12.8.0+
• AMD 版：需 AMD GPU + ROCm 驱动

安装步骤

1. 下载插件

访问 Releases 页面 下载对应版本：

Windows:

# 通用版
obs-localvocal-0.5.3-windows-x64-generic-Installer.exe

# NVIDIA GPU
obs-localvocal-0.5.3-windows-x64-nvidia-Installer.exe

# AMD GPU
obs-localvocal-0.5.3-windows-x64-amd-Installer.exe

macOS:

# Intel
obs-localvocal-0.5.3-macos-x86_64.pkg

# Apple Silicon (M1/M2/M3)
obs-localvocal-0.5.3-macos-arm64.pkg

Linux:

# 通用版
obs-localvocal-0.5.3-generic-x86_64-linux-gnu.deb

# NVIDIA
obs-localvocal-0.5.3-nvidia-x86_64-linux-gnu.deb

# AMD
obs-localvocal-0.5.3-amd-x86_64-linux-gnu.deb

2. 安装

Windows: 运行 Installer.exe，按提示完成安装。

macOS: 双击 .pkg 文件安装。

Linux (Debian/Ubuntu):

sudo dpkg -i obs-localvocal-*.deb

3. 验证安装

1. 启动 OBS Studio
2. 在菜单栏选择 工具 → LocalVocal
3. 插件面板应正常打开

基本使用

1. 配置音频源

1. 在 OBS 中添加音频源（麦克风或桌面音频）
2. 确保音频源正常工作

2. 启动转录

1. 打开 工具 → LocalVocal 面板
2. 在 Model 下拉菜单选择 Whisper 模型（默认使用 tiny.en）
3. 点击 Start Transcription 开始转录

3. 显示字幕

在 LocalVocal 面板中：

1. 勾选 Enable Caption Display
2. 选择字幕显示方式：
   • Text Source: 创建 OBS 文本源显示字幕
   • Save to File: 保存为 .txt 或 .srt 文件
   • RTMP Stream: 发送到 YouTube/Twitch 等平台

4. 启用翻译（可选）

1. 在 Translation 部分选择目标语言
2. 勾选 Enable Translation
3. 翻译方式可选：Whisper 内置翻译、DeepL API 或 OpenAI API

5. 使用 GPU 加速（如有）

默认使用 CPU 运行。如需 GPU 加速：

1. 进入 Settings → Backend
2. 选择对应的后端：
   • NVIDIA: CUDA
   • AMD: hipBLAS
   • macOS: Metal 或 CoreML

注意事项

• 首次启动时会自动下载 Whisper 模型（需网络）
• 如需使用 GPU 加速，请确保正确安装对应驱动和运行时库
• 插件默认使用 CPU 模式以确保兼容性