实时语音翻译——云端或完全离线运行于您的设备

英文 | 日语 | 中文

---

为什么选择 Sokuji？

由 Kizuna AI Lab 打造——我们利用人工智能打破语言和无障碍沟通的壁垒，建立真诚的人际连接。“Kizuna”（絆）在日语中意为“纽带”，而 Sokuji（即時）则是我们的旗舰工具，旨在实现跨语言的实时交流。

Sokuji 是一款适用于桌面和浏览器的跨平台实时语音翻译应用。它支持本地推理——通过 WASM 和 WebGPU 在设备端进行 ASR、翻译和 TTS 处理，无需 API 密钥、无需昂贵的 GPU，完全离线且绝对隐私。同时，它还集成了包括 OpenAI、Google Gemini、Palabra.ai、Kizuna AI、Doubao AST 2.0 以及兼容 OpenAI 的 API 等多家云服务提供商。

---

工作原理

graph LR
    A["🗣️ 您说话<br/>(任意语言)"] --> B["🎙️ Sokuji"]
    B --> C{"选择一项"}
    C -->|"☁️ 云端"| D["OpenAI · Gemini<br/>Palabra · Doubao..."]
    C -->|"🖥️ 本地"| E["设备端 AI<br/>ASR → 翻译 → TTS<br/>(完全离线，无需 GPU)"]
    D --> F["🔊 翻译后的语音"]
    E --> F
    F --> G["💻 Zoom · Teams · Meet<br/>Discord · 任何应用"]

    style A fill:#4a9eff,stroke:#357abd,color:#fff
    style B fill:#10a37f,stroke:#0d8a6a,color:#fff
    style C fill:#ff9f43,stroke:#e88a2e,color:#fff
    style D fill:#6c5ce7,stroke:#5a4bd1,color:#fff
    style E fill:#00b894,stroke:#009d7e,color:#fff
    style F fill:#fd79a8,stroke:#e56b96,color:#fff
    style G fill:#636e72,stroke:#525c60,color:#fff

服务提供商	7 家——OpenAI、Gemini、Palabra.ai、Kizuna AI、Doubao AST 2.0、兼容 OpenAI 的 API、本地推理
本地模型	48 种 ASR 模型、55+ 种翻译语对、136 种 TTS 音色
语言支持	99+ 种（语音识别）· 55+ 种（翻译）· 53 种（文本转语音）
支持平台	Linux · Windows · macOS · Chrome · Edge
隐私性	本地推理 = 100% 设备端处理，无需 API 密钥，无需联网

---

演示

https://github.com/user-attachments/assets/1eaaa333-a7ce-4412-a295-16b7eb2310de

---

安装

Sokuji 提供桌面应用和浏览器扩展两种形式——功能相同，适用场景不同。

	桌面应用	浏览器扩展
功能	功能完全一致	功能完全一致
适用场景	任何支持麦克风输入的应用——Zoom、Teams、Discord、Slack、游戏、OBS 等	基于网页的会议平台——Google Meet、Teams、Zoom、Discord、Slack、Gather.town、Whereby
安装方式	下载并安装	无需安装——直接从商店添加
支持平台	Windows · macOS · Linux	Chrome · Edge · Brave（即将上线）

桌面应用

请从发布页面下载：

平台	安装包
Windows	Sokuji-x.y.z.Setup.exe
macOS（Apple Silicon）	Sokuji-x.y.z-arm64.pkg
macOS（Intel）	Sokuji-x.y.z-x64.pkg
Linux（Debian/Ubuntu x64）	sokuji_x.y.z_amd64.deb
Linux（Debian/Ubuntu ARM64）	sokuji_x.y.z_arm64.deb

浏览器扩展

以开发者模式安装扩展

1. 从发布页面下载 sokuji-extension.zip
2. 解压文件
3. 打开 chrome://extensions/ 并启用“开发者模式”
4. 点击“加载已解压的扩展程序”，然后选择解压后的文件夹

从源码构建

git clone https://github.com/kizuna-ai-lab/sokuji.git
cd sokuji && npm install
npm run electron:dev        # 开发环境
npm run electron:build      # 生产环境

---

功能特性

本地推理（边缘 AI）

一切都在您的设备上运行——无需 API 密钥、无需联网、无需昂贵的 GPU，完全保护您的隐私。借助 WASM 和 WebGPU 技术，Sokuji 可以在任何现代浏览器中高效运行，充分利用您现有的 CPU 和集成显卡。

• 50 种 ASR 模型（32 种离线 + 10 种流式 + 8 种基于 WebGPU 的模型，包括 Whisper、Cohere Transcribe、Voxtral Mini 4B），覆盖 99+ 种语言
• 55+ 种翻译语对，通过 Opus-MT 结合 5 种多语言 LLM（Qwen 2.5 / 3 / 3.5、GemmaTranslate）实现，并采用 WebGPU 加速
• 136 种 TTS 音色，覆盖 53 种语言（Piper、Piper-Plus、Coqui、Mimic3、Matcha 引擎）
• 一键下载模型，并使用 IndexedDB 进行缓存

云服务提供商

供应商	主要特性
OpenAI	gpt-realtime-mini / gpt-realtime-1.5 · 10种语音 · 可配置的轮次检测（正常 / 语义 / 禁用）· 降噪 · 支持60多种语言
Google Gemini	动态模型选择（音频/实时模型）· 30种语音 · 内置轮次检测 · 34种语言变体
Palabra.ai	WebRTC低延迟 · 语音克隆 · 自动句子分割 · 部分转录翻译 · 支持60多种源语言和40多种目标语言
Kizuna AI	登录即可使用 — API密钥由后端管理 · 使用与OpenAI相同的模型，但已优化默认设置
Doubao AST 2.0	带说话人语音克隆的语音到语音转换 · 中文↔英语双向 · Ogg Opus音频输出
兼容OpenAI	使用您自己的端点 — 任何兼容OpenAI Realtime API的服务（仅限Electron）
本地推理	完全离线 · 在设备上完成ASR → 翻译 → TTS · 无需API密钥 · 不需要GPU

音频

• 翻译您的声音 — 用您的母语说话，其他人会听到仿佛您用母语说出的翻译内容
• 翻译他人的声音 — 捕捉会议音频（扩展程序）或任何系统音频（桌面），并获得实时翻译字幕
• 虚拟麦克风 — 将翻译后的音频路由到Zoom、Meet、Teams或其他应用
• 实时直通 — 录音时可监控您自己的声音
• AI降噪 — 去除背景噪音、键盘声及其他干扰
• 回声消除 — 内置于现代Web Audio API中

界面

• 30种语言 — 完全本地化的用户界面
• 简易模式 — 针对非技术人员的简化设置
• 高级模式 — 波形显示及详细控制选项

---

隐私

您的音频始终保留在您的设备上——如果您选择本地推理，数据将永远不会离开设备。

• 云端模式直接连接到各服务提供商的API——无中间服务器
• API密钥仅存储在本地，绝不会传输给我们
• 本地推理在设备上完成所有处理，无需任何网络请求
• 通过PostHog进行匿名使用数据分析

---

技术栈

• 桌面版: Electron（Windows、macOS、Linux）
• 浏览器扩展: Chrome/Edge Manifest V3
• UI: React + TypeScript + Zustand
• 本地AI: sherpa-onnx（WASM）· Transformers.js · WebGPU
• 音频: Web Audio API · AudioWorklet · WebRTC
• 国际化: i18next（30种语言）

---

贡献

我们欢迎各位贡献！请在开始之前阅读我们的贡献指南。

---

许可证

AGPL-3.0

支持

• 问题 — Bug报告
• 讨论 — 问答与建议

致谢

• 云API: OpenAI, Google Gemini, Volcengine
• ASR: sherpa-onnx, OpenAI Whisper, SenseVoice, Moonshine, Cohere Transcribe, Voxtral Mini 4B
• TTS: Piper, Piper-Plus, Matcha-TTS, Coqui TTS, Mimic 3
• 翻译: Opus-MT, Qwen, GemmaTranslate
• 基础设施: Transformers.js, ONNX Runtime, Electron, React

有关详细模型许可信息，请参阅THIRD_PARTY_NOTICES.md。

Sokuji 快速上手指南

Sokuji 是一款跨平台的实时语音翻译工具，支持云端 API 与完全离线的本地推理（Local Inference）。它利用 WASM 和 WebGPU 技术，无需昂贵显卡即可在设备上实现“语音识别 → 翻译 → 语音合成”的全流程，保护隐私且零延迟。

环境准备

系统要求

Sokuji 支持以下平台：

• 桌面端：Windows、macOS (Intel/Apple Silicon)、Linux (Debian/Ubuntu x64 & ARM64)
• 浏览器扩展：Chrome、Edge、Brave（即将支持）

硬件建议

• 云端模式：无特殊硬件要求，需稳定网络连接。
• 本地推理模式：
  • 现代 CPU 或集成显卡即可运行。
  • 推荐使用支持 WebGPU 的浏览器或显卡以获得最佳性能。
  • 无需独立高端 GPU，无需 API Key。

前置依赖（源码构建）

若选择从源码构建，需安装：

• Node.js (推荐 LTS 版本)
• Git
• npm (随 Node.js 自动安装)

国内加速提示：安装 Node 模块时，建议使用淘宝镜像源加速下载：

npm config set registry https://registry.npmmirror.com

---

安装步骤

您可以选择直接下载预编译包或使用浏览器扩展，也可从源码构建。

方式一：桌面应用（推荐）

访问 Releases 页面 下载对应系统的安装包：

平台	安装包文件名示例
Windows	Sokuji-x.y.z.Setup.exe
macOS (M1/M2/M3)	Sokuji-x.y.z-arm64.pkg
macOS (Intel)	Sokuji-x.y.z-x64.pkg
Linux (Deb)	sokuji_x.y.z_amd64.deb 或 arm64.deb

下载后直接运行安装程序即可。

方式二：浏览器扩展

无需安装软件，直接添加至浏览器：

• Chrome: Chrome Web Store
• Edge: Microsoft Edge Add-ons

开发者模式安装：

1. 从 Releases 页面下载 sokuji-extension.zip 并解压。
2. 在浏览器地址栏输入 chrome://extensions/ 并开启“开发者模式”。
3. 点击“加载已解压的扩展程序”，选择解压后的文件夹。

方式三：从源码构建

git clone https://github.com/kizuna-ai-lab/sokuji.git
cd sokuji

# 安装依赖 (建议使用国内镜像源)
npm install

# 开发模式运行
npm run electron:dev

# 构建生产版本
npm run electron:build

---

基本使用

Sokuji 的核心功能是将您的语音实时翻译并播放，或翻译会议中他人的语音。

1. 启动与模式选择

打开应用后，您需要在设置中选择推理模式：

• Local Inference (本地推理)：完全离线，隐私安全。首次使用需一键下载模型（ASR、翻译、TTS），后续无需联网。
• Cloud Providers (云端)：配置 OpenAI、Gemini、Doubao 等 API Key，利用云端大模型能力。

2. 场景 A：翻译您的发言 (虚拟麦克风)

此模式适用于您在 Zoom、Teams、Discord 或游戏中发言，让对方听到翻译后的声音。

1. 输入设置：选择您的物理麦克风。
2. 输出设置：选择 Sokuji Virtual Microphone (虚拟麦克风)。
3. 目标应用设置：在 Zoom/Teams 等软件的音频设置中，将麦克风输入改为 Sokuji Virtual Microphone。
4. 开始说话：您对麦克风说话，Sokuji 会实时识别、翻译并合成目标语言语音，通过虚拟麦克风发送给对方。

3. 场景 B：翻译他人的发言 (字幕/监听)

此模式适用于听取外语会议或视频内容。

1. 输入设置：
   • 浏览器扩展：自动捕获网页标签页音频。
   • 桌面应用：选择系统音频输出或特定应用音频。
2. 功能开启：启用“实时字幕”或“语音监听”。
3. 效果：屏幕上将显示实时翻译字幕，您也可以通过耳机听到翻译后的语音（Passthrough 模式）。

4. 简易模式 vs 高级模式

• Simple Mode：适合非技术用户，界面简洁，一键切换语言。
• Advanced Mode：显示声波图，可精细调整降噪、回声消除及模型参数。

提示：本地模式下，首次运行会自动下载约几百 MB 的模型文件至 IndexedDB 缓存，请确保初次使用时网络通畅。