Voicebox

开源语音合成工作室。
克隆声音。生成语音。应用效果。构建语音驱动的应用程序。
所有功能均在您的本地机器上运行。

voicebox.sh • 文档 • 下载 • 功能 • API (应用程序编程接口)

点击图片上方以在 voicebox.sh 上观看演示视频

什么是 Voicebox？

Voicebox 是一个本地优先的语音克隆工作室 —— 它是 ElevenLabs 的免费开源替代品。只需几秒音频即可克隆声音，在 5 个 TTS (Text-to-Speech，文本转语音) 引擎中生成 23 种语言的语音，应用后期处理效果，并使用时间线编辑器编排多语音项目。

• 完全隐私 — 模型和语音数据保留在您的机器上
• 5 个 TTS 引擎 — Qwen3-TTS, LuxTTS, Chatterbox Multilingual, Chatterbox Turbo, 和 HumeAI TADA
• 23 种语言 — 从英语到阿拉伯语、日语、印地语、斯瓦希里语等
• 后期处理效果 — 音高移位、混响、延迟、合唱、压缩和滤波器
• 富有表现力的语音 — 通过 Chatterbox Turbo 使用副语言标签如 [laugh], [sigh], [gasp]
• 无限长度 — 自动分块并带有交叉淡入，适用于脚本、文章和章节
• 故事编辑器 — 用于对话、播客和叙事的轨道时间线
• API 优先 — REST API 用于将语音合成集成到您的项目中
• 原生性能 — 基于 Tauri (Rust) 构建，而非 Electron
• 全平台运行 — macOS (MLX/Metal), Windows (CUDA), Linux, AMD ROCm, Intel Arc, Docker

---

下载

平台	下载
macOS (Apple Silicon)	下载 DMG
macOS (Intel)	下载 DMG
Windows	下载 MSI
Docker	docker compose up

查看所有二进制文件 →

Linux — 预编译的二进制文件尚不可用。请参阅 voicebox.sh/linux-install 获取从源码构建的说明。

---

功能

多引擎语音克隆

五个具有不同优势的 TTS 引擎，可按次切换：

引擎	语言数	优势
Qwen3-TTS (0.6B / 1.7B)	10	高质量多语言克隆，语调指令（“慢慢说”，“耳语”）
LuxTTS	英语	轻量级（约 1GB VRAM/显存），48kHz 输出，CPU 上 150 倍实时 (realtime) 速度
Chatterbox Multilingual	23	最广泛的语言覆盖 — 阿拉伯语、丹麦语、芬兰语、希腊语、希伯来语、印地语、马来语、挪威语、波兰语、斯瓦希里语、瑞典语、土耳其语等
Chatterbox Turbo	英语	快速 3.5 亿参数模型，支持副语言情感/声音标签
TADA (1B / 3B)	10	HumeAI 语音语言模型 — 700 秒以上连贯音频，文本 - 声学双对齐

情感与副语言标签

在文本输入框中输入 / 即可插入模型会随语音合成的表达性标签（Chatterbox Turbo）：

[laugh] [chuckle] [gasp] [cough] [sigh] [groan] [sniff] [shush] [clear throat]

后期处理效果

由 Spotify 的 pedalboard 库驱动的 8 种音频效果。生成后应用，实时预览，构建可重用的预设。

效果	描述
Pitch Shift (音高移位)	上下最多 12 个半音
Reverb (混响)	可配置房间大小、阻尼、干湿比混合
Delay (延迟)	可调节时间、反馈和混合的混响
Chorus / Flanger (合唱 / 镶边)	调制延迟以产生金属感或丰富质感
Compressor (压缩器)	动态范围压缩
Gain (增益)	音量调整（-40 至 +40 dB）
High-Pass Filter (高通滤波器)	去除低频
Low-Pass Filter (低通滤波器)	去除高频

内置 4 种预设（机器人、广播、回声室、深嗓音），支持自定义预设。效果可作为默认值分配给每个配置文件。

无限生成长度

文本会自动在句子边界处分割，每个块独立生成，然后交叉淡入合并。适用于所有引擎。

• 可配置的自动分块限制（100–5,000 字符）
• 交叉淡入滑块（0–200ms）以实现平滑过渡
• 最大文本长度：50,000 字符
• 智能分割尊重缩写、中日韩 (CJK) 标点符号和 [tags]

生成版本

每次生成都支持多个版本，并带有溯源追踪功能：

• 原始 — 纯净的 TTS（文本转语音）输出，始终保留
• 效果版本 — 应用来自任何源版本的不同效果链
• Takes（变体） — 使用新种子重新生成以获得变体
• 来源追踪 — 每个版本都会记录其谱系
• 收藏 — 星标生成内容以便快速访问

异步生成队列

生成过程是非阻塞的。提交后立即可开始输入下一个。

• 串行执行队列可防止 GPU（图形处理器）争用
• 实时 SSE（服务器发送事件）状态流
• 失败的生成可以重试
• 崩溃产生的过时生成在启动时自动恢复

语音配置文件管理

• 从音频文件创建配置文件或在应用内直接录制
• 导入/导出配置文件以共享或备份
• 支持多样本以实现更高质量的克隆
• 每个配置文件的默认效果链
• 通过描述和语言标签进行组织

故事编辑器

用于对话、播客和叙事的多人声时间线编辑器。

• 支持拖放的多轨道编排
• 行内音频裁剪和分割
• 带同步播放头的自动回放
• 每个轨道剪辑的版本固定

录音与转录

• 应用内录制，带波形可视化
• 系统音频捕获（macOS 和 Windows）
• 由 Whisper（语音识别模型）（包括 Whisper Turbo）驱动的自动转录
• 以多种格式导出录音

模型管理

• 按模型卸载以释放 GPU（图形处理器）内存，无需删除下载内容
• 通过 VOICEBOX_MODELS_DIR 设置自定义模型目录
• 带进度跟踪的模型文件夹迁移
• 下载取消/清除界面

GPU 支持

平台	后端	备注
macOS (Apple 芯片)	MLX（Apple 机器学习框架）(Metal)	通过神经引擎快 4-5 倍
Windows / Linux (英伟达)	PyTorch（深度学习框架）(CUDA)	应用内自动下载 CUDA 二进制文件
Linux (超威半导体)	PyTorch（深度学习框架）(ROCm)	自动配置 HSA_OVERRIDE_GFX_VERSION
Windows (任意 GPU)	DirectML	通用 Windows GPU 支持
Intel Arc	IPEX/XPU	Intel 独立 GPU 加速
任意	CPU	处处可用，只是较慢

---

API

Voicebox 提供完整的 REST API，以便将语音合成功能集成到您自己的应用中。

# Generate speech
curl -X POST http://localhost:17493/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Hello world", "profile_id": "abc123", "language": "en"}'

# List voice profiles
curl http://localhost:17493/profiles

# Create a profile
curl -X POST http://localhost:17493/profiles \
  -H "Content-Type: application/json" \
  -d '{"name": "My Voice", "language": "en"}'

用例： 游戏对话、播客制作、辅助工具、语音助手、内容自动化。

完整 API 文档位于 http://localhost:17493/docs。

---

技术栈

层级	技术
桌面应用	Tauri（跨平台应用框架）(Rust)
前端	React, TypeScript, Tailwind CSS
状态管理	Zustand, React Query
后端	FastAPI（Python 框架）
TTS 引擎	Qwen3-TTS, LuxTTS, Chatterbox, Chatterbox Turbo, TADA
效果	Pedalboard (Spotify)
转录	Whisper / Whisper Turbo (PyTorch 或 MLX)
推理	MLX (Apple 芯片) / PyTorch (CUDA/ROCm/XPU/CPU)
数据库	SQLite
音频	WaveSurfer.js, librosa

---

路线图

功能	描述
实时流式传输	逐字流式传输生成的音频
语音设计	根据文本描述创建新声音
更多模型	XTTS、Bark 及其他开源语音模型
插件架构	通过自定义模型和效果扩展
移动伴侣	用手机控制 Voicebox

---

开发

详见 CONTRIBUTING.md 以获取详细的设置和贡献指南。

快速开始

git clone https://github.com/jamiepine/voicebox.git
cd voicebox

just setup   # creates Python venv, installs all deps
just dev     # starts backend + desktop app

安装 just：brew install just 或 cargo install just。运行 just --list 查看所有命令。

前置条件： Bun、Rust、Python 3.11+、Tauri 前置条件，以及 macOS 上的 Xcode。

本地构建

just build          # Build CPU server binary + Tauri app
just build-local    # (Windows) Build CPU + CUDA server binaries + Tauri app

添加新语音模型

多引擎架构使得添加新的 TTS（文本转语音）引擎变得简单。分步指南 涵盖完整流程：依赖研究、后端协议实现、前端集成和 PyInstaller 打包。

该指南针对 AI 编码代理进行了优化。一个 代理技能 可以接收模型名称并自主处理整个集成过程——您只需在本地测试构建结果。

项目结构

voicebox/
├── app/              # Shared React frontend
├── tauri/            # Desktop app (Tauri + Rust)
├── web/              # Web deployment
├── backend/          # Python FastAPI server
├── landing/          # Marketing website
└── scripts/          # Build & release scripts

---

贡献

欢迎贡献！详见 CONTRIBUTING.md 获取指南。

1. Fork 仓库
2. 创建功能分支
3. 进行修改
4. 提交 PR（拉取请求）

安全

发现安全漏洞？请负责任地报告。详见 SECURITY.md。

---

许可证

MIT 许可证 — 详见 LICENSE。

---

voicebox.sh

Voicebox 快速上手指南

Voicebox 是一个本地优先的开源语音克隆工作室，支持在本地机器上克隆声音、生成语音、应用音效并构建语音驱动的应用。它提供隐私保护、多引擎支持（5 种 TTS）及跨平台运行能力。

---

环境准备

系统要求

• macOS: Apple Silicon (MLX/Metal) 或 Intel
• Windows: 支持 NVIDIA (CUDA)、DirectML 等
• Linux: 支持 AMD ROCm、Intel Arc、CPU (需源码编译)
• Docker: 支持容器化部署

前置依赖 (开发/源码编译)

如果您计划从源码构建或在 Linux 上运行，请确保安装以下工具：

• Bun
• Rust
• [Python 3.11+]
• Tauri Prerequisites

硬件建议

• GPU: 推荐使用 NVIDIA GPU (CUDA) 或 Apple Silicon (Metal) 以获得最佳性能。
• 内存: 根据模型大小，建议至少 8GB RAM，显存 4GB+ 更佳。

---

安装步骤

方式一：预编译二进制文件 (推荐)

适用于 macOS 和 Windows 用户，无需配置环境。

平台	下载链接
macOS (Apple Silicon)	Download DMG
macOS (Intel)	Download DMG
Windows	Download MSI
Docker	docker compose up

注意: Linux 用户暂无预编译包，请参考官方文档进行源码安装。

方式二：从源码安装 (开发者)

适用于需要自定义或 Linux 用户。

git clone https://github.com/jamiepine/voicebox.git
cd voicebox

# 安装依赖并创建虚拟环境
just setup   

# 启动后端与桌面应用
just dev     

提示: 首次运行时可能需要下载基础模型，请确保网络稳定。

---

基本使用

图形界面操作

1. 启动应用: 打开已安装的 Voicebox。
2. 克隆声音: 导入几秒音频或使用内置录音功能创建声音配置文件 (Profile)。
3. 生成语音: 输入文本，选择语言和引擎，点击生成。
4. 后期处理: 使用 Pitch Shift、Reverb 等 8 种音效调整输出。
5. 故事编辑: 在时间轴编辑器中编排多角色对话或播客。

API 集成

Voicebox 提供 REST API，可通过 localhost:17493 调用。

生成语音示例：

curl -X POST http://localhost:17493/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Hello world", "profile_id": "abc123", "language": "en"}'

获取声音列表：

curl http://localhost:17493/profiles

创建声音配置：

curl -X POST http://localhost:17493/profiles \
  -H "Content-Type: application/json" \
  -d '{"name": "My Voice", "language": "en"}'

完整 API 文档可在应用启动后访问 http://localhost:17493/docs。