🎙️ VoxCPM：无分词器TTS，用于上下文感知语音生成与逼真声音克隆

VoxCPM1.5 模型权重

最新消息

• [2026.03.30] VoxCPM2 即将发布 🤗
• [2025.12.05] 🎉 🎉 🎉 我们开源了 VoxCPM1.5 的 权重! 该模型现在支持全参数微调和高效的 LoRA 微调，使您能够创建属于自己的定制版本。详情请参阅 发布说明。
• [2025.09.30] 🔥 🔥 🔥 我们发布了 VoxCPM 的 技术报告!
• [2025.09.16] 🔥 🔥 🔥 我们开源了 VoxCPM-0.5B 的 权重!
• [2025.09.16] 🎉 🎉 🎉 我们为 VoxCPM-0.5B 提供了 Gradio 演示平台，快来试试吧！

概述

VoxCPM 是一种新颖的无分词器文本转语音（TTS）系统，重新定义了语音合成的真实感。通过在连续空间中建模语音，它克服了离散分词的局限性，并实现了两大旗舰功能：上下文感知的语音生成和逼真的零样本声音克隆。

与将语音转换为离散标记的主流方法不同，VoxCPM 使用端到端扩散自回归架构，直接从文本生成连续的语音表示。它基于 MiniCPM-4 骨干网络构建，通过层次化语言建模和 FSQ 约束实现隐式的语义-声学解耦，从而极大地提升了表达能力和生成稳定性。

🚀 核心特性

• 上下文感知、富有表现力的语音生成 - VoxCPM 能够理解文本并推断出合适的韵律，生成极具表现力和自然流畅的语音。它会根据内容自发地调整说话风格，基于180万小时的双语大规模语料库训练，产生高度贴合的语音表达。
• 逼真的声音克隆 - 仅需一段简短的参考音频，VoxCPM 就能进行准确的零样本声音克隆，不仅捕捉到说话者的音色，还能细致入微地还原口音、情感基调、节奏和语速等特征，从而创造出忠实而自然的复制品。
• 高效合成 - VoxCPM 支持流式合成，在消费级 NVIDIA RTX 4090 GPU 上实时因子（RTF）低至0.17，使其适用于实时应用场景。

📦 模型版本

详情请参阅 发布说明

• VoxCPM1.5（最新）：

  • 模型参数：8亿
  • AudioVAE 采样率：44100
  • 语言模型骨干中的标记频率：6.25Hz（补丁大小=4）
  • 在单个 NVIDIA RTX 4090 GPU 上的 RTF：约 0.15

• VoxCPM-0.5B（原始）：

  • 模型参数：6.4亿
  • AudioVAE 采样率：16000
  • 语言模型骨干中的标记频率：12.5Hz（补丁大小=2）
  • 在单个 NVIDIA RTX 4090 GPU 上的 RTF：0.17

快速入门

🔧 从 PyPI 安装

pip install voxcpm

1. 模型下载（可选）

默认情况下，首次运行脚本时，模型会自动下载，但您也可以提前下载模型。

• 下载 VoxCPM1.5

  from huggingface_hub import snapshot_download
  snapshot_download("openbmb/VoxCPM1.5")
  

• 或下载 VoxCPM-0.5B

  from huggingface_hub import snapshot_download
  snapshot_download("openbmb/VoxCPM-0.5B")
  

• 下载 ZipEnhancer 和 SenseVoice-Small。我们在网页演示中使用 ZipEnhancer 来增强语音提示，以及 SenseVoice-Small 进行语音提示的 ASR。

  from modelscope import snapshot_download
  snapshot_download('iic/speech_zipenhancer_ans_multiloss_16k_base')
  snapshot_download('iic/SenseVoiceSmall')
  

2. 基本使用

import soundfile as sf
import numpy as np
from voxcpm import VoxCPM

model = VoxCPM.from_pretrained("openbmb/VoxCPM1.5")

# 非流式
wav = model.generate(
    text="VoxCPM 是 ModelBest 推出的一款创新端到端 TTS 模型，旨在生成极具表现力的语音。",
    prompt_wav_path=None,      # 可选：用于声音克隆的提示语音路径
    prompt_text=None,          # 可选：参考文本
    cfg_value=2.0,             # LM 对 LocDiT 的引导强度，值越高越贴近提示，但也可能影响质量
    inference_timesteps=10,   # LocDiT 推理步数，数值越高效果越好，但速度较慢
    normalize=False,           # 启用外部文本规范化工具，但会禁用原生纯文本支持
    denoise=False,             # 启用外部降噪工具，但可能会导致失真并将采样率限制为16kHz
    retry_badcase=True,        # 启用对某些不良情况的重试模式（不可停止）
    retry_badcase_max_times=3,  # 最大重试次数
    retry_badcase_ratio_threshold=6.0, # 不良情况检测的最大长度限制（简单有效），对于语速较慢的语音可以适当调整
)

sf.write("output.wav", wav, model.tts_model.sample_rate)
print("已保存：output.wav")

# 流式
chunks = []
for chunk in model.generate_streaming(
    text = "使用 VoxCPM 进行流式文本转语音非常容易！",
    # 支持与上述相同的参数
):
    chunks.append(chunk)
wav = np.concatenate(chunks)

sf.write("output_streaming.wav", wav, model.tts_model.sample_rate)
print("已保存：output_streaming.wav")

3. CLI 使用

安装完成后，入口命令为 voxcpm（或使用 python -m voxcpm.cli）。

# 1) 直接合成（单条文本）
voxcpm --text "VoxCPM 是 ModelBest 推出的一款创新端到端 TTS 模型，旨在生成极具表现力的语音。" --output out.wav

# 2) 音色克隆（参考音频 + 文本转录）
voxcpm --text "VoxCPM 是 ModelBest 推出的一款创新性端到端 TTS 模型，旨在生成极具表现力的语音。" \
  --prompt-audio path/to/voice.wav \
  --prompt-text "参考文本转录" \
  --output out.wav \
  # --denoise

# （可选）音色克隆（参考音频 + 文本文件）
voxcpm --text "VoxCPM 是 ModelBest 推出的一款创新性端到端 TTS 模型，旨在生成极具表现力的语音。" \
  --prompt-audio path/to/voice.wav \
  --prompt-file "/path/to/text-file" \
  --output out.wav \
  # --denoise

# 3) 批量处理（每行一个文本）
voxcpm --input examples/input.txt --output-dir outs
# （可选）批量 + 克隆
voxcpm --input examples/input.txt --output-dir outs \
  --prompt-audio path/to/voice.wav \
  --prompt-text "参考文本转录" \
  # --denoise

# 4) 推理参数（质量/速度）
voxcpm --text "..." --output out.wav \
  --cfg-value 2.0 --inference-timesteps 10 --normalize

# 5) 模型加载
# 建议使用本地路径
voxcpm --text "..." --output out.wav --model-path /path/to/VoxCPM_model_dir
# 或从 Hugging Face 加载（自动下载/缓存）
voxcpm --text "..." --output out.wav \
  --hf-model-id openbmb/VoxCPM1.5 --cache-dir ~/.cache/huggingface --local-files-only

# 6) 去噪器控制
voxcpm --text "..." --output out.wav \
  --no-denoiser --zipenhancer-path iic/speech_zipenhancer_ans_multiloss_16k_base

# 7) 帮助信息
voxcpm --help
python -m voxcpm.cli --help

4. 启动 Web 演示

您可以通过运行 python app.py 来启动 UI 界面，从而进行音色克隆和语音合成。

5. 微调

VoxCPM1.5 支持全量微调（SFT）和 LoRA 微调两种方式，允许您基于自己的数据训练个性化的语音模型。详细操作请参阅 微调指南。

快速入门：

# 全量微调
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v1.5/voxcpm_finetune_all.yaml

# LoRA 微调
python scripts/train_voxcpm_finetune.py \
    --config_path conf/voxcpm_v1.5/voxcpm_finetune_lora.yaml

📚 文档

• 使用指南 - 详细介绍如何有效使用 VoxCPM，包括文本输入模式、音色克隆技巧及参数调优。
• 微调指南 - 完整的 SFT 和 LoRA 微调教程。
• 发布说明 - 版本历史与更新内容。
• 性能基准 - 在公开基准上的详细性能对比。

---

📚 更多信息

🌟 社区项目

我们很高兴看到 VoxCPM 社区不断壮大！以下是一些由社区开发者打造的优秀项目和功能：

• ComfyUI-VoxCPM ComfyUI 的 VoxCPM 插件。
• ComfyUI-VoxCPMTTS ComfyUI 的 VoxCPM 扩展。
• WebUI-VoxCPM TTS WebUI 的模板扩展。
• PR：支持流式 API（由 AbrahamSanders 提供）
• VoxCPM-NanoVLLM 将 NanoVLLM 与 VoxCPM 结合，实现 GPU 上更快、更高吞吐量的推理。
• VoxCPM-ONNX 导出 ONNX 格式的 VoxCPM，支持更快速的 CPU 推理。
• VoxCPMANE 使用 Apple Neural Engine 后端服务器的 VoxCPM TTS。
• PR：LoRA 微调 Web UI（由 Ayin1412 提供）
• voxcpm_rs 用 Rust 重新实现的 VoxCPM-0.5B。

注：这些项目并非由 OpenBMB 官方维护。

您是否用 VoxCPM 构建了什么酷炫的东西？我们非常乐意在此展示您的作品！请提交 issue 或 pull request 以添加您的项目。

📊 性能亮点

VoxCPM 在公开的零样本 TTS 基准测试中表现出色。详细对比表格请参阅 性能基准。

⚠️ 风险与限制

• 模型通用行为：尽管 VoxCPM 经过大规模数据训练，仍可能产生意外、有偏见或包含伪影的输出。
• 音色克隆的潜在滥用：VoxCPM 强大的零样本音色克隆能力可以生成高度逼真的合成语音。这种技术可能被滥用于制作令人信服的深度伪造视频或音频，以达到冒充、欺诈或散布虚假信息的目的。用户不得利用该模型生成侵犯他人权益的内容。严禁将 VoxCPM 用于任何非法或不道德的目的。我们强烈建议，所有使用该模型生成并公开分享的内容都应明确标注为 AI 生成。
• 当前技术局限性：尽管模型总体稳定，但在处理超长或极具表现力的输入时，偶尔可能出现不稳定现象。此外，当前版本对情感、语调等特定语音属性的直接控制能力有限。
• 双语模型：VoxCPM 主要基于中文和英文数据训练。对于其他语言的支持并不保证，可能导致不可预测或低质量的音频输出。
• 本模型仅用于研究和开发目的。未经严格测试和安全评估，不建议将其用于生产或商业用途。请负责任地使用 VoxCPM。

---

📝 待办事项

敬请关注后续更新！

• 发布 VoxCPM 技术报告。
• 支持更高采样率（VoxCPM-1.5 已支持 44.1kHz）。
• 支持 SFT 和 LoRA 微调。
• 多语言支持（除中文和英文外）。
• 实现通过人类指令控制语音生成。

📄 许可证

VoxCPM 的模型权重和代码均采用 Apache-2.0 开源许可证。

🙏 致谢

我们衷心感谢以下工作和资源提供的灵感与贡献：

• DiTAR 用于语音生成的扩散自回归骨干网络。
• MiniCPM-4 作为语言模型的基础。
• CosyVoice 实现的基于 Flow Matching 的 LocDiT。
• DAC 提供的音频 VAE 骨干网络。

机构

本项目由以下机构共同开发：

• ModelBest

• THUHCSI

⭐ 星标历史

📚 引用

如果您觉得我们的模型有帮助，请考虑引用我们的项目 📝 并给我们的项目加星 ⭐️！

@article{voxcpm2025,
  title        = {VoxCPM：无需分词器的TTS，用于上下文感知语音生成和逼真的人声克隆},
  author       = {周义轩、曾国阳、刘欣、李翔、于仁杰、王子洋、叶润川、孙伟岳、桂建诚、李可涵、吴志勇、刘志远},
  journal      = {arXiv预印本 arXiv:2509.24650},
  year         = {2025},
}

VoxCPM 快速上手指南

VoxCPM 是一款无需分词器（Tokenizer-Free）的端到端文本转语音（TTS）模型，支持上下文感知的 expressive 语音生成和高保真零样本声音克隆。

环境准备

• 操作系统: Linux / macOS / Windows
• Python: 3.8 及以上版本
• GPU: 推荐 NVIDIA GPU (如 RTX 4090)，显存建议 16GB 以上以获得最佳推理速度。
• 依赖库: torch, soundfile, numpy 等（安装脚本时会自动处理）。

安装步骤

1. 安装核心库

通过 PyPI 直接安装：

pip install voxcpm

2. 下载模型与辅助组件（推荐国内加速）

虽然首次运行会自动下载，但建议预先下载以提升稳定性。国内用户推荐使用 ModelScope 或配置 Hugging Face 镜像。

方案 A：使用 ModelScope 下载（推荐国内用户）

from modelscope import snapshot_download

# 下载主模型 (VoxCPM1.5)
snapshot_download('OpenBMB/VoxCPM1.5')

# 下载语音增强和识别组件 (Web Demo 及去噪功能必需)
snapshot_download('iic/speech_zipenhancer_ans_multiloss_16k_base')
snapshot_download('iic/SenseVoiceSmall')

方案 B：使用 Hugging Face (需配置镜像) 若网络环境允许，可设置镜像后下载：

export HF_ENDPOINT=https://hf-mirror.com

from huggingface_hub import snapshot_download
snapshot_download("openbmb/VoxCPM1.5")

基本使用

方法一：Python 代码调用

以下示例展示如何加载模型并生成语音（非流式）：

import soundfile as sf
import numpy as np
from voxcpm import VoxCPM

# 加载模型 (自动读取本地缓存或从云端下载)
model = VoxCPM.from_pretrained("openbmb/VoxCPM1.5")

# 生成语音
wav = model.generate(
    text="VoxCPM is an innovative end-to-end TTS model from ModelBest, designed to generate highly expressive speech.",
    prompt_wav_path=None,      # 可选：填入参考音频路径以实现声音克隆
    prompt_text=None,          # 可选：参考音频对应的文本
    cfg_value=2.0,             # 引导系数，越高越贴近提示音，但可能影响自然度
    inference_timesteps=10,    # 推理步数，越高效果越好，越低速度越快
    normalize=False,           # 是否启用外部文本归一化
    denoise=False,             # 是否启用外部去噪 (会限制采样率为 16kHz)
    retry_badcase=True,        # 开启坏案例重试机制
    retry_badcase_max_times=3, # 最大重试次数
    retry_badcase_ratio_threshold=6.0, # 坏案例检测阈值
)

# 保存结果
sf.write("output.wav", wav, model.tts_model.sample_rate)
print("saved: output.wav")

流式生成示例：

chunks = []
for chunk in model.generate_streaming(
    text="Streaming text to speech is easy with VoxCPM!",
):
    chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("output_streaming.wav", wav, model.tts_model.sample_rate)

方法二：命令行工具 (CLI)

安装完成后，可直接使用 voxcpm 命令。

1. 基础文本转语音

voxcpm --text "VoxCPM is an innovative end-to-end TTS model from ModelBest, designed to generate highly expressive speech." --output out.wav

2. 声音克隆（参考音频 + 参考文本）

voxcpm --text "目标合成文本" \
  --prompt-audio path/to/voice.wav \
  --prompt-text "参考音频对应的文本" \
  --output out.wav

3. 指定本地模型路径

voxcpm --text "..." --output out.wav --model-path /path/to/VoxCPM_model_dir

4. 查看帮助

voxcpm --help

方法三：启动 Web 界面

运行以下命令启动图形化演示界面，支持在线声音克隆和参数调整：

python app.py