👉🏻 CosyVoice 👈🏻

Fun-CosyVoice 3.0: 演示；论文；Modelscope；Huggingface；CV3-Eval

CosyVoice 2.0: 演示；论文；Modelscope；HuggingFace

CosyVoice 1.0: 演示；论文；Modelscope；HuggingFace

亮点🔥

Fun-CosyVoice 3.0 是一款基于大语言模型（LLM）的先进文本转语音（TTS）系统，在内容一致性、说话人相似度和韵律自然度方面均超越了其前代产品（CosyVoice 2.0）。它专为野外环境下的零样本多语言语音合成而设计。

主要特性

• 语言覆盖范围：涵盖9种常用语言（中文、英文、日语、韩语、德语、西班牙语、法语、意大利语、俄语），以及18种以上的中国方言/口音（广东话、闽南语、四川话、东北话、陕北话、山西话、上海话、天津话、山东话、宁夏话、甘肃话等），同时支持多语言/跨语言的零样本语音克隆。
• 内容一致性与自然度：在内容一致性、说话人相似度和韵律自然度方面达到了最先进的水平。
• 发音修复：支持对汉语拼音和英语CMU音素的发音修复，提供了更高的可控性，因此非常适合生产环境使用。
• 文本规范化：无需传统的前端模块即可读取数字、特殊符号及各种文本格式。
• 双向流式传输：同时支持文本输入流和音频输出流，并且在保持高质量音频输出的同时，延迟低至150毫秒。
• 指令支持：支持多种指令，如语言、方言、情感、语速、音量等。

路线图

• 2025年12月

  • 发布Fun-CosyVoice3-0.5B-2512基础模型、强化学习模型及其训练/推理脚本
  • 发布Fun-CosyVoice3-0.5B Modelscope Gradio空间

• 2025年8月

  • 感谢NVIDIA Yuekai Zhang的贡献，增加Triton TRT-LLM运行时支持以及CosyVoice2 GRPO训练支持

• 2025年7月

  • 发布Fun-CosyVoice 3.0评估集

• 2025年5月

  • 增加CosyVoice2-0.5B VLLM支持

• 2024年12月

  • 发布25Hz版本的CosyVoice2-0.5B

• 2024年9月

  • 发布25Hz版本的CosyVoice-300M基础模型
  • 发布25Hz版本的CosyVoice-300M语音转换功能

• 2024年8月

  • 实现重复感知采样（RAS）推理，以提高LLM的稳定性
  • 支持流式推理模式，包括KV缓存和SDPA优化RTF

• 2024年7月

  • 支持流形匹配训练
  • 在TTSFRD不可用时支持WeTextProcessing
  • Fastapi服务器和客户端

评估

模型	开源	模型大小	测试中文 CER (%) ↓	测试中文 SS (%) ↑	测试英文 WER (%) ↓	测试英文 SS (%) ↑	测试困难场景 CER (%) ↓	测试困难场景 SS (%) ↑
人类	-	-	1.26	75.5	2.14	73.4	-	-
Seed-TTS	❌	-	1.12	79.6	2.25	76.2	7.59	77.6
MiniMax-Speech	❌	-	0.83	78.3	1.65	69.2	-	-
F5-TTS	✅	0.3B	1.52	74.1	2.00	64.7	8.67	71.3
Spark TTS	✅	0.5B	1.2	66.0	1.98	57.3	-	-
CosyVoice2	✅	0.5B	1.45	75.7	2.57	65.9	6.83	72.4
FireRedTTS2	✅	1.5B	1.14	73.2	1.95	66.5	-	-
Index-TTS2	✅	1.5B	1.03	76.5	2.23	70.6	7.12	75.5
VibeVoice-1.5B	✅	1.5B	1.16	74.4	3.04	68.9	-	-
VibeVoice-Realtime	✅	0.5B	-	-	2.05	63.3	-	-
HiggsAudio-v2	✅	3B	1.50	74.0	2.44	67.7	-	-
VoxCPM	✅	0.5B	0.93	77.2	1.85	72.9	8.87	73.0
GLM-TTS	✅	1.5B	1.03	76.1	-	-	-	-
GLM-TTS RL	✅	1.5B	0.89	76.4	-	-	-	-
Fun-CosyVoice3-0.5B-2512	✅	0.5B	1.21	78.0	2.24	71.8	6.71	75.8
Fun-CosyVoice3-0.5B-2512_RL	✅	0.5B	0.81	77.4	1.68	69.5	5.44	75.0

安装

克隆并安装

• 克隆仓库

  git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
  # 如果因网络问题未能成功克隆子模块，请反复执行以下命令直至成功
  cd CosyVoice
  git submodule update --init --recursive
  

• 安装Conda：请参阅 https://docs.conda.io/en/latest/miniconda.html

• 创建Conda环境：

  conda create -n cosyvoice -y python=3.10
  conda activate cosyvoice
  pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
  
  # 如果遇到sox兼容性问题
  # Ubuntu
  sudo apt-get install sox libsox-dev
  # CentOS
  sudo yum install sox sox-devel
  

模型下载

我们强烈建议您下载我们预训练的Fun-CosyVoice3-0.5B、CosyVoice2-0.5B、CosyVoice-300M、CosyVoice-300M-SFT、CosyVoice-300M-Instruct模型以及CosyVoice-ttsfrd资源。

# modelscope SDK模型下载
from modelscope import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
snapshot_download('iic/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

# 适用于海外用户的 Hugging Face SDK 模型下载
from huggingface_hub import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')
snapshot_download('FunAudioLLM/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')
snapshot_download('FunAudioLLM/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('FunAudioLLM/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')
snapshot_download('FunAudioLLM/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')
snapshot_download('FunAudioLLM/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

可选地，您可以解压 ttsfrd 资源并安装 ttsfrd 包，以获得更好的文本归一化性能。

请注意，此步骤并非必需。如果您未安装 ttsfrd 包，我们将默认使用 wetext。

cd pretrained_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd_dependency-0.1-py3-none-any.whl
pip install ttsfrd-0.4.2-cp310-cp310-linux_x86_64.whl

基本用法

我们强烈建议使用 Fun-CosyVoice3-0.5B 以获得更好的性能。 请按照 example.py 中的代码了解各模型的详细用法。

python example.py

vLLM 使用

CosyVoice2/3 现在支持 vLLM 0.11.x+（V1 引擎） 和 vLLM 0.9.0（旧版）。 较早版本的 vllm（<0.9.0）不支持 CosyVoice 推理，而介于两者之间的版本（如 0.10.x）尚未经过测试。

请注意，vllm 有许多特定要求。您可以创建一个新的环境，以防您的硬件不支持 vllm 或旧环境已损坏。

conda create -n cosyvoice_vllm --clone cosyvoice
conda activate cosyvoice_vllm
# 对于 vllm==0.9.0
pip install vllm==v0.9.0 transformers==4.51.3 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
# 对于 vllm>=0.11.0
pip install vllm==v0.11.0 transformers==4.57.1 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
python vllm_example.py

启动 Web 演示

您可以通过我们的 Web 演示页面快速熟悉 CosyVoice。

详情请参阅演示网站。

# 将 iic/CosyVoice-300M-SFT 更改为 sft 推理，或将 iic/CosyVoice-300M-Instruct 更改为 instruct 推理
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M

高级用法

对于高级用户，我们在 examples/libritts 中提供了训练和推理脚本。

构建用于部署

可选地，如果您希望进行服务部署，可以执行以下步骤。

cd runtime/python
docker build -t cosyvoice:v1.0 .
# 如果您想使用 instruct 推理，请将 iic/CosyVoice-300M 更改为 iic/CosyVoice-300M-Instruct
# 对于 gRPC 使用
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max_conc 4 --model_dir iic/CosyVoice-300M && sleep infinity"
cd grpc && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>
# 对于 FastAPI 使用
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/fastapi && python3 server.py --port 50000 --model_dir iic/CosyVoice-300M && sleep infinity"
cd fastapi && python3 client.py --port 50000 --mode <sft|zero_shot|cross_lingual|instruct>

使用 Nvidia TensorRT-LLM 进行部署

使用 TensorRT-LLM 加速 CosyVoice2 LLM 可以比 Hugging Face Transformers 实现快 4 倍。 快速入门：

cd runtime/triton_trtllm
docker compose up -d

更多详情，请参阅 这里

讨论与交流

您可以直接在 Github Issues 上讨论。

您也可以扫描二维码加入我们的官方钉钉聊天群。

致谢

1. 我们借鉴了 FunASR 的大量代码。
2. 我们借鉴了 FunCodec 的大量代码。
3. 我们借鉴了 Matcha-TTS 的大量代码。
4. 我们借鉴了 AcademiCodec 的大量代码。
5. 我们借鉴了 WeNet 的大量代码。

引用

@article{du2024cosyvoice,
  title={Cosyvoice: 基于监督语义标记的可扩展多语言零样本文本到语音合成器},
  author={Du, Zhihao and Chen, Qian and Zhang, Shiliang and Hu, Kai and Lu, Heng and Yang, Yexin and Hu, Hangrui and Zheng, Siqi and Gu, Yue and Ma, Ziyang and others},
  journal={arXiv preprint arXiv:2407.05407},
  year={2024}
}

@article{du2024cosyvoice,
  title={CosyVoice 2: 基于大型语言模型的可扩展流式语音合成},
  author={Du, Zhihao and Wang, Yuxuan and Chen, Qian and Shi, Xian and Lv, Xiang and Zhao, Tianyu and Gao, Zhifu and Yang, Yexin and Gao, Changfeng and Wang, Hui and others},
  journal={arXiv preprint arXiv:2412.10117},
  year={2024}
}

@article{du2025cosyvoice,
  title={CosyVoice 3: 通过扩展和后训练实现野外语音生成},
  author={Du, Zhihao and Gao, Changfeng and Wang, Yuxuan and Yu, Fan and Zhao, Tianyu and Wang, Hao and Lv, Xiang and Wang, Hui and Shi, Xian and An, Keyu and others},
  journal={arXiv preprint arXiv:2505.17589},
  year={2025}
}

@inproceedings{lyu2025build,
  title={使用 CosyVoice 构建基于 LLM 的零样本流式 TTS 系统},
  author={Lyu, Xiang and Wang, Yuxuan and Zhao, Tianyu and Wang, Hao and Liu, Huadai and Du, Zhihao},
  booktitle={ICASSP 2025-2025 IEEE 国际声学、语音和信号处理会议（ICASSP）},
  pages={1--2},
  year={2025},
  organization={IEEE}
}

免责声明

以上内容仅供学术研究之用，旨在展示技术能力。部分示例来源于互联网。如有任何内容侵犯您的权益，请联系我们要求删除。

CosyVoice 快速上手指南

CosyVoice 是一款基于大语言模型（LLM）的先进文本转语音（TTS）系统，支持多语言、多方言零样本语音克隆，具备高自然度、低延迟流式合成及指令控制等特性。推荐使用最新发布的 Fun-CosyVoice3-0.5B 模型以获得最佳效果。

环境准备

• 操作系统: Linux (推荐 Ubuntu/CentOS)
• Python 版本: 3.10
• 硬件要求: NVIDIA GPU (需安装 CUDA 驱动)，若使用 Docker 部署需安装 nvidia-container-toolkit
• 前置依赖:
  • Conda (用于环境管理)
  • Git
  • SoX (音频处理工具)

安装步骤

1. 克隆代码库

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
cd CosyVoice
# 若子模块克隆失败，请执行以下命令重试
git submodule update --init --recursive

2. 创建并激活 Conda 环境

conda create -n cosyvoice -y python=3.10
conda activate cosyvoice

3. 安装依赖与系统库

优先使用阿里云镜像源加速 Python 包安装：

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

安装系统级音频库 sox：

• Ubuntu/Debian:

  sudo apt-get install sox libsox-dev
  

• CentOS:

  sudo yum install sox sox-devel
  

4. 下载预训练模型

推荐使用国内 ModelScope 平台下载模型资源（包含 Fun-CosyVoice3, CosyVoice2 及基础模型）：

from modelscope import snapshot_download

# 下载推荐的 Fun-CosyVoice3 模型
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')

# 下载 CosyVoice2 模型
snapshot_download('iic/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')

# 下载基础模型及资源
snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')
snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

(可选) 提升文本归一化性能： 若需更好的数字和符号朗读效果，可安装 ttsfrd 包：

cd pretrained_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd_dependency-0.1-py3-none-any.whl
pip install ttsfrd-0.4.2-cp310-cp310-linux_x86_64.whl

注：若不安装此包，系统将默认使用 WeTextProcessing。

基本使用

运行示例脚本

安装完成后，直接运行官方提供的示例脚本即可体验最基础的合成功能：

python example.py

启动 Web 演示界面

通过浏览器交互体验不同模式（SFT、零样本克隆、指令控制等）：

# 启动服务，端口设为 50000
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M

启动后在浏览器访问 http://localhost:50000 即可使用。

进阶：vLLM 加速推理

若需更高吞吐量的推理服务，可单独创建环境安装 vLLM（需 v0.9.0 或 v0.11.x+）：

conda create -n cosyvoice_vllm --clone cosyvoice
conda activate cosyvoice_vllm

# 安装 vLLM (以 0.11.0 为例)
pip install vllm==v0.11.0 transformers==4.57.1 numpy==1.26.4 -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

# 运行 vLLM 示例
python vllm_example.py