简介

[!注意] 此仓库包含算法基础设施和一些简单的示例。

[!提示] 对于面向最终用户的扩展产品，请参考社区维护的索引仓库 Awesome-ChatTTS。
您可以在此处找到代码库的图示化说明：这里。

ChatTTS 是一款专为 LLM 助手等对话场景设计的文本转语音模型。

支持的语言

• 英语
• 中文
• 即将支持...

特点

详细描述请参阅 哔哩哔哩上的这段视频。

1. 对话型 TTS：ChatTTS 针对对话任务进行了优化，能够生成自然且富有表现力的语音。它支持多说话人，便于进行交互式对话。
2. 细粒度控制：该模型可以预测并控制细粒度的韵律特征，包括笑声、停顿和插入语等。
3. 更好的韵律表现：ChatTTS 在韵律表现上超越了大多数开源 TTS 模型。我们提供了预训练模型，以支持进一步的研究与开发。

数据集与模型

[!重要] 发布的模型仅用于学术研究目的。

• 主要模型使用超过 10 万小时的中英文音频数据进行训练。
• 在 HuggingFace 上的开源版本是一个未经过 SFT 微调的 4 万小时预训练模型。

路线图

• 开源 4 万小时基础模型及 spk_stats 文件。
• 流式音频生成。
• 开源 DVAE 编码器和零样本推理代码。
• 多情感控制。
• ChatTTS.cpp（欢迎在 2noise 组织下创建新仓库）。

许可证

代码

代码采用 AGPLv3+ 许可证发布。

模型

模型采用 CC BY-NC 4.0 许可证发布。它仅供教育和科研使用，不得用于任何商业或非法目的。作者不保证信息的准确性、完整性或可靠性。本仓库中使用的信息和数据仅用于学术和科研目的。这些数据来源于公开可用的资源，作者不主张对这些数据拥有任何所有权或版权。

免责声明

ChatTTS 是一个功能强大的文本转语音系统。然而，负责任且合乎道德地使用这项技术非常重要。为了限制 ChatTTS 的滥用，我们在训练 4 万小时模型时加入了一小部分高频噪声，并尽可能使用 MP3 格式压缩音频质量，以防止恶意行为者可能将其用于犯罪目的。同时，我们内部也训练了一个检测模型，计划在未来开源。

联系方式

欢迎随时提交 GitHub 问题或拉取请求。

正式咨询

关于模型和路线图的正式咨询，请发送邮件至 open-source@2noise.com。

在线交流

1. QQ 群（中国社交应用）

• 群 1，808364215
• 群 2，230696694
• 群 3，933639842
• 群 4，608667975

2. Discord 服务器

点击 这里 加入。

快速开始

克隆仓库

git clone https://github.com/2noise/ChatTTS
cd ChatTTS

安装依赖

1. 直接安装

pip install --upgrade -r requirements.txt

2. 使用 conda 安装

conda create -n chattts python=3.11
conda activate chattts
pip install -r requirements.txt

可选：安装 vLLM（仅限 Linux）

pip install safetensors vllm==0.2.7 torchaudio

不推荐的可选：安装 TransformerEngine（仅限使用 NVIDIA GPU 的 Linux 用户）

[!警告] 请勿安装！
TransformerEngine 的适配目前仍在开发中，尚无法正常运行。
仅建议在开发环境中安装。更多信息请参见 #672 和 #676。

[!注] 安装过程非常缓慢。

pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable

不推荐的可选：安装 FlashAttention-2（主要针对 NVIDIA GPU）

[!警告] 请勿安装！
根据 此问题，FlashAttention-2 会降低生成速度。
仅建议在开发环境中安装。

[!注] 支持的设备请参阅 Hugging Face 文档：这里。

pip install flash-attn --no-build-isolation

快速入门

请确保在执行以下命令时位于项目根目录下。

1. 启动 WebUI

python examples/web/webui.py

2. 命令行推理

生成的音频将保存到 ./output_audio_n.mp3

python examples/cmd/run.py "您的文本 1." "您的文本 2."

安装

1. 从 PyPI 安装稳定版

pip install ChatTTS

2. 从 GitHub 安装最新版

pip install git+https://github.com/2noise/ChatTTS

3. 以开发模式从本地目录安装

pip install -e .

基本用法

import ChatTTS
import torch
import torchaudio

chat = ChatTTS.Chat()
chat.load(compile=False) # 设置为 True 以获得更好的性能

texts = ["将您的第一条文本放在这里", "将您的第二条文本放在这里"]

wavs = chat.infer(texts)

for i in range(len(wavs)):
    """
    在某些版本的 torchaudio 中，第一行代码有效；而在其他版本中，第二行代码同样有效。
    """
    try:
        torchaudio.save(f"basic_output{i}.wav", torch.from_numpy(wavs[i]).unsqueeze(0), 24000)
    except:
        torchaudio.save(f"basic_output{i}.wav", torch.from_numpy(wavs[i]), 24000)

进阶用法

###################################
# 从高斯分布中采样一位说话人。

rand_spk = chat.sample_random_speaker()
print(rand_spk) # 保存它以便稍后恢复音色

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb = rand_spk, # 添加采样的说话人 
    temperature = .3,   # 使用自定义温度
    top_P = 0.7,        # top P 解码
    top_K = 20,         # top K 解码
)

###################################
# 用于句子级别的手动控制。

# 使用 oral_(0-9), laugh_(0-2), break_(0-7) 
# 在文本中生成特殊标记以进行合成。
params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_6]',
)

wavs = chat.infer(
    texts,
    params_refine_text=params_refine_text,
    params_infer_code=params_infer_code,
)

###################################
# 用于词语级别的手动控制。

text = '什么是[uv_break]你最喜欢的英语食物？[laugh][lbreak]'
wavs = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text,  params_infer_code=params_infer_code)
"""
在某些版本的 torchaudio 中，第一行代码有效；而在其他版本中，第二行代码同样有效。
"""
try:
    torchaudio.save("word_level_output.wav", torch.from_numpy(wavs[0]).unsqueeze(0), 24000)
except:
    torchaudio.save("word_level_output.wav", torch.from_numpy(wavs[0]), 24000)

inputs_en = """
Chat TTS 是一款专为对话应用设计的文本转语音模型。 
[uv_break]它支持混合语言输入 [uv_break]并提供多说话人功能，
同时可以精确控制韵律元素，例如 
[uv_break]笑声[uv_break][laugh], [uv_break]停顿，[uv_break]以及语调。 
[uv_break]它能够生成自然且富有表现力的语音,[uv_break]因此请
[uv_break]您在自行承担风险的前提下负责任地使用该项目。[uv_break]
""".replace('\n', '') # 英文仍处于实验阶段。

params_refine_text = ChatTTS.Chat.RefineTextParams(
    prompt='[oral_2][laugh_0][break_4]',
)

audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)
torchaudio.save("self_introduction_output.wav", torch.from_numpy(audio_array_en[0]), 24000)

常见问题解答

1. 我需要多少显存？推理速度如何？

对于一段30秒的音频，至少需要4GB的显存。使用4090显卡时，大约每秒可以生成7个语义标记对应的音频。实时因子（RTF）约为0.3。

2. 模型稳定性不够，存在多说话人或音频质量不佳等问题。

这通常是自回归模型（如 bark 和 valle）会遇到的问题，一般很难完全避免。可以通过多次尝试不同的参数来找到合适的结果。

3. 除了笑声之外，我们还能控制其他内容吗？能否控制其他情感？

目前发布的模型中，仅支持 [laugh]、[uv_break] 和 [lbreak] 这三种基于标记级别的控制单元。未来版本中，我们可能会开源具备更多情感控制能力的模型。

致谢

• bark、XTTSv2 和 valle 展示了自回归式系统在文本转语音任务中的卓越成果。
• fish-speech 展现了 GVQ 作为音频分词器在大语言模型建模中的潜力。
• vocos，它被用作预训练的声码器。

特别感谢

• wlu-audio lab 在早期算法实验中的支持。

感谢所有贡献者的努力

ChatTTS 快速上手指南

ChatTTS 是一款专为对话场景（如大语言模型助手）生成的语音合成模型，支持中英文混合输入，能够自然表达笑声、停顿等细粒度情感特征。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: 推荐 Python 3.11
• 硬件要求:
  • GPU: 推荐使用 NVIDIA GPU。生成 30 秒音频至少需要 4GB 显存。
  • CPU: 仅支持推理，速度较慢。
• 前置依赖: Git, pip 或 conda

安装步骤

方式一：使用 Conda 创建虚拟环境（推荐）

conda create -n chattts python=3.11
conda activate chattts
git clone https://github.com/2noise/ChatTTS
cd ChatTTS
pip install --upgrade -r requirements.txt

提示：国内用户若下载依赖缓慢，可配置清华源或阿里源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：直接通过 PyPI 安装（仅作为库使用）

pip install ChatTTS

方式三：安装最新开发版

pip install git+https://github.com/2noise/ChatTTS

注意：请勿安装 TransformerEngine 或 FlashAttention-2，目前版本可能导致运行错误或速度变慢。

基本使用

1. 启动 WebUI 界面（最直观）

在项目根目录下运行以下命令，即可在浏览器中操作：

python examples/web/webui.py

2. 命令行快速推理

直接在终端输入文本生成音频，文件将保存为 ./output_audio_n.mp3：

python examples/cmd/run.py "你好，这是 ChatTTS 的测试声音。" "Welcome to ChatTTS."

3. Python 代码调用（基础示例）

创建一个 .py 文件，写入以下代码即可快速体验：

import ChatTTS
import torch
import torchaudio

# 初始化模型
chat = ChatTTS.Chat()
# 加载模型 (compile=True 可提升性能，但首次运行较慢)
chat.load(compile=False) 

# 准备文本
texts = ["你好，我是你的 AI 助手。", "今天天气真不错！"]

# 生成音频
wavs = chat.infer(texts)

# 保存音频
for i in range(len(wavs)):
    try:
        torchaudio.save(f"output_{i}.wav", torch.from_numpy(wavs[i]).unsqueeze(0), 24000)
    except:
        torchaudio.save(f"output_{i}.wav", torch.from_numpy(wavs[i]), 24000)
    
print("音频已保存为 output_0.wav 和 output_1.wav")

进阶技巧：控制语气与笑声

ChatTTS 支持通过特殊标记控制语调、笑声和停顿：

# 定义带有控制标记的文本
# [uv_break]: 短暂停顿，[laugh]: 笑声，[lbreak]: 长停顿
text = '你好[uv_break]很高兴见到你[laugh]。今天我们要聊点什么？[lbreak]'

# 跳过文本优化，直接按标记生成
wavs = chat.infer(text, skip_refine_text=True)

torchaudio.save("controlled_output.wav", torch.from_numpy(wavs[0]), 24000)