核心特性

• 🚀轻量高效： TTS Diffusion Transformer（文本转语音扩散 Transformer）主干网络仅有 0.45B（4.5亿）参数。
• 🎧超高音质语音克隆： 您可以在 Huggingface Demo🎉 体验我们的模型。.wav 和 .npy 文件可在 link1 获取。在 link2 提交样本（.wav 格式，< 24秒，文件名请勿包含空格）即可获取可在本地使用的 .npy 语音隐变量（voice latents）。
• 🌍双语支持： 支持中文和英文，以及代码切换（code-switching）。
• ✍️可控性强： 支持口音强度控制 ✅ 和细粒度发音/时长调整（即将推出）。

MegaTTS 3 演示视频

🎯路线图

• [2025-03-22] 项目已发布！

安装

# 克隆仓库
git clone https://github.com/bytedance/MegaTTS3
cd MegaTTS3

环境要求（Linux）

# 创建 Python 3.10 的 conda 环境（也可使用 virtualenv）
conda create -n megatts3-env python=3.10
conda activate megatts3-env
pip install -r requirements.txt

# 设置根目录
export PYTHONPATH="/path/to/MegaTTS3:$PYTHONPATH"

# [可选] 设置 GPU
export CUDA_VISIBLE_DEVICES=0

# 如果在推理时遇到 pydantic 相关错误，请检查 pydantic 和 gradio 的版本是否匹配。
# [注意] 如果遇到 httpx 相关错误，请检查环境变量 "no_proxy" 是否包含 "::" 等模式。

环境要求（Windows）

# [Windows 版本目前正在测试中]
# 在 requirements.txt 中注释以下依赖：
# # WeTextProcessing==1.0.4.1

# 创建 Python 3.10 的 conda 环境（也可使用 virtualenv）
conda create -n megatts3-env python=3.10
conda activate megatts3-env
pip install -r requirements.txt
conda install -y -c conda-forge pynini==2.1.5
pip install WeTextProcessing==1.0.3

# [可选] 如需 GPU 推理，可能需要从 https://pytorch.org/ 安装适合您 GPU 的特定 PyTorch 版本。
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

# [注意] 如果遇到 `ffprobe` 或 `ffmpeg` 相关错误，可通过 `conda install -c conda-forge ffmpeg` 安装。

# 设置根目录环境变量
set PYTHONPATH="C:\path\to\MegaTTS3;%PYTHONPATH%" # Windows
$env:PYTHONPATH="C:\path\to\MegaTTS3;%PYTHONPATH%" # Windows Powershell
conda env config vars set PYTHONPATH="C:\path\to\MegaTTS3;%PYTHONPATH%" # conda 用户

# [可选] 设置 GPU
set CUDA_VISIBLE_DEVICES=0 # Windows
$env:CUDA_VISIBLE_DEVICES=0 # Windows Powershell

环境要求（Docker）

# [Docker 版本目前正在测试中]
# ! 运行以下命令前请先下载预训练检查点
docker build . -t megatts3:latest

# GPU 推理
docker run -it -p 127.0.0.1:7929:7929 --gpus all -e CUDA_VISIBLE_DEVICES=0 megatts3:latest
# CPU 推理
docker run -it -p 127.0.0.1:7929:7929  megatts3:latest

# 访问 http://127.0.0.1:7860/ 使用 gradio。

模型下载

预训练检查点可在 Google Drive 或 Huggingface 获取。请下载并放置到 ./checkpoints/xxx。

[!IMPORTANT]
出于安全考虑，我们未在上述链接中上传 WaveVAE 编码器的参数。您只能使用从 link1 获取的预提取隐变量进行推理。如需为说话人 A 合成语音，您需要在同一目录下准备 "A.wav" 和 "A.npy"。如有任何问题或建议，请邮件联系我们。

本项目主要用于学术研究。如需评估学术数据集，您可将其上传至 link2 的语音请求队列（每段不超过 24 秒）。验证上传语音无安全问题后，我们将尽快将隐变量文件上传至 link1。

未来几天，我们还将准备并发布一些常用 TTS 基准测试的隐变量表示。

推理

命令行使用（标准）

# p_w（可懂度权重, intelligibility weight）、t_w（相似度权重, similarity weight）。通常情况下，提示音频噪声越多，需要设置越高的 p_w 和 t_w
python tts/infer_cli.py --input_wav 'assets/Chinese_prompt.wav'  --input_text "另一边的桌上,一位读书人嗤之以鼻道,'佛子三藏,神子燕小鱼是什么样的人物,李家的那个李子夜如何与他们相提并论？'" --output_dir ./gen

# 只要音频音量和发音合适，在合理范围内（2.0~5.0）提高 --t_w
# 可以增加生成语音的表现力和相似度（尤其适用于一些情感场景）。
python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text 'As his long promised tariff threat turned into reality this week, top human advisers began fielding a wave of calls from business leaders, particularly in the automotive sector, along with lawmakers who were sounding the alarm.' --output_dir ./gen --p_w 2.0 --t_w 3.0

命令行用法（用于带口音的 TTS）

# 当 p_w（可懂度权重, intelligibility weight）≈ 1.0 时，生成的音频会紧密保留说话人的原始口音。随着 p_w 增加，发音会向标准发音靠拢。
# t_w（相似度权重, similarity weight）通常比 p_w 高 0-3 个点以获得最佳效果。
# 适用于带口音的 TTS 或解决跨语言 TTS 中的口音问题。
python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text '这是一条有口音的音频。' --output_dir ./gen --p_w 1.0 --t_w 3.0

python tts/infer_cli.py --input_wav 'assets/English_prompt.wav' --input_text '这条音频的发音标准一些了吗？' --output_dir ./gen --p_w 2.5 --t_w 2.5

Web UI 用法

# 我们也支持 CPU 推理，但可能需要约 30 秒（10 个推理步）。
python tts/gradio_api.py

子模块

[!TIP] 除了 TTS，本项目中的某些子模块可能还有其他用途。 示例代码请参见 ./tts/frontend_fuction.py 和 ./tts/infer_cli.py。

Aligner（对齐器）

描述： 一个鲁棒的语音-文本对齐模型，使用大量 MFA（Montreal Forced Aligner，蒙特利尔强制对齐器）专家模型生成的伪标签进行训练。

用途： 1) 为本模型准备微调数据集；2) 过滤大规模语音数据集（如果对齐器无法对齐某段语音，则该语音很可能含有噪声）；3) 音素识别；4) 语音分割。

Grapheme-to-Phoneme Model（字素到音素模型）

描述： 一个针对鲁棒字素到音素转换进行微调的 Qwen2.5-0.5B 模型。

用途： 字素到音素转换。

WaveVAE

描述： 一个强大的波形 VAE（变分自编码器, Variational Autoencoder），可将 24 kHz 语音压缩为 25 Hz 声学隐变量，并几乎无损地重建原始波形。

用途： 1) 与梅尔频谱图相比，声学隐变量可以为语音合成模型提供更紧凑、更具区分性的训练目标，加速收敛；2) 用作语音转换的声学隐变量；3) 高质量声码器。

安全

如果您在本项目中发现了潜在的安全问题，或者认为自己可能发现了安全问题，我们恳请您通过我们的安全中心或 sec@bytedance.com 通知字节跳动安全团队。

请不要创建公开的 GitHub issue。

许可证

本项目采用 Apache-2.0 许可证 授权。

引用

本仓库包含 Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis 的强制对齐版本，WavVAE 主要基于 Wavtokenizer: an efficient acoustic discrete codec tokenizer for audio language modeling。与论文中描述的模型相比，本仓库包含了额外的模型。这些模型不仅增强了算法的稳定性和克隆能力，还可以独立使用以服务于更广泛的场景。

@article{jiang2025sparse,
  title={Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis},
  author={Jiang, Ziyue and Ren, Yi and Li, Ruiqi and Ji, Shengpeng and Ye, Zhenhui and Zhang, Chen and Jionghao, Bai and Yang, Xiaoda and Zuo, Jialong and Zhang, Yu and others},
  journal={arXiv preprint arXiv:2502.18924},
  year={2025}
}

@article{ji2024wavtokenizer,
  title={Wavtokenizer: an efficient acoustic discrete codec tokenizer for audio language modeling},
  author={Ji, Shengpeng and Jiang, Ziyue and Wang, Wen and Chen, Yifu and Fang, Minghui and Zuo, Jialong and Yang, Qian and Cheng, Xize and Wang, Zehan and Li, Ruiqi and others},
  journal={arXiv preprint arXiv:2408.16532},
  year={2024}
}

MegaTTS3 快速上手指南

环境准备

项目	要求
操作系统	Linux（推荐）、Windows（测试中）、Docker
Python	3.10
PyTorch	2.6.0
GPU	可选，支持 CUDA

安装步骤

1. 克隆仓库

git clone https://github.com/bytedance/MegaTTS3
cd MegaTTS3

2. 创建虚拟环境

conda create -n megatts3-env python=3.10
conda activate megatts3-env

3. 安装依赖

pip install -r requirements.txt

4. 设置环境变量

Linux:

export PYTHONPATH="/path/to/MegaTTS3:$PYTHONPATH"
export CUDA_VISIBLE_DEVICES=0  # 可选：指定GPU

Windows:

set PYTHONPATH="C:\path\to\MegaTTS3;%PYTHONPATH%"
set CUDA_VISIBLE_DEVICES=0  # 可选：指定GPU

5. 下载模型

从 Google Drive 或 HuggingFace 下载预训练权重，解压至 ./checkpoints/xxx。

⚠️ 重要：WaveVAE 编码器参数未公开，需使用预提取的 .npy 潜变量文件。参考音频 .wav 与对应 .npy 文件需放在同一目录。

基本使用

命令行推理（标准模式）

python tts/infer_cli.py \
  --input_wav 'assets/Chinese_prompt.wav' \
  --input_text "要合成的中文文本" \
  --output_dir ./gen

参数说明：

• --p_w：可懂度权重（默认 1.0，噪音大时调高）
• --t_w：相似度权重（通常比 p_w 高 0-3，情感丰富时建议 2.0-5.0）

# 英文示例，增强表现力
python tts/infer_cli.py \
  --input_wav 'assets/English_prompt.wav' \
  --input_text 'Your English text here.' \
  --output_dir ./gen \
  --p_w 2.0 \
  --t_w 3.0

口音控制

# p_w ≈ 1.0 保留原口音，增大则趋向标准发音
python tts/infer_cli.py \
  --input_wav 'assets/English_prompt.wav' \
  --input_text '这是一条有口音的音频。' \
  --output_dir ./gen \
  --p_w 1.0 \
  --t_w 3.0

Web UI 启动

python tts/gradio_api.py

访问 http://127.0.0.1:7860 使用图形界面（CPU 推理约 30 秒/10步）。