仓库历史已重置。请删除本地副本并重新克隆。

（仓库历史已重置。请删除本地副本并重新克隆。）

👉🏻 IndexTTS2 👈🏻

IndexTTS2：情感丰富且时长可控的自回归零样本文本转语音技术突破

摘要

现有的自回归大规模文本转语音（TTS）模型在语音自然度方面具有优势，但其逐字处理的生成机制使得精确控制合成语音的时长变得困难。这在需要严格音画同步的应用场景中，例如视频配音，成为显著的限制。

本文介绍了IndexTTS2，提出了一种新颖、通用且与自回归模型兼容的语音时长控制方法。

该方法支持两种生成模式：一种明确指定生成的音素数量以精确控制语音时长；另一种则无需指定音素数量，以自回归方式自由生成语音，同时忠实再现输入提示中的韵律特征。

此外，IndexTTS2实现了情感表达与说话人身份的解耦，从而能够独立控制音色和情感。在零样本场景下，模型可以准确地重建目标音色（来自音色提示），同时完美还原指定的情感基调（来自风格提示）。

为提升高度情感化表达下的语音清晰度，我们引入了GPT潜在表征，并设计了一种全新的三阶段训练范式，以增强生成语音的稳定性。另外，为了降低情感控制的门槛，我们基于通义千问的微调，设计了一套基于文本描述的软指令机制，有效引导生成符合预期情感倾向的语音。

最后，多组实验结果表明，IndexTTS2在词错误率、说话人相似度以及情感保真度等方面均优于当前最先进的零样本TTS模型。音频示例可在以下链接查看：IndexTTS2演示页。

提示：如需更详细的信息，请联系作者。商业使用及合作事宜，请发送邮件至indexspeech@bilibili.com。

感受IndexTTS2

联系方式

QQ群：663272642(No.4) 1013410623(No.5)
Discord：https://discord.gg/uT32E7KDmy
邮箱：indexspeech@bilibili.com
欢迎大家加入我们的社区！ 🌏
欢迎大家来交流讨论！

[!CAUTION] 感谢您对bilibili indextts项目的大力支持！ 请注意，核心团队维护的唯一官方渠道是：https://github.com/index-tts/index-tts。 其他任何网站或服务均非官方，我们无法保证其安全性、准确性或及时性。 如需最新动态，请务必参考此官方仓库。

📣 更新

• 2025/09/08 🔥🔥🔥 我们向全球发布IndexTTS-2！
  • 首个具备精确合成时长控制功能的自回归TTS模型，支持可控与不可控两种模式。本次发布尚未启用该功能。
  • 该模型实现了高度情感化的语音合成，并通过多种输入模态实现了情感可控能力。
• 2025/05/14 🔥🔥 我们发布了IndexTTS-1.5，显著提升了模型的稳定性和英语表现。
• 2025/03/25 🔥 我们发布了包含模型权重和推理代码的IndexTTS-1.0。
• 2025/02/12 🔥 我们将论文提交至arXiv，并公开了演示和测试数据集。

🖥️ 神经网络架构

我们最先进语音模型——IndexTTS2的架构概览：

IndexTTS2的主要贡献总结如下：

• 我们提出了一种适用于自回归TTS模型的时长适配方案。IndexTTS2是首个将精确时长控制与自然时长生成相结合的自回归零样本TTS模型，且该方法可扩展应用于任何自回归大规模TTS模型。
• 将情感和说话人相关特征从输入提示中解耦，并设计了一种特征融合策略，以在情感丰富的表达中保持语义流畅和发音清晰。此外，我们还开发了一款利用自然语言描述进行情感控制的工具，方便用户操作。
• 针对缺乏高度情感化语音数据的问题，我们提出了一种有效的训练策略，显著提升了零样本TTS的情感表现力，达到当前最先进水平（SOTA）。
• 我们将公开代码和预训练权重，以促进未来的研究和实际应用。

模型下载

HuggingFace	ModelScope
😁 IndexTTS-2	IndexTTS-2
IndexTTS-1.5	IndexTTS-1.5
IndexTTS	IndexTTS

使用说明

⚙️ 环境设置

1. 请确保您的系统已安装 git 和 git-lfs。

同时，还需在当前用户账户中启用 Git-LFS 插件：

git lfs install

2. 克隆本仓库：

git clone https://github.com/index-tts/index-tts.git && cd index-tts
git lfs pull  # 下载大型文件

3. 安装 uv 包管理器。 这是构建可靠、现代化开发环境的必要条件。

[!TIP] 快速简便的安装方法：

您可以通过多种方式在本地安装 uv 命令行工具。请参阅上方链接以获取所有选项。或者，如果您希望采用更快速简便的方式，可以直接运行：

pip install -U uv

[!WARNING] 我们仅支持使用 uv 进行安装。其他工具如 conda 或 pip 并不能保证正确安装所需的依赖版本。如果不使用 uv，您几乎肯定会遇到随机性错误、报错信息、缺失 GPU 加速以及其他各种问题。因此，请勿就非标准安装方式提出任何问题，因为这些问题大多属于无效范畴。

此外，uv 的安装速度比 pip 快达 115 倍（参考：BENCHMARKS.md），这也是选择这一行业新标准来管理 Python 项目的一大理由。

4. 安装所需依赖：

我们使用 uv 来管理项目的依赖环境。以下命令将自动创建一个 .venv 目录，并安装正确版本的 Python 及所有必需的依赖项：

uv sync --all-extras

如果下载速度较慢，可以尝试使用国内镜像源，例如以下任一中国镜像：

uv sync --all-extras --default-index "https://mirrors.aliyun.com/pypi/simple"

uv sync --all-extras --default-index "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple"

[!TIP] 可选附加功能：

• --all-extras：自动启用下方列出的所有附加功能。若需自定义安装内容，可移除该参数。
• --extra webui：添加 WebUI 支持（推荐）。
• --extra deepspeed：添加 DeepSpeed 支持（可能加速部分系统的推理过程）。

[!IMPORTANT] Windows 用户注意： 对于部分 Windows 用户而言，DeepSpeed 库的安装可能存在困难。您可以移除 --all-extras 参数以跳过该组件。若仍希望启用其他附加功能，则可单独添加相应的标志。

Linux/Windows 用户注意： 如果在安装过程中出现关于 CUDA 的错误，请确保已在系统上安装 NVIDIA 的 CUDA Toolkit，且版本为 12.8 或更高。

5. 通过 uv tool 下载所需模型：

使用 huggingface-cli 下载：

uv tool install "huggingface-hub[cli,hf_xet]"

hf download IndexTeam/IndexTTS-2 --local-dir=checkpoints

或使用 modelscope 下载：

uv tool install "modelscope"

modelscope download --model IndexTeam/IndexTTS-2 --local_dir checkpoints

[!IMPORTANT] 若上述命令无法执行，请仔细阅读 uv tool 的输出信息。它会指导您如何将这些工具添加到系统路径中。

[!NOTE] 除了上述模型外，首次运行项目时还会自动下载一些小型模型。如果您的网络访问 HuggingFace 较为缓慢，建议在运行代码前先执行以下命令：

export HF_ENDPOINT="https://hf-mirror.com"

🖥️ 检查 PyTorch GPU 加速状态

若需诊断当前环境并查看已检测到的 GPU 设备，可使用我们提供的工具进行检查：

uv run tools/gpu_check.py

🔥 IndexTTS2 快速入门

🌐 网页演示

uv run webui.py

打开浏览器并访问 http://127.0.0.1:7860 即可查看演示。

你还可以调整设置，启用诸如 FP16 推理（降低显存占用）、DeepSpeed 加速、编译后的 CUDA 内核以提升速度等功能。所有可用选项可通过以下命令查看：

uv run webui.py -h

祝你玩得开心！

[!重要提示] 使用 FP16（半精度）推理会非常有帮助。它不仅速度更快，还能减少显存占用，且对音质的影响极小。

DeepSpeed 可能会在某些系统上加速推理，但也可能导致速度变慢。其性能影响高度依赖于你的具体硬件、驱动程序和操作系统。请尝试开启和关闭 DeepSpeed，以确定哪种方式在你的设备上效果最佳。

最后，请注意，所有 uv 命令都会 自动激活 项目所需的正确虚拟环境。在运行 uv 命令之前，请勿手动激活任何虚拟环境，否则可能会导致依赖冲突！

📝 在 Python 中使用 IndexTTS2

要运行脚本，必须使用 uv run <file.py> 命令，以确保代码在当前的 “uv” 环境中执行。有时，你还需要将当前目录添加到 PYTHONPATH 中，以便找到 IndexTTS 模块。

通过 uv 运行脚本的示例：

PYTHONPATH="$PYTHONPATH:." uv run indextts/infer_v2.py

以下是几种在自定义脚本中使用 IndexTTS2 的示例：

1. 使用单个参考音频文件合成新语音（语音克隆）：

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False, use_cuda_kernel=False, use_deepspeed=False)
text = "Translate for me, what is a surprise!"
tts.infer(spk_audio_prompt='examples/voice_01.wav', text=text, output_path="gen.wav", verbose=True)

2. 使用单独的情感参考音频文件来调节语音合成：

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False, use_cuda_kernel=False, use_deepspeed=False)
text = "酒楼丧尽天良，开始借机竞拍房间，哎，一群蠢货。"
tts.infer(spk_audio_prompt='examples/voice_07.wav', text=text, output_path="gen.wav", emo_audio_prompt="examples/emo_sad.wav", verbose=True)

3. 当指定了情感参考音频时，你可以选择性地设置 emo_alpha 来调整其对输出的影响程度。有效范围为 0.0 - 1.0，默认值为 1.0（100%）：

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False, use_cuda_kernel=False, use_deepspeed=False)
text = "酒楼丧尽天良，开始借机竞拍房间，哎，一群蠢货。"
tts.infer(spk_audio_prompt='examples/voice_07.wav', text=text, output_path="gen.wav", emo_audio_prompt="examples/emo_sad.wav", emo_alpha=0.9, verbose=True)

4. 也可以不提供情感参考音频，而是直接给出一个包含 8 个浮点数的列表，按顺序指定每种情感的强度：[happy, angry, sad, afraid, disgusted, melancholic, surprised, calm]。此外，你还可以使用 use_random 参数来引入随机性；默认值为 False，将其设置为 True 则会启用随机性：

[!注释] 启用随机采样会降低语音合成的克隆保真度。

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False, use_cuda_kernel=False, use_deepspeed=False)
text = "对不起嘛！我的记性真的不太好，但是和你在一起的事情，我都会努力记住的~"
tts.infer(spk_audio_prompt='examples/09.wav', text=text，output_path="gen.wav", emo_vector=[0, 0, 0.8, 0, 0, 0, 0, 0], use_random=False，verbose=True)

5. 或者，你可以启用 use_emo_text，根据你提供的文本内容来引导情感。此时，文本将自动转换为情感向量。建议在使用文本情感模式时，将 emo_alpha 设置为 0.6 左右（或更低），以获得更自然的语音效果。你还可以通过 use_random 引入随机性（默认为 False；设置为 True 则启用随机性）：

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False，use_cuda_kernel=False，use_deepspeed=False)
text = "快躲起来！是他要来了！他要来抓我们了！"
tts.infer(spk_audio_prompt='examples/voice_12.wav', text=text，output_path="gen.wav”，emo_alpha=0.6，use_emo_text=True，use_random=False，verbose=True)

6. 你也可以直接通过 emo_text 参数提供特定的情感描述。系统会自动将该描述转换为情感向量，从而实现对文本内容和情感描述的独立控制：

from indextts.infer_v2 import IndexTTS2
tts = IndexTTS2(cfg_path="checkpoints/config.yaml", model_dir="checkpoints", use_fp16=False，use_cuda_kernel=False，use_deepspeed=False)
text = "快躲起来！是他要来了！他要来抓我们了！"
emo_text = "你吓死我了！你是鬼吗？"
tts.infer(spk_audio_prompt='examples/voice_12.wav', text=text，output_path="gen.wav”，emo_alpha=0.6，use_emo_text=True，emo_text=emo_text，use_random=False，verbose=True)

[!提示] 拼音使用说明：

IndexTTS2 仍然支持汉字与拼音的混合建模。当你需要精确控制发音时，请提供带有具体拼音标注的文本，以激活拼音控制功能。请注意，拼音控制并非适用于所有辅音—元音组合；仅支持有效的中文拼音情况。完整支持的条目列表请参阅 checkpoints/pinyin.vocab。

示例：

之前你做DE5很好，所以这一次也DEI3做DE2很好才XING2，如果这次目标完成得不错的话，我们就直接打DI1去银行取钱。

旧版：IndexTTS1 使用指南

你也可以通过导入不同的模块来使用我们之前的 IndexTTS1 模型：

from indextts.infer import IndexTTS
tts = IndexTTS(model_dir="checkpoints",cfg_path="checkpoints/config.yaml")
voice = "examples/voice_07.wav"
text = "大家好，我现在正在bilibili 体验 ai 科技，说实话，来之前我绝对想不到！AI技术已经发展到这样匪夷所思的地步了！比如说，现在正在说话的其实是B站为我现场复刻的数字分身，简直就是平行宇宙的另一个我了。如果大家也想体验更多深入的AIGC功能，可以访问 bilibili studio，相信我，你们也会吃惊的。"
tts.infer(voice, text, 'gen.wav')

如需更多信息，请参阅 README_INDEXTTS_1_5，或访问 IndexTTS1 仓库：index-tts:v1.5.0。

我们的发布与演示

IndexTTS2：[论文]；[演示]；[ModelScope]；[HuggingFace]

IndexTTS1：[论文]；[演示]；[ModelScope]；[HuggingFace]

致谢

1. tortoise-tts
2. XTTSv2
3. BigVGAN
4. wenet
5. icefall
6. maskgct
7. seed-vc

Bilibili 的贡献者

我们衷心感谢 Bilibili 各个岗位的同事们，正是大家的共同努力才使得 IndexTTS 系列得以实现。

核心作者

• Wei Deng - 核心作者；发起并主导了 IndexTTS 项目，负责 IndexTTS1 数据流水线、模型架构设计与训练，以及 IndexTTS 系列模型的迭代优化工作，专注于基础能力构建与性能提升。
• Siyi Zhou – 核心作者；在 IndexTTS2 中，主导了模型架构设计与训练流水线优化，重点聚焦多语言及情感合成等核心功能。
• Jingchen Shu - 核心作者；参与整体架构设计、跨语言建模方案及训练策略优化，推动模型迭代。
• Xun Zhou - 核心作者；负责跨语言数据处理与实验，探索多语言训练策略，并为音频质量提升及稳定性评估作出贡献。
• Jinchao Wang - 核心作者；从事模型开发与部署工作，搭建推理框架并支持系统集成。
• Yiquan Zhou - 核心作者；参与模型实验与验证，并提出和实现了基于文本的情感控制方法。
• Yi He - 核心作者；参与模型实验与验证工作。
• Lu Wang – 核心作者；负责数据处理与模型评估，支持模型训练与性能验证。

技术支持人员

• Yining Wang - 支持性贡献者；参与开源代码的实现与维护，支持功能适配与社区发布。
• Yong Wu - 支持性贡献者；负责数据处理与实验支持，确保模型训练与迭代所需的数据质量和效率。
• Yaqin Huang – 支持性贡献者；参与系统的模型评估与效果跟踪，提供反馈以支持迭代改进。
• Yunhan Xu – 支持性贡献者；在录音与数据采集方面提供指导，同时从产品与运营角度提出反馈，以提升易用性和实际应用价值。
• Yuelang Sun – 支持性贡献者；在音频录制与数据采集方面提供专业支持，确保用于模型训练与评估的高质量数据。
• Yihuang Liang - 支持性贡献者；负责系统的模型评估与项目推广，帮助 IndexTTS 扩大影响力与用户参与度。

技术指导

• Huyang Sun - 为 IndexTTS 项目提供了强有力的支持，确保战略方向一致及资源保障。
• Bin Xia - 参与技术方案的评审、优化及后续跟进工作，重点关注模型的有效性。

📚 引用

🌟 如果您觉得我们的工作有所帮助，请为我们点亮星标并引用我们的论文。

IndexTTS2：

@article{zhou2025indextts2,
  title={IndexTTS2：一种突破性的情感丰富且时长可控的自回归零样本文语转换系统},
  author={Siyi Zhou, Yiquan Zhou, Yi He, Xun Zhou, Jinchao Wang, Wei Deng, Jingchen Shu},
  journal={arXiv 预印本 arXiv:2506.21619},
  year={2025}
}

IndexTTS：

@article{deng2025indextts,
  title={IndexTTS：一个工业级可控且高效的零样本文语转换系统},
  author={Wei Deng, Siyi Zhou, Jingchen Shu, Jinchao Wang, Lu Wang},
  journal={arXiv 预印本 arXiv:2502.05512},
  year={2025},
  doi={10.48550/arXiv.2502.05512},
  url={https://arxiv.org/abs/2502.05512}
}

IndexTTS2 快速上手指南

IndexTTS2 是一款突破性的自回归零样本语音合成模型，支持精确的语音时长控制和高表现力的情感合成，并能实现音色与情感的解耦控制。

1. 环境准备

系统要求

• 操作系统: Linux 或 Windows
• GPU: 推荐 NVIDIA 显卡，需安装 CUDA Toolkit 12.8 或更高版本以启用加速。
• 前置工具:
  • Git
  • Git LFS (用于下载大模型文件)

前置检查

确保已安装 Git 并启用 LFS：

git lfs install

2. 安装步骤

第一步：克隆仓库

git clone https://github.com/index-tts/index-tts.git && cd index-tts
git lfs pull

第二步：安装依赖管理工具 uv

官方强烈推荐并使用 uv 进行环境管理（比 pip 快且能避免依赖冲突）。

pip install -U uv

第三步：创建虚拟环境并安装依赖

使用国内镜像源加速下载（推荐阿里云或清华源）：

通用命令（包含所有额外功能，如 WebUI 和 DeepSpeed）：

uv sync --all-extras --default-index "https://mirrors.aliyun.com/pypi/simple"

注：Windows 用户若安装 DeepSpeed 失败，可去掉 --all-extras 参数，仅安装基础依赖和 webui：uv sync --extra webui --default-index "https://mirrors.aliyun.com/pypi/simple"

第四步：下载模型权重

通过 uv tool 安装下载工具并从国内镜像或官方源拉取模型。

方案 A：使用 ModelScope（国内推荐）

uv tool install "modelscope"
modelscope download --model IndexTeam/IndexTTS-2 --local_dir checkpoints

方案 B：使用 HuggingFace（需配置镜像） 若网络访问 HF 较慢，请先设置镜像环境变量：

export HF_ENDPOINT="https://hf-mirror.com"

然后执行：

uv tool install "huggingface-hub[cli,hf_xet]"
hf download IndexTeam/IndexTTS-2 --local-dir=checkpoints

提示：首次运行时可能还会自动下载一些小型辅助模型，请保持网络通畅。

3. 基本使用

启动 Web 演示界面 (推荐)

这是最简单的使用方式，提供图形化界面进行语音合成、情感控制和时长调整。

uv run webui.py

启动成功后，在浏览器访问： http://127.0.0.1:7860

进阶选项

• 降低显存占用/加速: 在 WebUI 界面中勾选 FP16 (半精度推理)，可显著减少显存使用并提升速度，且音质损失极小。
• 查看帮助: 如需命令行参数详情，运行：

  uv run webui.py -h
  

验证 GPU 加速

如需确认环境是否正确识别了 GPU，可运行检测脚本：

uv run tools/gpu_check.py