👉🏻 FireRedTTS-1S 论文 👈🏻

👉🏻 FireRedTTS-1S 演示 👈🏻

⚠️ 注意：当前分支为 FireRedtts-1s。如需访问 FireRedtts-1，请切换至 FireRedtts-1 分支。

最新动态

• [2025/05/26] 🔥 我们添加了流匹配解码器，并更新了技术报告。
• [2025/03/25] 🔥 我们发布了技术报告和项目页面。

路线图

• 2025/04
  • 发布预训练检查点和推理代码。

使用方法

克隆与安装

• 克隆仓库

https://github.com/FireRedTeam/FireRedTTS.git
cd FireRedTTS

• 创建 Conda 环境

# 步骤1：创建环境
conda create --name redtts python=3.10

# 步骤2：安装 PyTorch（PyTorch 版本需与您机器上的 CUDA 版本匹配）
# CUDA 11.8
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# 步骤3：从源码安装 FireRedTTS
cd fireredtts
pip install -e . 

# 步骤4：安装其他依赖
pip install -r requirements.txt

下载模型

从Model_Lists下载所需的模型文件，并将其放置在 pretrained_models 文件夹中。

基本用法

import os
import torchaudio![alt text](image.png)
from fireredtts.fireredtts import FireRedTTS

# 声学 LLM 解码器
tts = FireRedTTS(
        config_path="configs/config_24k.json",
        pretrained_path=<pretrained_models_dir>,
  )


"""
# 流匹配解码器
tts = FireRedTTS(
        config_path="configs/config_24k_flow.json",
        pretrained_path=<pretrained_models_dir>,
)
"""

# 同语言
# 为了测试评估的严格性，我们启用了 use_tn=True 配置选项。
rec_wavs = tts.synthesize(
  prompt_wav="examples/prompt_1.wav",
  prompt_text="对，所以说你现在的话，这个账单的话，你既然说能处理，那你就想办法处理掉。",
  text="小红书，是中国大陆的网络购物和社交平台，成立于二零一三年六月。",
  lang="zh",
  use_tn=True
)




rec_wavs = rec_wavs.detach().cpu()
out_wav_path = os.path.join("./example.wav")
torchaudio.save(out_wav_path, rec_wavs, 24000)

使用提示

• 参考音频不宜过长或过短，建议时长为 3 至 10 秒。
• 参考音频应流畅自然，且配套文本必须准确，以提升合成音频的稳定性和自然度。

致谢

• Tortoise-tts 和 XTTS-v2 为我们构建自回归风格的系统提供了宝贵的见解。
• 我们参考了 fish-speech 的文本分词方案。
• 我们参考了 BigCodec 的语音编解码方案。
• 我们参考了 Encodec 的因果卷积方案。
• 我们参考了 SpeechBrain 的 ECAPA-TDNN 方案。
• 我们参考了 ChineseSpeechPretrain 的 HuBERT 模型。

⚠️ 使用免责声明 ❗️❗️❗️❗️❗️❗️

• 本项目包含零样本语音克隆功能；请注意，此功能仅用于学术研究目的。
• 严禁将本模型用于任何非法活动❗️❗️❗️❗️❗️❗️
• 开发者对本模型的任何滥用行为不承担任何责任。
• 如您发现与本项目相关的滥用、误用或欺诈行为，请立即向我们团队报告。

FireRedTTS-1S 快速上手指南

FireRedTTS-1S 是一个升级版的可流式基础文本转语音（TTS）系统，支持零样本语音克隆。本指南将帮助中国开发者快速完成环境搭建与基础推理。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 Windows (推荐 Linux)
• Python 版本: 3.10
• GPU 驱动: 已安装 NVIDIA 驱动，并确认 CUDA 版本（支持 CUDA 11.8 或 12.1）
• 包管理工具: 已安装 conda 和 git

安装步骤

1. 克隆项目代码

git clone https://github.com/FireRedTeam/FireRedTTS.git
cd FireRedTTS

注意：当前默认分支为 FireRedtts-1s。如需使用旧版 FireRedtts-1，请切换分支。

2. 创建并激活 Conda 环境

conda create --name redtts python=3.10
conda activate redtts

3. 安装 PyTorch

请根据您本地的 CUDA 版本选择对应的安装命令：

方案 A：CUDA 11.8

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

方案 B：CUDA 12.1

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

(国内用户若下载缓慢，可尝试添加清华源 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/)

4. 安装 FireRedTTS 及依赖

cd fireredtts
pip install -e .
pip install -r requirements.txt

5. 下载预训练模型

从 HuggingFace Model Lists 下载所需的模型文件，并将其放置在项目根目录下的 pretrained_models 文件夹中。

基本使用

以下是最基础的中文语音合成示例。该示例使用参考音频（Prompt）来克隆音色，并生成目标文本的语音。

import os
import torchaudio
from fireredtts.fireredtts import FireRedTTS

# 初始化模型 (使用 acoustic llm decoder)
# 请将 <pretrained_models_dir> 替换为您的实际模型路径，例如 "./pretrained_models"
tts = FireRedTTS(
        config_path="configs/config_24k.json",
        pretrained_path="<pretrained_models_dir>",
)

"""
# 如果使用 flow matching decoder，请使用以下配置:
tts = FireRedTTS(
        config_path="configs/config_24k_flow.json",
        pretrained_path="<pretrained_models_dir>",
)
"""

# 执行语音合成
# prompt_wav: 参考音频路径 (建议时长 3-10 秒，声音清晰自然)
# prompt_text: 参考音频对应的文字内容
# text: 需要合成的目标文字
# lang: 语言代码 ("zh" 代表中文)
# use_tn: 是否启用文本正则化 (测试集评估时建议开启)
rec_wavs = tts.synthesize(
  prompt_wav="examples/prompt_1.wav",
  prompt_text="对，所以说你现在的话，这个账单的话，你既然说能处理，那你就想办法处理掉。",
  text="小红书，是中国大陆的网络购物和社交平台，成立于二零一三年六月。",
  lang="zh",
  use_tn=True
)

# 保存生成的音频
rec_wavs = rec_wavs.detach().cpu()
out_wav_path = os.path.join("./example.wav")
torchaudio.save(out_wav_path, rec_wavs, 24000)

print(f"音频已保存至：{out_wav_path}")

💡 使用小贴士

• 参考音频：时长建议控制在 3 到 10 秒 之间。过短或过长可能影响效果。
• 音质要求：参考音频应流畅自然，且提供的对应文本必须准确，这将直接决定合成语音的稳定性和自然度。
• 免责声明：本项目包含零样本语音克隆功能，仅限学术研究使用。严禁用于任何非法活动、欺诈或滥用行为。