GLM-TTS：基于多奖励强化学习的可控且富有情感表达的零样本TTS

中文阅读

📜 论文   |   🤗 HuggingFace   |   🤖 ModelScope   |   🛠️Audio.Z.AI

模型介绍

GLM-TTS 是一款基于大型语言模型的高质量文本到语音（TTS）合成系统，支持零样本语音克隆和流式推理。该系统采用两阶段架构：首先利用 LLM 生成语音标记序列，然后使用 Flow 模型将标记转换为高质量音频波形。通过引入多奖励强化学习框架，GLM-TTS 能够生成更具表现力和情感的语音，显著提升传统 TTS 系统的表现力。

新闻与更新

• [2025.12.11] 🎉 项目正式开源，包含推理脚本和一系列模型权重。
• [2025.12.17] GLM-TTS 技术报告已在 arXiv 上发布：2512.14291。
• [即将推出] 2D Vocos 声码器更新正在进行中。
• [即将推出] 通过强化学习优化的模型权重。

特性

• 零样本语音克隆：仅需 3–10 秒的提示音频即可克隆任何说话者的音色。
• RL 增强的情感控制：通过多奖励强化学习框架实现更自然的情感表达和韵律控制。
• 流式推理：支持实时流式音频生成，适用于交互式应用。
• 高质量合成：生成自然且富有表现力的语音，质量可媲美商业系统。
• 多语言支持：主要支持中文，同时也支持英文混合文本。
• 音素级建模：支持音素级别的文本到语音转换。
• 灵活的推理方法：支持多种采样策略和推理模式。

快速入门

环境搭建

请确保使用 Python 3.10 至 Python 3.12 版本。

# 克隆仓库
git clone https://github.com/zai-org/GLM-TTS.git
cd GLM-TTS

# 安装依赖
pip install -r requirements.txt

# 安装强化学习相关依赖（可选）
cd grpo/modules
git clone https://github.com/s3prl/s3prl
git clone https://github.com/omine-me/LaughterSegmentation
# 下载 wavlm_large_finetune.pth 并放置于 grpo/ckpt 目录

下载预训练模型

我们支持从 HuggingFace 或 ModelScope 下载完整的模型权重（包括分词器、LLM、Flow、声码器和前端处理模块）。

# 创建模型目录
mkdir -p ckpt

# 选项 1：从 HuggingFace 下载
pip install -U huggingface_hub
huggingface-cli download zai-org/GLM-TTS --local-dir ckpt

# 选项 2：从 ModelScope 下载
pip install -U modelscope
modelscope download --model ZhipuAI/GLM-TTS --local_dir ckpt

运行推理演示

命令行推理

python glmtts_inference.py \
    --data=example_zh \
    --exp_name=_test \
    --use_cache \
    # --phoneme # 添加此标志以启用音素功能。

Shell 脚本推理

bash glmtts_inference.sh

交互式 Web 界面

python -m tools.gradio_app

系统架构

概述

GLM-TTS 采用两阶段设计：第一阶段，基于 Llama 架构的大语言模型（LLM）将输入文本转换为语音标记序列；第二阶段，Flow Matching 模型将这些标记序列转换为高质量的梅尔频谱图，最后通过声码器生成音频波形。该系统支持零样本语音克隆，无需针对特定说话者进行微调，即可从提示音频中提取说话者特征。

细粒度发音控制（Phoneme-in）

对于需要高发音准确性的场景，如教育评估和有声读物，GLM-TTS 引入了 Phoneme-in 机制，以解决多音字（例如“行”可读作 xíng 或 háng）和生僻字的自动发音歧义问题。该机制支持 “混合音素 + 文本” 输入，从而对特定词汇的发音进行精确、定向的控制。

• 混合训练 在训练过程中，随机对部分文本进行 G2P（字符到音素）转换。这一策略迫使模型适应混合输入序列，使其在保留理解纯文本能力的同时，增强对音素输入的泛化能力。

• 定向推理 推理遵循 G2P -> 表格查找替换 -> 混合输入 的流程：

  1. 全局转换：获取输入文本的完整音素序列。
  2. 动态替换：利用“动态可控词典”，自动识别多音字或生僻字，并将其替换为目标音素。
  3. 混合生成：将替换后的音素与原始文本结合，作为混合输入送入 GLM-TTS。这样既能确保特定词语的精确发音，又能保持自然的韵律。

RL 对齐

为了解决传统 TTS 情感表达平淡的问题，我们引入了多奖励强化学习框架。该框架通过多个奖励函数（包括相似度奖励、CER 奖励、情感奖励、笑声奖励等）对生成的语音进行全面评估，并使用 GRPO（Group Relative Policy Optimization）算法优化 LLM 的生成策略。具体来说：

1. 多奖励设计：系统设计了多种奖励函数，从不同维度评估生成语音的质量，包括音质、相似度、情感表达等。
2. 奖励服务器：通过分布式奖励服务器计算多个奖励函数，支持并行处理。
3. 策略优化：基于奖励信号，使用 GRPO 算法优化 LLM 的生成策略，从而提升语音的情感表现力。
4. 词元级奖励：支持细粒度的词元级奖励分配，提供更精确的优化信号。

通过 RL 优化，GLM-TTS_RL 相较于基础模型，将 CER 指标从 1.03 降低至 0.89，同时保持高相似度，实现了更好的音质和表现力。

核心组件与实现

LLM 后端

• 文件位置：llm/glmtts.py
• 功能：基于 Llama 架构的文本到语音模型，负责将输入文本转换为语音词元序列。
• 支持模式：预训练（PRETRAIN）、微调（SFT）和 LoRA 模式。

流匹配

• 文件位置：flow/ 目录
• 核心文件：
  • dit.py：扩散 Transformer 实现，支持条件生成。
  • flow.py：流式推理支持，实现实时音频生成。
• 功能：将 LLM 生成的词元序列转换为高质量的梅尔谱图。

前端

• 文件位置：cosyvoice/cli/frontend.py
• 功能：对文本和语音进行预处理，包括文本归一化、音素转换、语音词元提取以及说话人嵌入提取。
• 特性：支持中英文混合文本处理。

强化学习模块

• 文件位置：grpo/ 目录
• 核心文件：
  • grpo_utils.py：GRPO 算法实现及批量推理。
  • reward_func.py：多奖励函数实现。
  • reward_server.py：分布式奖励服务器。
• 功能：通过多奖励强化学习优化 TTS 系统的情感表现力。

评估结果

在 seed-tts-eval zh testset 上进行评估。为保持与原评估的一致性，推理过程中未使用 --phoneme 标志。

CER：字符错误率（越低越好 $\downarrow$）| SIM：相似度（越高越好 $\uparrow$）

模型	CER $\downarrow$	SIM $\uparrow$	开源
MegaTTS3	1.52	79.0	🔒 否
DiTAR	1.02	75.3	🔒 否
CosyVoice3	1.12	78.1	🔒 否
Seed-TTS	1.12	79.6	🔒 否
MiniMax	0.83	78.3	🔒 否
CosyVoice2	1.38	75.7	👐 是
F5-TTS	1.53	76.0	👐 是
FireRedTTS-2	1.14	73.6	👐 是
IndexTTS2	1.03	76.5	👐 是
VibeVoice	1.16	74.4	👐 是
HiggsAudio-v2	1.50	74.0	👐 是
VoxCPM	0.93	77.2	👐 是
GLM-TTS（我们的模型）	1.03	76.1	👐 是
GLM-TTS_RL（我们的模型）	0.89	76.4	👐 是

项目结构

GLM-TTS/
├── glmtts_inference.py              # 主推理脚本，包含完整的推理流程
├── glmtts_inference.sh              # 预训练模型推理脚本
├── configs/                         # 配置文件目录
│   ├── spk_prompt_dict.yaml         # 说话人提示词字典
│   ├── lora_adapter_configV3.1.json # LoRA 适配器配置
│   ├── G2P_able_1word.json          # 单个字符音素转换配置
│   ├── G2P_all_phonemes.json        # 全部音素列表
│   ├── G2P_replace_dict.jsonl       # 音素替换字典
│   └── custom_replace.jsonl         # 自定义替换规则
├── cosyvoice/                       # Cosyvoice 模块
│   ├── cli/
│   │   └── frontend.py              # 文本和语音前端处理
│   └── utils/                       # 工具函数
├── examples/                        # 示例数据
│   ├── *.jsonl                      # 示例 jsonl 文件
│   └── prompt/                      # 提示音频目录
│       ├── *.wav                    # 提示音频（仅用于研究）
│       └── LICENSE                  # 音频文件许可
├── flow/                            # 流模型相关
│   ├── dit.py                       # 连续扩散 Transformer 实现
│   ├── flow.py                      # 流式流模型
│   └── modules.py                   # 流模型基础模块
├── grpo/                            # 强化学习模块
│   ├── grpo_utils.py                # GRPO 算法实现
│   ├── reward_func.py               # 多奖励函数
│   ├── reward_server.py             # 分布式奖励服务器
│   ├── train_ds_grpo.py             # GRPO 训练脚本
│   └── data/                        # 训练数据和配置
├── llm/                             # 大语言模型相关
│   └── glmtts.py                    # GLM-TTS LLM 实现
├── frontend/                        # 前端模型文件
│   ├── campplus.onnx                # 说话人嵌入模型
│   └── cosyvoice_frontend.yaml      # 前端配置
├── tools/                           # 工具脚本
│   ├── gradio_app.py                # Gradio 交互界面
│   ├── ffmpeg_speech_control.py     # 音频处理工具
│   └── flow_reconstruct.py          # 音频重建
└── utils/                           # 公用工具
    ├── tts_model_util.py            # TTS 模型工具
    ├── yaml_util.py                 # YAML 配置加载工具
    ├── audio.py                     # 音频处理工具
    ├── seed_util.py                 # 随机种子工具
    ├── block_mask_util.py           # 块掩码工具
    ├── vocos_util.py                # Vocos 编码器工具
    ├── hift_util.py                 # Hift 编码器工具
    ├── whisper_models/              # Whisper 模型组件
    └── glm_g2p.py                   # 文本到音素转换

致谢

我们感谢以下开源项目的支持：

• CosyVoice - 提供前端处理框架和高质量声码器
• Llama - 提供基础语言模型架构
• Vocos - 提供高质量声码器
• GRPO-Zero - 强化学习算法实现的灵感来源

---

引用

如果您在研究中使用了 GLM-TTS，请引用我们的技术报告：

@misc{cui2025glmttstechnicalreport,
      title={GLM-TTS 技术报告}, 
      author={Jiayan Cui 和 Zhihan Yang 和 Naihan Li 和 Jiankun Tian 和 Xingyu Ma 和 Yi Zhang 和 Guangyu Chen 和 Runxuan Yang 和 Yuqing Cheng 和 Yizhi Zhou 和 Guochen Yu 和 Xiaotao Gu 和 Jie Tang},
      year={2025},
      eprint={2512.14291},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2512.14291}, 
}

GLM-TTS 快速上手指南

GLM-TTS 是一个基于大语言模型的高质量文本转语音（TTS）系统，支持零样本声音克隆、流式推理以及通过多奖励强化学习实现的情感表达控制。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10 - 3.12
• 硬件要求: 建议使用 NVIDIA GPU 以获得最佳推理速度
• 网络环境: 需要访问 HuggingFace 或 ModelScope 下载模型权重

2. 安装步骤

2.1 克隆项目代码

git clone https://github.com/zai-org/GLM-TTS.git
cd GLM-TTS

2.2 安装基础依赖

pip install -r requirements.txt

2.3 安装强化学习相关依赖（可选）

如果您计划使用或研究强化学习（RL）相关功能，请执行以下步骤：

cd grpo/modules
git clone https://github.com/s3prl/s3prl
git clone https://github.com/omine-me/LaughterSegmentation
# 注意：需手动下载 wavlm_large_finetune.pth 并放置于 grpo/ckpt 目录
cd ../..

2.4 下载预训练模型

推荐使用 ModelScope (魔搭) 国内镜像源加速下载，也可选择 HuggingFace。

方式一：使用 ModelScope（推荐国内用户）

pip install -U modelscope
modelscope download --model ZhipuAI/GLM-TTS --local_dir ckpt

方式二：使用 HuggingFace

pip install -U huggingface_hub
huggingface-cli download zai-org/GLM-TTS --local-dir ckpt

3. 基本使用

安装完成后，您可以通过以下三种方式进行推理测试。

3.1 命令行推理（最简示例）

运行以下命令即可使用默认示例数据进行测试：

python glmtts_inference.py \
    --data=example_zh \
    --exp_name=_test \
    --use_cache

提示: 如需启用音素级控制（提高生僻字或多音字准确率），请添加 --phoneme 参数。

3.2 脚本化推理

项目提供了封装好的 Shell 脚本，方便批量或标准化运行：

bash glmtts_inference.sh

3.3 交互式 Web 界面

启动 Gradio 网页界面，可在浏览器中实时体验声音克隆和文本合成：

python -m tools.gradio_app

启动后，请在终端输出的地址（通常为 http://localhost:7860）打开浏览器，上传 3-10 秒的参考音频即可开始零样本克隆。