语言：🇺🇸 | 🇨🇳

VALL-E 的非官方 PyTorch 实现（论文标题：Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers，arXiv:2301.02111）。

我们可以在单块 GPU 上训练 VALL-E 模型。

演示

• 官方演示：valle-demo.github.io
• 复现演示：lifeiteng.github.io/valle/index.html

更广泛的影响

由于 VALL-E 能够合成保持说话人身份特征的语音，因此该模型可能存在被滥用的风险，例如用于欺骗语音识别系统或冒充特定说话人。

为避免滥用，我们不会提供经过充分训练的模型和服务。

安装依赖

为了快速上手，请按照以下步骤操作：

# PyTorch
pip install torch==1.13.1 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install torchmetrics==0.11.1
# fbank
pip install librosa==0.8.1

# phonemizer pypinyin
apt-get install espeak-ng
## OSX: brew install espeak
pip install phonemizer==3.2.1 pypinyin==0.48.0

# lhotse 更新至最新版本
# https://github.com/lhotse-speech/lhotse/pull/956
# https://github.com/lhotse-speech/lhotse/pull/960
pip uninstall lhotse
pip uninstall lhotse
pip install git+https://github.com/lhotse-speech/lhotse

# k2
# 在 https://huggingface.co/csukuangfj/k2 找到合适的版本
pip install https://huggingface.co/csukuangfj/k2/resolve/main/cuda/k2-1.23.4.dev20230224+cuda11.6.torch1.13.1-cp310-cp310-linux_x86_64.whl

# icefall
git clone https://github.com/k2-fsa/icefall
cd icefall
pip install -r requirements.txt
export PYTHONPATH=`pwd`/../icefall:$PYTHONPATH
echo "export PYTHONPATH=`pwd`/../icefall:\$PYTHONPATH" >> ~/.zshrc
echo "export PYTHONPATH=`pwd`/../icefall:\$PYTHONPATH" >> ~/.bashrc
cd -
source ~/.zshrc

# valle
git clone https://github.com/lifeiteng/valle.git
cd valle
pip install -e .

训练与推理

• 英语示例 examples/libritts/README.md

• 中文示例 examples/aishell1/README.md

• NAR 解码器的前缀模式 0 1 2 4

  论文第 5.1 章 “LibriLight 数据集中波形的平均长度为 60 秒。在训练过程中，我们随机截取 10 到 20 秒之间的任意长度。对于 NAR 声学提示标记，我们从同一句话中随机选择一段 3 秒钟的波形。”
  • 0：无声学提示标记
  • 1：当前批次话语中的随机前缀 (推荐使用)
  • 2：当前批次话语中的随机片段
  • 4：与论文一致（因为他们会将长波形随机切割成多个话语，因此“相同话语”指的是同一段长波形中的前后话语。）

    # 如果使用 prefix_mode 4 训练 NAR 解码器
    python3 bin/trainer.py --prefix_mode 4 --dataset libritts --input-strategy PromptedPrecomputedFeatures ...
    

LibriTTS 演示 在一块 24GB 显存的 GPU 上训练完成

cd examples/libritts

# 步骤1 准备数据集
bash prepare.sh --stage -1 --stop-stage 3

# 步骤2 在一块 24GB 显存的 GPU 上训练模型
exp_dir=exp/valle

## 训练 AR 模型
python3 bin/trainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \
      --num-buckets 6 --dtype "bfloat16" --save-every-n 10000 --valid-interval 20000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}

## 训练 NAR 模型
cp ${exp_dir}/best-valid-loss.pt ${exp_dir}/epoch-2.pt  # --start-epoch 3=2+1
python3 bin/trainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \
      --num-buckets 6 --dtype "float32" --save-every-n 10000 --valid-interval 20000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 40 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}

# 步骤3 推理
python3 bin/infer.py --output-dir infer/demos \
    --checkpoint=${exp_dir}/best-valid-loss.pt \
    --text-prompts "KNOT 一点一五英里每小时。" \
    --audio-prompts ./prompts/8463_294825_000043_000000.wav \
    --text "要快速上手，只需按照以下步骤操作。" \

# 演示推理
https://github.com/lifeiteng/lifeiteng.github.com/blob/main/valle/run.sh#L68

故障排除

• SummaryWriter 分段错误（核心转储）
  • 代码行 tb_writer = SummaryWriter(log_dir=f"{params.exp_dir}/tensorboard")
  • 修复方法 https://github.com/tensorflow/tensorboard/pull/6135/files

  file=`python  -c 'import site; print(f"{site.getsitepackages()[0]}/tensorboard/summary/writer/event_file_writer.py")'`
  sed -i 's/import tf/import tensorflow_stub as tf/g' $file
  

如何在自定义数据集上训练？

• 将数据集准备为 lhotse manifests
  • 参考文档：lhotse/recipes
• python3 bin/tokenizer.py ...
• python3 bin/trainer.py ...

贡献

• 将 bin/tokenizer.py 在多块 GPU 上并行化
• 

引用

引用本仓库时，请使用以下格式：

@misc{valle,
  author={Feiteng Li},
  title={VALL-E: 一种神经编解码语言模型},
  year={2023},
  url={http://github.com/lifeiteng/vall-e}
}

@article{VALL-E,
  title     = {Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers},
  author    = {Chengyi Wang, Sanyuan Chen, Yu Wu,
               Ziqiang Zhang, Long Zhou, Shujie Liu,
               Zhuo Chen, Yanqing Liu, Huaming Wang,
               Jinyu Li, Lei He, Sheng Zhao, Furu Wei},
  year      = {2023},
  eprint    = {2301.02111},
  archivePrefix = {arXiv},
  volume    = {abs/2301.02111},
  url       = {http://arxiv.org/abs/2301.02111},
}

星标历史

VALL-E 快速上手指南

VALL-E 是一个基于神经编解码语言模型的零样本文本转语音（TTS）系统的非官方 PyTorch 实现。该版本支持在单张 GPU 上进行训练。

1. 环境准备

系统要求：

• Linux 操作系统（推荐）
• Python 3.10
• NVIDIA GPU (支持 CUDA 11.6，显存建议 24GB 以复现官方效果，训练可适配更小显存)
• espeak-ng (用于音素转换)

前置依赖安装： 首先安装系统级依赖 espeak-ng：

# Ubuntu/Debian
apt-get install espeak-ng

# macOS
brew install espeak

2. 安装步骤

请依次执行以下命令安装 Python 依赖。为确保兼容性，建议严格按照指定版本安装 PyTorch 及相关库。

# 1. 安装 PyTorch (CUDA 11.6 版本)
pip install torch==1.13.1 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install torchmetrics==0.11.1

# 2. 安装音频处理库
pip install librosa==0.8.1

# 3. 安装音素转换库
pip install phonemizer==3.2.1 pypinyin==0.48.0

# 4. 安装最新版 Lhotse (需卸载旧版以防冲突)
pip uninstall lhotse -y
pip uninstall lhotse -y
pip install git+https://github.com/lhotse-speech/lhotse

# 5. 安装 k2 (根据 CUDA 和 Torch 版本选择对应 wheel)
pip install https://huggingface.co/csukuangfj/k2/resolve/main/cuda/k2-1.23.4.dev20230224+cuda11.6.torch1.13.1-cp310-cp310-linux_x86_64.whl

# 6. 安装 icefall 并配置环境变量
git clone https://github.com/k2-fsa/icefall
cd icefall
pip install -r requirements.txt
export PYTHONPATH=`pwd`/../icefall:$PYTHONPATH
# 将环境变量写入配置文件以便永久生效
echo "export PYTHONPATH=`pwd`/../icefall:\$PYTHONPATH" >> ~/.zshrc
echo "export PYTHONPATH=`pwd`/../icefall:\$PYTHONPATH" >> ~/.bashrc
cd -
source ~/.zshrc

# 7. 克隆并安装 VALL-E
git clone https://github.com/lifeiteng/valle.git
cd valle
pip install -e .

3. 基本使用

以下以 LibriTTS (英文) 数据集为例，展示从数据准备、模型训练到推理的完整流程。

第一步：准备数据集

进入示例目录并运行预处理脚本：

cd examples/libritts
bash prepare.sh --stage -1 --stop-stage 3

第二步：训练模型

本示例展示如何在单张 24G 显存 GPU 上训练 AR (自回归) 和 NAR (非自回归) 模型。

1. 训练 AR 模型：

exp_dir=exp/valle

python3 bin/trainer.py --max-duration 80 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 1 \
      --num-buckets 6 --dtype "bfloat16" --save-every-n 10000 --valid-interval 20000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 20 --start-epoch 1 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}

2. 训练 NAR 模型： 需要先复制 AR 模型的检查点作为初始化，然后继续训练。

cp ${exp_dir}/best-valid-loss.pt ${exp_dir}/epoch-2.pt

python3 bin/trainer.py --max-duration 40 --filter-min-duration 0.5 --filter-max-duration 14 --train-stage 2 \
      --num-buckets 6 --dtype "float32" --save-every-n 10000 --valid-interval 20000 \
      --model-name valle --share-embedding true --norm-first true --add-prenet false \
      --decoder-dim 1024 --nhead 16 --num-decoder-layers 12 --prefix-mode 1 \
      --base-lr 0.05 --warmup-steps 200 --average-period 0 \
      --num-epochs 40 --start-epoch 3 --start-batch 0 --accumulate-grad-steps 4 \
      --exp-dir ${exp_dir}

注：--prefix-mode 1 表示使用当前批次语句的随机前缀作为声学提示，这是推荐设置。

第三步：模型推理

使用训练好的模型进行语音合成。你需要提供一段参考音频（audio-prompts）和对应的文本（text-prompts），以及想要合成的新文本。

python3 bin/infer.py --output-dir infer/demos \
    --checkpoint=${exp_dir}/best-valid-loss.pt \
    --text-prompts "KNOT one point one five miles per hour." \
    --audio-prompts ./prompts/8463_294825_000043_000000.wav \
    --text "To get up and running quickly just follow the steps below."

生成的音频将保存在 infer/demos 目录下。

注意：由于 VALL-E 具有保持说话人身份的合成能力，可能存在被滥用的风险（如语音伪造）。本项目不提供预训练好的模型文件或直接服务，用户需自行训练以确保合规使用。