MetaVoice-1B

MetaVoice-1B 是一个拥有 12 亿参数的基础模型，基于 10 万小时的语音数据进行训练，用于文本转语音（TTS）任务。该模型的设计优先考虑以下几点：

• 英语中的 情感丰富的语音节奏和语调。
• 支持仅需 30 秒参考音频的 美式和英式语音的零样本克隆。
• 支持通过微调实现的 跨语言语音克隆。
  • 我们已经成功使用仅 1 分钟的训练数据为印度语使用者进行语音克隆。
• 能够合成 任意长度的文本。

我们以 Apache 2.0 许可证发布 MetaVoice-1B，您可以无限制地使用它。

快速入门 - tl;dr

Web UI

docker-compose up -d ui && docker-compose ps && docker-compose logs -f

服务器

# 访问 <URL>/docs 查看 API 文档
docker-compose up -d server && docker-compose ps && docker-compose logs -f

安装

先决条件：

• GPU 显存 ≥12GB
• Python ≥3.10,<3.12
• pipx（安装说明）

环境设置

# 安装 ffmpeg
wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz
wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz.md5
md5sum -c ffmpeg-git-amd64-static.tar.xz.md5
tar xvf ffmpeg-git-amd64-static.tar.xz
sudo mv ffmpeg-git-*-static/ffprobe ffmpeg-git-*-static/ffmpeg /usr/local/bin/
rm -rf ffmpeg-git-*

# 如果尚未安装 Rust，请安装（确保安装后重启终端）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

项目依赖安装

1. 使用 Poetry（推荐）
2. 使用 pip/conda

使用 Poetry（推荐）

# 如果尚未安装 Poetry，请安装（确保安装后重启终端）
pipx install poetry

# 关闭可能干扰 Poetry 虚拟环境的任何 conda 环境
conda deactivate

# 如果您在 Linux 上运行，keyring 后端可能会导致 `poetry install` 卡住。此命令可以避免这种情况。
export PYTHON_KEYRING_BACKEND=keyring.backends.fail.Keyring

# pip 的依赖解析器可能会报错，这是暂时的预期行为，不会影响完整的推理和微调功能。
poetry install && poetry run pip install torch==2.2.1 torchaudio==2.2.1

使用 pip/conda

注意 1：当我们处理问题时，会要求您先尝试使用 Poetry。 注意 2：本 README 中的所有命令默认使用 poetry，因此您可以直接去掉 poetry run 部分。

pip install -r requirements.txt
pip install torch==2.2.1 torchaudio==2.2.1
pip install -e .

使用方法

1. 下载并在任何地方使用（包括本地），配合我们的 参考实现。

# 您可以使用 `--quantisation_mode int4` 或 `--quantisation_mode int8` 进行实验性的加速推理。这会降低音频质量。
# 注意：由于未调试的原因，int8 比 bf16/fp16 更慢。如果您想要更快的速度，可以尝试 int4，其速度大约是 bf16/fp16 的两倍。
poetry run python -i fam/llm/fast_inference.py

# 在交互式 Python 会话中运行 API 示例
tts.synthesise(text="这是 MetaVoice-1B 的文本转语音演示，MetaVoice-1B 是一个开源的基础音频模型。", spk_ref_path="assets/bria.mp3")

注意：脚本启动需要 30–90 秒（取决于硬件）。这是因为我们对模型进行了 Torch 编译以实现快速推理。

在 Ampere、Ada-Lovelace 和 Hopper 架构的 GPU 上，一旦编译完成，synthesise() API 的运行速度将超过实时，实时因子（RTF）小于 1.0。

2. 将其部署到任何云平台（AWS/GCP/Azure），使用我们的 推理服务器 或 Web UI。

# 您可以使用 `--quantisation_mode int4` 或 `--quantisation_mode int8` 进行实验性的加速推理。这会降低音频质量。
# 注意：由于未调试的原因，int8 比 bf16/fp16 更慢。如果您想要更快的速度，可以尝试 int4，其速度大约是 bf16/fp16 的两倍。

# 访问 <URL>/docs 查看 API 文档
poetry run python serving.py

poetry run python app.py

3. 通过 Hugging Face 使用。
4. Google Colab 演示

微调

我们支持对第一阶段 LLM 进行微调（参见 架构部分）。

为了进行微调，我们需要一个以竖线分隔的 CSV 数据集，格式如下：

audio_files|captions
./data/audio.wav|./data/caption.txt

请注意，我们不会检查数据集是否存在重叠，请确保您的训练集和验证集是互不重叠的。

您可以使用我们的示例数据集进行尝试：

poetry run finetune --train ./datasets/sample_dataset.csv --val ./datasets/sample_val_dataset.csv

训练完成后，您可以使用以下命令进行推理：

poetry run python -i fam/llm/fast_inference.py --first_stage_path ./my-finetuned_model.pt

配置

要设置学习率、冻结层等超参数，您可以编辑 finetune_params.py 文件。

我们还提供与 W&B 的轻量级可选集成，可通过设置 wandb_log = True 并安装相应依赖来启用。

poetry install -E observable

即将推出

• 更快的推理 ⚡
• 微调代码 📐
• 任意长度文本合成

架构

我们根据文本和说话人信息预测 EnCodec 令牌。随后，这些令牌被扩散生成波形，并通过后处理步骤进一步清理音频。

• 我们使用因果 GPT 来预测 EnCodec 令牌的前两个层级。文本和音频都作为大语言模型上下文的一部分。说话人信息则通过令牌嵌入层的条件化机制传递。该说话人条件化信息来自一个单独训练的说话人验证网络。
  • 这两个层级以“展平交错”的方式预测：先预测第一层级的第一个令牌，再预测第二层级的第一个令牌，接着预测第一层级的第二个令牌，依此类推。
  • 我们采用无条件采样来提升模型的克隆能力。
  • 文本使用一个自定义训练的、拥有 512 个令牌的 BPE 分词器进行分词。
  • 需要注意的是，我们跳过了像其他工作那样预测语义令牌的步骤，因为我们发现这并非严格必要。
• 我们使用非因果（编码器风格）的 Transformer，从前两个层级预测剩余的 6 个层级。这是一个非常小的模型（约 1000 万参数），并且对我们尝试过的大多数说话人都表现出强大的零样本泛化能力。由于它是非因果的，我们还可以并行预测所有时间步。
• 我们使用多频带扩散技术，从 EnCodec 令牌生成波形。我们注意到，与使用原始 RVQ 解码器或 VOCOS 相比，生成的语音更加清晰。然而，在波形级别进行扩散会留下一些令人不悦的背景伪影。我们会在下一步中将其清除。
• 我们使用 DeepFilterNet 来去除多频带扩散引入的伪影。

优化

该模型支持：

1. 通过 Flash Decoding 实现 KV 缓存。
2. 批量处理（包括不同长度的文本）。

贡献

• 查看所有 活跃问题！

致谢

我们感谢 Together.ai 全天候帮助我们调度集群。同时，我们也感谢 AWS、GCP 和 Hugging Face 团队在云平台方面的支持。

• A Défossez 等人 提供的 Encodec 技术。
• RS Roman 等人 提供的多频带扩散技术。
• @liusongxiang 提供的说话人编码器实现。
• @karpathy 的 NanoGPT，我们的推理实现正是基于此。
• @Rikorose 提供的 DeepFilterNet。

若我们遗漏了任何贡献者，敬请谅解。如有疏漏，请随时告知我们。

MetaVoice-1B 快速上手指南

MetaVoice-1B 是一个拥有 12 亿参数的基础文本转语音（TTS）模型，专为英语情感语调、零样本声音克隆（支持美式和英式口音）以及跨语言微调而设计。该模型基于 Apache 2.0 协议开源，可无限制使用。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 硬件要求：GPU 显存 >= 12GB
• Python 版本：3.10 <= Python < 3.12
• 工具依赖：
  • pipx (用于管理命令行工具)
  • ffmpeg (用于音频处理)
  • Rust (部分依赖编译需要)

前置依赖安装

1. 安装 ffmpeg

wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz
wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-amd64-static.tar.xz.md5
md5sum -c ffmpeg-git-amd64-static.tar.xz.md5
tar xvf ffmpeg-git-amd64-static.tar.xz
sudo mv ffmpeg-git-*-static/ffprobe ffmpeg-git-*-static/ffmpeg /usr/local/bin/
rm -rf ffmpeg-git-*

2. 安装 Rust (如果尚未安装，安装后请重启终端)

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

3. 安装 pipx 请参考官方文档安装：pipx installation instructions

安装步骤

推荐使用 Poetry 进行依赖管理。

1. 安装 Poetry 并配置环境

# 安装 poetry
pipx install poetry

# 停用可能干扰的 conda 环境
conda deactivate

# Linux 用户防止 keyring 后端挂起
export PYTHON_KEYRING_BACKEND=keyring.backends.fail.Keyring

2. 安装项目依赖

# 安装依赖并固定 torch 版本以获得最佳兼容性
poetry install && poetry run pip install torch==2.2.1 torchaudio==2.2.1

注意：如果您更习惯使用 pip 或 conda，也可以运行：

pip install -r requirements.txt
pip install torch==2.2.1 torchaudio==2.2.1
pip install -e .

但在提交问题时，官方建议优先使用 Poetry 环境复现。

基本使用

方式一：本地交互式推理 (推荐)

这是最简单的测试方式，可以直接在 Python 交互环境中调用 API。

1. 启动交互式会话

# 可选：添加 --quantisation_mode int4 以加快推理速度（音质略有下降）
poetry run python -i fam/llm/fast_inference.py

提示：首次运行时脚本可能需要 30-90 秒启动，因为模型正在进行 torch.compile 编译优化。在 Ampere、Ada-Lovelace 和 Hopper 架构显卡上，编译后的推理速度将快于实时（RTF < 1.0）。

2. 执行合成命令 在打开的 Python 交互界面中，运行以下代码：

tts.synthesise(
    text="This is a demo of text to speech by MetaVoice-1B, an open-source foundational audio model.", 
    spk_ref_path="assets/bria.mp3"
)

• text: 要合成的文本内容。
• spk_ref_path: 参考音频路径（用于声音克隆，仅需 30 秒音频即可实现零样本克隆）。

方式二：快速部署 (Web UI 或 API 服务)

如果您希望启动一个 Web 界面或 API 服务器，可以使用 Docker 快速部署。

启动 Web UI

docker-compose up -d ui && docker-compose ps && docker-compose logs -f

启动 API 服务器

# 启动后可访问 <URL>/docs 查看 API 定义
docker-compose up -d server && docker-compose ps && docker-compose logs -f

或者直接使用 Python 启动服务：

# 启动 API 服务
poetry run python serving.py

# 启动 Web UI
poetry run python app.py