Amphion：一款开源的音频、音乐和语音生成工具包

Amphion（/æmˈfaɪən/）是一款用于音频、音乐和语音生成的工具包。 其宗旨是支持可复现的研究，并帮助初学者研究人员和工程师入门音频、音乐和语音生成领域的研究与开发。Amphion 的一项独特功能是提供经典模型或架构的可视化展示。我们相信，这些可视化对于希望更深入理解模型的初学者研究人员和工程师大有裨益。

Amphion 的核心目标是提供一个平台，用于研究如何将任意输入转换为音频。 Amphion 旨在支持多种具体的生成任务，包括但不限于：

• TTS：文本到语音（⛳ 已支持）
• SVS：歌声合成（⛳ 已支持）
• VC：语音转换（⛳ 已支持）
• AC：口音转换（⛳ 已支持）
• SVC：歌声转换（⛳ 已支持）
• TTA：文本到音频（⛳ 已支持）
• TTM：文本到音乐（👨‍💻 正在开发中）
• 更多……

除了具体的生成任务外，Amphion 还包含多种声码器和评估指标。声码器是生成高质量音频信号的重要模块，而评估指标则对确保生成任务中的一致性至关重要。此外，Amphion 致力于推动音频生成技术在实际应用中的发展，例如构建用于语音合成的大规模数据集。

🚀 新闻

• 2026年3月25日: 我们发布了Vevo2，这是一个统一且可控的语音与歌声生成框架。Vevo2通过统一的韵律学习，实现了可控语音与歌声生成之间的桥梁，支持TTS、SVS、VC、SVC、歌声编辑、演唱风格转换、旋律控制等多种功能。
• 2025年5月26日: 我们发布了DualCodec，这是一种低帧率（12.5Hz或25Hz）、语义增强（带有SSL特征）的神经音频编解码器，旨在提取离散标记以实现高效的语音生成。
• 2025年4月12日: 我们发布了Vevo1.5，它扩展了Vevo的功能，专注于语音和歌声的统一可控生成。Vevo1.5可应用于一系列语音和歌声生成任务，包括VC、TTS、AC、SVS、SVC、语音/歌声编辑、演唱风格转换等。
• 2025年2月26日: 我们发布了Metis，这是一个用于统一语音生成的基础模型。该系统支持零样本文本到语音转换、语音转换、目标说话人提取、语音增强以及唇形同步语音等功能。
• 2025年2月26日: 包含超过20万小时数据的Emilia-Large数据集现已开放!!! Emilia-Large结合了原始的10.1万小时Emilia数据集（采用CC BY-NC 4.0许可）与全新的11.4万小时Emilia-YODAS数据集（采用CC BY 4.0许可）。可在下载。详细信息请参阅。
• 2025年1月30日: 我们发布了Amphion v0.2技术报告，其中全面概述了2024年Amphion的各项更新。
• 2025年1月23日: MaskGCT和Vevo已被ICLR 2025接收！🎉
• 2024年12月22日: 我们发布了Vevo的复现版本，这是一个具有可控音色和风格的零样本语音模仿框架。Vevo可应用于一系列语音生成任务，包括VC、TTS、AC等。发布的预训练模型基于Emilia数据集训练，并在零样本VC任务中达到了SOTA水平。
• 2024年10月19日: 我们发布了MaskGCT，这是一种完全非自回归的TTS模型，无需显式的文本与语音监督之间的对齐信息。MaskGCT基于Emilia数据集训练，在零样本TTS任务中达到了SOTA水平。
• 2024年9月1日: Amphion、Emilia和DSFF-SVC已被IEEE SLT 2024接收！🤗
• 2024年8月28日: 欢迎加入Amphion的Discord频道，与社区保持联系并互动！
• 2024年8月20日: SingVisio已被Computers & Graphics接收，详情请见此处! 🎉
• 2024年8月27日: Emilia数据集现已公开发布! 现在您可以在或发现这个包含10.1万小时野外语音数据的最广泛、最多样化的语音生成数据集！👑👑👑
• 2024年7月1日: Amphion现在发布了Emilia，这是首个开源的多语言野外语音生成数据集，包含超过10.1万小时的语音数据；同时发布了Emilia-Pipe，这是首个开源的预处理管道，旨在将野外语音数据转化为高质量的标注训练数据，用于语音生成！
• 2024年3月12日: Amphion现在支持NaturalSpeech3 FACodec，并发布了预训练检查点。
• 2024年2月22日: Amphion首个可视化工具SingVisio发布。
• 2023年12月18日: Amphion v0.1发布。
• 2023年11月28日: Amphion alpha版本发布。

⭐ 核心功能

TTS：文本到语音

• Amphion 在文本到语音（TTS）系统方面，相较于现有的开源库，达到了最先进的性能。它支持以下模型或架构：
  • FastSpeech2：一种非自回归的 TTS 架构，采用前馈 Transformer 块。
  • VITS：一种端到端的 TTS 架构，利用条件变分自编码器结合对抗学习。
  • VALL-E：一种零样本 TTS 架构，使用具有离散码的神经编解码语言模型。
  • NaturalSpeech2：一种基于潜在扩散模型生成自然语音的 TTS 架构。
  • Jets：一个端到端的 TTS 模型，联合训练 FastSpeech2 和 HiFi-GAN，并配备对齐模块。
  • MaskGCT：一种完全非自回归的 TTS 架构，无需显式的文本与语音监督之间的对齐信息。
  • Vevo-TTS：一种可控制音色和风格的零样本 TTS 架构，由自回归 Transformer 和流匹配 Transformer 组成。
  • DualCodec-VALLE：基于 12.5Hz DualCodec 令牌训练的 VALLE 模型，用于超快速生成。

VC：语音转换

Amphion 支持以下语音转换模型：

• Vevo：一个可控制音色和风格的零样本语音模仿框架。Vevo-Timbre 进行保持风格的语音转换，而 Vevo-Voice 则进行风格转换的语音转换。
• FACodec：FACodec 将语音分解为表示内容、韵律和音色等不同属性的子空间，能够实现零样本语音转换。
• Noro：一个抗噪声的零样本语音转换系统。Noro 引入了专为使用嘈杂参考语音进行 VC 而设计的创新组件，包括双分支参考编码模块和噪声无关的对比说话人损失。

神经音频编解码器

• DualCodec，一种低帧率（12.5Hz 或 25Hz）、语义增强（带有 SSL 特征）的神经音频编解码器，旨在提取离散令牌以实现高效的语音生成。
• FACodec：FACodec 将语音分解为表示内容、韵律和音色等不同属性的子空间。

AC：口音转换

• Amphion 支持通过 Vevo-Style 进行 AC。特别是，它可以以零样本的方式进行口音转换。

SVC：歌声转换

• Vevo2：一个统一且可控的语音和歌声生成框架。Vevo2 支持保持风格的 VC/SVC、风格转换的 VC/SVC、TTS、SVS、歌声编辑、歌声风格转换、旋律控制等。
• Vevo1.5：一个多功能的零样本语音模仿框架，用于统一的语音和歌声生成，支持 VC、TTS、AC、SVS、SVC、编辑、歌声风格转换等。
• Amphion 支持来自多种预训练模型的多模态内容特征，包括 WeNet、Whisper 和 ContentVec。这些模型在 SVC 中的具体作用已在我们 SLT 2024 的论文中进行了研究。
• Amphion 实现了多种最先进的模型架构，包括扩散模型、Transformer 模型、VAE 模型和流模型。其中，扩散模型架构采用 双向扩张 CNN 作为后端，并支持多种采样算法，如 DDPM、DDIM 和 PNDM。此外，它还支持基于 一致性模型 的单步推理。

TTA：文本到音频

• Amphion 使用潜在扩散模型支持 TTA。其设计类似于 AudioLDM、Make-an-Audio 和 AUDIT。它同时也是我们 NeurIPS 2023 论文中文本到音频生成部分的官方实现。

语音合成器

• Amphion 支持多种广泛使用的神经网络语音合成器，包括：
  • 基于 GAN 的语音合成器：MelGAN、HiFi-GAN、NSF-HiFiGAN、BigVGAN、APNet。
  • 基于流的语音合成器：WaveGlow。
  • 基于扩散模型的语音合成器：Diffwave。
  • 基于自回归模型的语音合成器：WaveNet、WaveRNN。
• Amphion 提供了 多尺度常Q变换判别器（我们 ICASSP 2024 论文）的官方实现。它可以在训练过程中用于增强任何基于 GAN 的语音合成器架构，同时保持推理阶段的性能（如内存占用或速度）不变。

评估

Amphion 提供对生成音频的全面客观评估。

支持的评估指标包括：

• 基频建模：基频皮尔逊相关系数、基频周期性均方根误差、基频均方根误差、有声/无声 F1 分数等。
• 能量建模：能量均方根误差、能量皮尔逊相关系数等。
• 可懂度：字符/单词错误率，可基于 Whisper 等工具计算。
• 频谱失真：弗雷歇音频距离 (FAD)、梅尔倒谱失真 (MCD)、多分辨率 STFT 距离 (MSTFT)、语音质量感知评价 (PESQ)、短时客观可懂度 (STOI) 等。
• 说话人相似度：余弦相似度，可基于 RawNet3、Resemblyzer、WeSpeaker、WavLM 等计算。

数据集

• Amphion 统一了开源数据集的数据预处理流程，涵盖 AudioCaps、LibriTTS、LJSpeech、M4Singer、Opencpop、OpenSinger、SVCC、VCTK 等。支持的数据集列表可在 这里 查看（持续更新）。
• Amphion 独家支持 Emilia 数据集及其预处理流水线 Emilia-Pipe，专为野生环境下的语音数据设计！

可视化

Amphion 提供可视化工具，以交互方式展示经典模型的内部处理机制。这为教育目的和促进可理解的研究提供了宝贵的资源。

目前，Amphion 支持 SingVisio，一款用于歌唱语音转换的扩散模型可视化工具。

📀 安装

Amphion 可通过 Setup 安装程序或 Docker 镜像进行安装。

Setup 安装程序

git clone https://github.com/open-mmlab/Amphion.git
cd Amphion

# 创建 Python 环境
conda create --name amphion python=3.9.15
conda activate amphion

# 安装 Python 包依赖
sh env.sh

Docker 镜像

1. 安装 Docker、NVIDIA 驱动程序、NVIDIA 容器工具包 和 CUDA。

2. 运行以下命令：

git clone https://github.com/open-mmlab/Amphion.git
cd Amphion

docker pull realamphion/amphion
docker run --runtime=nvidia --gpus all -it -v .:/app realamphion/amphion

使用 Docker 时，必须通过 -v 参数挂载数据集。更多详情请参阅 在 Docker 容器中挂载数据集 和 Docker 文档。

🐍 Python 使用

我们在以下示例中详细介绍了不同任务的操作说明：

• 文本到语音 (TTS)
• 语音转换 (VC)
• 口音转换 (AC)
• 歌唱语音转换 (SVC)
• 文本到音频 (TTA)
• 语音合成器
• 评估
• 可视化

👨‍💻 贡献

我们非常欢迎所有有助于改进 Amphion 的贡献。请参阅 CONTRIBUTING.md 获取贡献指南。

🙏 致谢

• ming024 的 FastSpeech2 和 jaywalnut310 的 VITS，感谢其提供的模型架构代码。
• lifeiteng 的 VALL-E，感谢其提供的训练流程和模型架构设计。
• SpeechTokenizer，感谢其语义蒸馏分词器的设计。
• WeNet、Whisper、ContentVec 和 RawNet3，感谢其提供的预训练模型和推理代码。
• HiFi-GAN，感谢其提供的基于 GAN 的语音合成器架构设计和训练策略。
• Encodec，感谢其组织良好的 GAN 判别器架构和基础模块。
• Latent Diffusion，感谢其提供的模型架构设计。
• TensorFlowTTS，感谢其提供的 MFA 工具准备。

©️ 许可证

Amphion 采用 MIT 许可证，无论用于研究还是商业用途均免费。

📚 参考文献

Amphion v0.2：

@article{amphion_v0.2,
  title        = {Amphion 工具包概述（v0.2）},
  author       = {李佳琪、张雪瑶、王元成、何浩睿、王超仁、王力、廖欢、敖俊毅、谢泽宇、黄一乔、张俊安、吴志正},
  year         = {2025},
  journal      = {arXiv 预印本 arXiv:2501.15442},
}

Amphion v0.1：

@inproceedings{amphion,
    author={张雪瑶、薛留萌、顾义成、王元成、李佳琪、何浩睿、王超仁、宋婷、陈曦、方子豪、陈浩鹏、张俊安、唐子莹、邹乐晓、王明轩、韩俊、陈凯、李海舟、吴志正},
    title={Amphion：一个开源的音频、音乐和语音生成工具包},
    booktitle={{IEEE} 口语语言技术研讨会，{SLT} 2024},
    year={2024}
}

Amphion 快速上手指南

Amphion 是一个开源的音频、音乐和语音生成工具包，旨在支持可复现的研究，并帮助初学者快速进入该领域。它支持文本转语音 (TTS)、歌声合成 (SVS)、语音转换 (VC)、歌声转换 (SVC) 等多种任务，并提供独特的模型可视化功能。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 版本 3.8 或更高。
• GPU: 推荐使用 NVIDIA GPU (CUDA 11.7+) 以加速模型训练和推理。
• Git: 用于克隆代码库。
• FFmpeg: 用于音频处理。

前置依赖安装 (以 Ubuntu 为例):

sudo apt-get update
sudo apt-get install -y git ffmpeg libsndfile1-dev

2. 安装步骤

建议通过 conda 创建独立的虚拟环境进行安装。

步骤 1: 克隆仓库

git clone https://github.com/open-mmlab/Amphion.git
cd Amphion

步骤 2: 创建并激活 Conda 环境

conda create -n amphion python=3.9
conda activate amphion

步骤 3: 安装核心依赖

Amphion 提供了 requirements.txt 文件。为了获得更快的下载速度，国内用户可配置 pip 使用清华源或阿里源。

# 配置国内镜像源 (可选，推荐国内用户使用)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装依赖
pip install -r requirements.txt

步骤 4: 安装 Amphion 包

pip install -e .

注意: 部分高级功能（如特定声码器或评估指标）可能需要额外安装对应的子模块依赖，请参考具体任务目录下的 README.md。

3. 基本使用

Amphion 采用统一的命令行接口。以下以运行一个预训练的 文本转语音 (TTS) 模型为例，展示最简单的推理流程。

场景：使用预训练模型进行 TTS 推理

假设您已下载了预训练模型（例如 MaskGCT），并准备好了一段输入文本。

1. 准备配置文件和输入数据 确保您有对应的实验配置文件夹（通常在 egs/tts/ 下）和包含输入文本的文件 input.txt。

2. 执行推理命令 使用 amphion 命令行工具调用推理脚本。以下命令结构为通用模板，具体参数需根据所选模型调整：

python scripts/inference.py \
    --config egs/tts/MaskGCT/conf/train.yaml \
    --checkpoint_path checkpoints/maskgct.pth \
    --input_file data/input.txt \
    --output_dir results/output_audio

• --config: 指向模型的配置文件。
• --checkpoint_path: 指向预训练权重文件 (.pth)。
• --input_file: 包含待合成文本的文件路径。
• --output_dir: 生成音频文件的保存路径。

获取预训练模型

您可以从以下平台直接下载官方提供的预训练模型和数据集：

• HuggingFace: https://huggingface.co/amphion
• ModelScope (魔搭): https://modelscope.cn/organization/amphion (国内访问速度更快)
• OpenXLab: https://openxlab.org.cn/usercenter/Amphion

进阶：可视化功能

Amphion 的特色之一是模型可视化。如果您想分析歌声合成模型的结构，可以使用其内置的可视化工具（如 SingVisio）：

# 示例：启动可视化服务 (具体命令参考 egs/visualization/SingVisio/README.md)
python egs/visualization/SingVisio/app.py

更多详细任务（如 SVC、VC、TTA）的配置和训练流程，请参阅仓库中对应目录（如 egs/svc/, models/vc/）下的 README.md 文档。