本作品采用知识共享署名-非商业性使用4.0国际许可协议授权。

AudioDec：一款开源的流式高保真神经音频编解码器

亮点

• 针对48 kHz单声道语音的可流式高保真音频编解码器，比特率为12.8 kbps。
• 在**GPU（约6 ms）和CPU（约10 ms）**上，使用4个线程时解码延迟极低。
• 高效的两阶段训练流程（借助预训练模型，为新应用训练编码器仅需数小时）。

摘要

适用于电信等实时应用的良好音频编解码器应具备三个关键特性：(1) 压缩率，即传输信号所需的比特率应尽可能低；(2) 延迟，即编码和解码速度需足够快，以实现无延迟或仅有极小延迟的通信；(3) 信号重建质量。在本工作中，我们提出了一种开源、可流式且支持实时处理的神经音频编解码器，该编解码器在这三个方面均表现出色：它能够在仅12 kbps的比特率下重建高度自然的48 kHz语音信号，并且具有低于6 ms（GPU）/10 ms（CPU）的延迟。此外，我们还展示了一种高效的训练范式，可用于开发面向实际场景的此类神经音频编解码器。[论文] [演示]

AudioDec 的两种模式

1. 自编码器（对称AudioDec，symAD） 1-1. 使用纯度量损失，在前20万次迭代中从头开始训练自编码器模型。 1-2. 固定编码器、投影器、量化器和码本，在接下来的50万次迭代中使用判别器训练解码器。
2. 自编码器 + 声码器（AD v0,1,2，推荐！） 2-1. 提取由已训练编码器提取的码的统计信息（全局均值和方差）。 2-2. 使用已训练的编码器和这些统计信息，训练声码器50万次迭代。

最新消息

• 2025年3月3日：后续工作FlowDec已发布。
• 2024年1月3日：更新了预训练模型（issue9 和 issue11）。
• 2023年5月17日：将演示音频上传至演示页面。
• 2023年5月13日：发布了1.0版本。

系统要求

本仓库已在Ubuntu 20.04系统上，使用V100显卡及以下配置进行测试：

• Python 3.8+
• CUDA 11.0+
• PyTorch 1.10+

文件夹结构

• bin: 训练、统计信息提取、测试和流媒体模板所在的文件夹。
• config: 配置文件（.yaml）存放的文件夹。
• dataloader: 数据加载的源代码。
• exp: 用于保存模型的文件夹。
• layers: 基础神经网络层的源代码。
• losses: 损失函数的源代码。
• models: 模型的源代码。
• slurmlogs: 用于保存Slurm作业日志的文件夹。
• stats: 用于保存统计信息的文件夹。
• trainer: 训练器的源代码。
• utils: 演示相关工具的源代码。

运行实时流式编解码演示

1. 请下载整个exp文件夹，并将其放置在AudioDec项目目录中。
2. 获取所有I/O设备列表

$ python -m sounddevice

3. 运行演示

# 推荐使用LibriTTS模型，因为它对麦克风通道不匹配具有较强的鲁棒性。
# 根据I/O设备列表设置输入输出设备

# 使用GPU
$ python demoStream.py --tx_cuda 0 --rx_cuda 0 --input_device 1 --output_device 4 --model libritts_v1

# 使用CPU
$ python demoStream.py --tx_cuda -1 --rx_cuda -1 --input_device 1 --output_device 4 --model libritts_sym

# 输入和输出音频将分别保存为input.wav和output.wav

使用文件运行编解码演示

1. 请下载整个exp文件夹，并将其放置在AudioDec项目目录中。
2. 运行演示

## VCTK 48000Hz模型
$ python demoFile.py --model vctk_v1 -i xxx.wav -o ooo.wav

## LibriTTS 24000Hz模型
$ python demoFile.py --model libritts_v1 -i xxx.wav -o ooo.wav

训练和测试完整的AudioDec流水线

1. 准备训练/验证/测试语料，并将其分别放入三个不同的文件夹中， 例如：corpus/train、corpus/dev和corpus/test。
2. 修改路径（如：/mnt/home/xxx/datasets）至以下文件中： submit_codec_vctk.sh config/autoencoder/symAD_vctk_48000_hop300.yaml config/statistic/symAD_vctk_48000_hop300_clean.yaml config/vocoder/AudioDec_v1_symAD_vctk_48000_hop300_clean.yaml
3. 在以下配置文件中指定相应的analyzer和stats： config/statistic/symAD_vctk_48000_hop300_clean.yaml config/vocoder/AudioDec_v1_symAD_vctk_48000_hop300_clean.yaml
4. 按照submit_codec_vctk.sh中的使用说明，执行训练和测试。

# 阶段0：从零开始训练自编码器
# 阶段1：提取统计信息
# 阶段2：从零开始训练声码器
# 阶段3：测试（对称自编码器）
# 阶段4：测试（自编码器+声码器）

# 执行阶段0至4
$ bash submit_codec.sh --start 0 --stop 4 \
--autoencoder "autoencoder/symAD_vctk_48000_hop300" \
--statistic "stati/symAD_vctk_48000_hop300_clean" \
--vocoder "vocoder/AudioDec_v1_symAD_vctk_48000_hop300_clean"

仅训练和测试自编码器

1. 准备训练/验证/测试语料，并修改路径。
2. 按照submit_autoencoder.sh中的使用说明，执行训练和测试。

# 从零开始训练自编码器
$ bash submit_autoencoder.sh --stage 0 \
--tag_name "autoencoder/symAD_vctk_48000_hop300"

# 继续之前迭代的自编码器训练
$ bash submit_autoencoder.sh --stage 1 \
--tag_name "autoencoder/symAD_vctk_48000_hop300" \
--resumepoint 200000

# 测试自编码器
$ bash submit_autoencoder.sh --stage 2 \
--tag_name "autoencoder/symAD_vctk_48000_hop300"
--subset "clean_test"

预训练模型

所有预训练模型均可通过 exp 获取（仅提供生成器）。

自编码器	语料库	采样率	码率	路径
symAD	VCTK	48 kHz	24 kbps	exp/autoencoder/symAD_c16_vctk_48000_hop320
symAAD	VCTK	48 kHz	12.8 kbps	exp/autoencoder/symAAD_vctk_48000_hop300
symAD	VCTK	48 kHz	12.8 kbps	exp/autoencoder/symAD_vctk_48000_hop300
symAD_univ	VCTK	48 kHz	12.8 kbps	exp/autoencoder/symADuniv_vctk_48000_hop300
symAD	LibriTTS	24 kHz	6.4 kbps	exp/autoencoder/symAD_libritts_24000_hop300

声码器	语料库	采样率	路径
AD v0	VCTK	48 kHz	exp/vocoder/AudioDec_v0_symAD_vctk_48000_hop300_clean
AD v1	VCTK	48 kHz	exp/vocoder/AudioDec_v1_symAD_vctk_48000_hop300_clean
AD v2	VCTK	48 kHz	exp/vocoder/AudioDec_v2_symAD_vctk_48000_hop300_clean
AD_univ	VCTK	48 kHz	exp/vocoder/AudioDec_v3_symADuniv_vctk_48000_hop300_clean
AD v1	LibriTTS	24 kHz	exp/vocoder/AudioDec_v1_symAD_libritts_24000_hop300_clean

附录：降噪

1. 只需使用带噪-干净语音对更新编码器（保持解码器/声码器不变），即可轻松实现降噪。
2. 准备带噪-干净语音语料，并按照 submit_denoise.sh 中的使用说明运行训练和测试。

# 更新用于降噪的编码器
$ bash submit_denoise.sh --stage 0 \
--tag_name "denoise/symAD_vctk_48000_hop300"

# 降噪
$ bash submit_denoise.sh --stage 2 \
--encoder "denoise/symAD_vctk_48000_hop300"
--decoder "vocoder/AudioDec_v1_symAD_vctk_48000_hop300_clean"
--encoder_checkpoint 200000
--decoder_checkpoint 500000
--subset "noisy_test"

# 使用 GPU 的流式演示
$ python demoStream.py --tx_cuda 0 --rx_cuda 0 --input_device 1 --output_device 4 --model vctk_denoise

# 使用文件的编解码演示
$ python demoFile.py -i xxx.wav -o ooo.wav --model vctk_denoise

引用

如果您觉得本代码有所帮助，请引用以下论文。

@INPROCEEDINGS{10096509,
  author={Wu, Yi-Chiao and Gebru, Israel D. and Marković, Dejan and Richard, Alexander},
  booktitle={ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={{A}udio{D}ec: An Open-Source Streaming High-Fidelity Neural Audio Codec}, 
  year={2023},
  doi={10.1109/ICASSP49357.2023.10096509}}

参考文献

AudioDec 仓库基于以下项目开发：

• kan-bayashi/ParallelWaveGAN
• r9y9/wavenet_vocoder
• jik876/hifi-gan
• lucidrains/vector-quantize-pytorch
• chomeyama/SiFiGAN

许可证

“AudioDec: 一个开源的高保真流式神经音频编解码器”的大部分内容采用 CC-BY-NC 许可证，但项目的部分内容则遵循单独的许可条款：https://github.com/kan-bayashi/ParallelWaveGAN、https://github.com/lucidrains/vector-quantize-pytorch、https://github.com/jik876/hifi-gan、https://github.com/r9y9/wavenet_vocoder 以及 https://github.com/chomeyama/SiFiGAN 均采用 MIT 许可证。

常见问题解答

1. 您是否将 AudioDec 与 Encodec 进行过比较？
   请参阅 讨论。
2. 您是否将 AudioDec 与 Opus 等非神经网络编解码器进行过比较？
   由于本文重点在于提供一种具有高效训练范式和模块化架构的成熟流式神经编解码器实现，我们仅将 AudioDec 与 SoundStream 进行了比较。
3. 是否也会发布预训练的判别器？
   对于许多应用（如降噪），仅更新编码器即可达到与更新整个模型几乎相同的效果。而对于涉及解码器更新的应用（如双耳渲染），可能更适合为该特定应用设计专用判别器。因此，我们仅发布生成器。
4. AudioDec 是否可以编解码多声道信号？
   是的，您可以通过修改配置中的 input_channels 和 output_channels 来训练 MIMO 模型。我在训练 MIMO 模型时学到的一点经验是：尽管生成器本身是 MIMO 的，但在后续判别器处理前将生成器输出信号重塑为单声道，能够显著提升 MIMO 音质。

AudioDec 快速上手指南

AudioDec 是一个开源的流式高保真神经音频编解码器，专为实时应用（如电信）设计。它支持 48 kHz 单声道语音，比特率低至 12.8 kbps，并在 GPU 上实现约 6 ms、CPU 上约 10 ms 的极低解码延迟。

环境准备

本项目已在 Ubuntu 20.04 系统上使用 V100 GPU 测试通过。请确保满足以下前置依赖：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• CUDA: 11.0 或更高版本
• PyTorch: 1.10 或更高版本

提示：国内用户建议使用清华源或阿里源加速 PyTorch 及相关依赖的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/facebookresearch/AudioDec.git
   cd AudioDec
   

2. 安装 Python 依赖 虽然原文未提供 requirements.txt，但根据项目结构，通常需要安装基础音频处理和深度学习库。请确保已安装 PyTorch，然后安装其他必要包（如 sounddevice, librosa, pyyaml 等）：

   pip install sounddevice librosa pyyaml numpy scipy
   # 如果尚未安装 PyTorch，请参考 pytorch.org 使用国内镜像安装
   # 例如：pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型 运行演示或推理前，必须下载预训练模型文件夹 (exp) 并解压到项目根目录。

   • 下载地址: exp.zip
   • 操作: 下载后解压，确保 exp 文件夹位于 AudioDec 项目目录下。

   # 示例：使用 wget 下载（需自行替换为实际下载链接或手动下载后上传）
   # wget https://github.com/facebookresearch/AudioDec/releases/download/pretrain_models_v02/exp.zip
   # unzip exp.zip
   

基本使用

1. 文件编解码演示（最简单用法）

对现有的音频文件进行编码和解码。

• VCTK 数据集模型 (48kHz):

  python demoFile.py --model vctk_v1 -i input.wav -o output.wav
  

• LibriTTS 数据集模型 (24kHz):

  python demoFile.py --model libritts_v1 -i input.wav -o output.wav
  

  注：请将 input.wav 替换为你的输入文件路径，output.wav 为输出文件路径。

2. 实时流式编解码演示

通过麦克风输入并实时播放解码后的音频。

1. 查看音频设备列表：

   python -m sounddevice
   

   记下输入设备 (input_device) 和输出设备 (output_device) 的 ID。

2. 运行流式演示：

   • 使用 GPU (推荐 LibriTTS 模型，对麦克风通道不匹配更具鲁棒性)：

     python demoStream.py --tx_cuda 0 --rx_cuda 0 --input_device 1 --output_device 4 --model libritts_v1
     

     (请根据上一步查到的设备 ID 修改 --input_device 和 --output_device)

   • 使用 CPU:

     python demoStream.py --tx_cuda -1 --rx_cuda -1 --input_device 1 --output_device 4 --model libritts_sym
     

   运行后，程序将捕获麦克风输入并实时从扬声器播放重建的音频，同时保存 input.wav 和 output.wav 到当前目录。

3. 进阶：降噪功能 (Bonus)

AudioDec 支持通过仅更新编码器来实现降噪。

• 文件降噪处理：

  python demoFile.py -i noisy_input.wav -o denoised_output.wav --model vctk_denoise
  

• 实时流式降噪：

  python demoStream.py --tx_cuda 0 --rx_cuda 0 --input_device 1 --output_device 4 --model vctk_denoise