Descript 音频编解码器 (.dac)：采用改进 RVQGAN 的高保真音频压缩

本仓库包含 Descript 音频编解码器 (.dac) 的训练与推理脚本，这是一种高保真通用神经网络音频编解码器，相关介绍发表在论文 采用改进 RVQGAN 的高保真音频压缩 中。

arXiv 论文：采用改进 RVQGAN 的高保真音频压缩
📈 演示网站
⚙ 模型权重

👉 使用 Descript 音频编解码器，您可以将 44.1 KHz 音频 压缩为离散编码，且比特率低至 8 kbps。
🤌 这相当于约 90倍压缩，同时保持卓越的音质并最大限度地减少失真。
💪 我们的通用模型适用于所有领域（语音、环境音、音乐等），因此可广泛应用于各类音频的生成建模。
👌 它可以作为 EnCodec 的直接替代品，用于所有音频语言建模任务（如 AudioLMs、MusicLMs、MusicGen 等）。

使用方法

安装

pip install descript-audio-codec

或

pip install git+https://github.com/descriptinc/descript-audio-codec

权重

权重以 MIT 许可证的形式随本仓库发布。我们提供了可原生支持 16 kHz、24 kHz 和 44.1 kHz 采样率的模型权重。首次运行 encode 或 decode 命令时，权重会自动下载。您也可以使用以下命令提前缓存权重：

python3 -m dac download # 下载默认的 44kHz 版本
python3 -m dac download --model_type 44khz # 下载 44kHz 版本
python3 -m dac download --model_type 24khz # 下载 24kHz 版本
python3 -m dac download --model_type 16khz # 下载 16kHz 版本

我们提供了一个 Dockerfile，用于安装编码和解码所需的所有依赖项。构建过程中会将默认模型权重缓存在镜像内，从而允许在无网络连接的情况下使用该镜像。请参阅下方说明。

压缩音频

python3 -m dac encode /path/to/input --output /path/to/output/codes

此命令将创建与输入文件同名的 .dac 文件，并保留相对于输入根目录的目录结构，在输出目录中重新创建相同的结构。有关更多选项，请使用 python -m dac encode --help。

从压缩编码重建音频

python3 -m dac decode /path/to/output/codes --output /path/to/reconstructed_input

此命令将创建与输入文件同名的 .wav 文件，并保留相对于输入根目录的目录结构，在输出目录中重新创建相同的结构。有关更多选项，请使用 python -m dac decode --help。

编程式使用

import dac
from audiotools import AudioSignal

# 下载模型
model_path = dac.utils.download(model_type="44khz")
model = dac.DAC.load(model_path)

model.to('cuda')

# 加载音频信号文件
signal = AudioSignal('input.wav')

# 将音频信号编码为一个长文件
# （对于较长的文件，可能会耗尽 GPU 内存）
signal.to(model.device)

x = model.preprocess(signal.audio_data, signal.sample_rate)
z, codes, latents, _, _ = model.encode(x)

# 解码音频信号
y = model.decode(z)

# 或者，使用 `compress` 和 `decompress` 函数来压缩长文件。
signal = signal.cpu()
x = model.compress(signal)

# 保存并从磁盘加载
x.save("compressed.dac")
x = dac.DACFile.load("compressed.dac")

# 将其解压缩回 AudioSignal
y = model.decompress(x)

# 写入文件
y.write('output.wav')

Docker 镜像

我们提供了一个 Dockerfile，用于构建包含所有必要依赖项的 Docker 镜像。

1. 构建镜像。

   docker build -t dac .
   

2. 使用镜像。

   在 CPU 上使用：

   docker run dac <command>
   

   在 GPU 上使用：

   docker run --gpus=all dac <command>
   

   <command> 可以是上述列出的压缩和重建命令之一。例如，如果您想执行压缩操作，

   docker run --gpus=all dac python3 -m dac encode ...
   

训练

可使用以下命令训练基线模型配置。

先决条件

请安装正确的依赖项：

pip install -e ".[dev]"

环境设置

我们提供了一个 Dockerfile 和 Docker Compose 设置，使实验运行更加便捷。 构建 Docker 镜像：

docker compose build

然后启动容器：

docker compose run -p 8888:8888 -p 6006:6006 dev

端口参数 (-p) 是可选的，但如果您希望在容器内启动 Jupyter 和 Tensorboard 实例，则非常有用。Jupyter 的默认密码是 password，当前目录被挂载到 /u/home/src，这也成为工作目录。 随后，您可以运行训练命令。

单 GPU 训练

export CUDA_VISIBLE_DEVICES=0
python scripts/train.py --args.load conf/ablations/baseline.yml --save_path runs/baseline/

多 GPU 训练

export CUDA_VISIBLE_DEVICES=0,1
torchrun --nproc_per_node gpu scripts/train.py --args.load conf/ablations/baseline.yml --save_path runs/baseline/

测试

我们提供了两个测试脚本，用于测试 CLI 和训练功能。请确保在运行这些测试之前满足训练先决条件。要运行这些测试，请执行：

python -m pytest tests

结果

Descript Audio Codec (.dac) 快速上手指南

Descript Audio Codec 是一个高保真通用神经音频编解码器，能够将 44.1 kHz 的音频以极低的 8 kbps 码率压缩为离散代码（约 90 倍压缩率），同时保持卓越的音质并最小化伪影。它适用于语音、环境音、音乐等多种领域，可作为 AudioLM、MusicGen 等项目中 EnCodec 的直接替代品。

环境准备

• 操作系统: Linux, macOS, Windows
• Python 版本: 建议 Python 3.8+
• 硬件要求:
  • CPU: 可用于推理，但速度较慢。
  • GPU: 推荐 NVIDIA GPU (需安装 CUDA) 以加速编码/解码过程，特别是在处理长音频或进行训练时。
• 前置依赖: 确保已安装 pip 和基础开发工具。若使用 GPU，请预先安装好对应版本的 PyTorch (CUDA 版)。

安装步骤

你可以通过 PyPI 或 GitHub 直接安装：

方式一：通过 PyPI 安装（推荐）

pip install descript-audio-codec

方式二：通过 GitHub 源码安装

pip install git+https://github.com/descriptinc/descript-audio-codec

提示：国内用户若下载缓慢，可尝试配置 pip 国内镜像源（如清华源）：

pip install descript-audio-codec -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

模型权重会在首次运行编码或解码命令时自动下载。你也可以手动预下载特定采样率的模型（支持 16kHz, 24kHz, 44.1kHz）。

1. 预下载模型权重（可选）

默认下载 44.1kHz 版本：

python3 -m dac download

指定采样率下载：

python3 -m dac download --model_type 44khz
python3 -m dac download --model_type 24khz
python3 -m dac download --model_type 16khz

2. 命令行压缩音频

将音频文件压缩为 .dac 格式代码：

python3 -m dac encode /path/to/input --output /path/to/output/codes

该命令会保留输入的目录结构，并在输出目录生成同名的 .dac 文件。

3. 命令行还原音频

从压缩代码还原为 .wav 音频文件：

python3 -m dac decode /path/to/output/codes --output /path/to/reconstructed_input

该命令会生成与输入代码文件同名的 .wav 文件。

4. Python 代码调用

适用于需要在程序中集成或处理长音频文件的场景：

import dac
from audiotools import AudioSignal

# 下载并加载模型 (以 44khz 为例)
model_path = dac.utils.download(model_type="44khz")
model = dac.DAC.load(model_path)

# 移至 GPU (如有)
model.to('cuda')

# 加载音频信号
signal = AudioSignal('input.wav')

# --- 方法 A: 直接编码/解码 (适合短音频) ---
signal.to(model.device)
x = model.preprocess(signal.audio_data, signal.sample_rate)
z, codes, latents, _, _ = model.encode(x)
y = model.decode(z)

# --- 方法 B: 使用 compress/decompress (适合长音频，自动分块) ---
signal = signal.cpu() # 确保在 CPU 上处理分块逻辑以防显存溢出
x = model.compress(signal)

# 保存压缩文件到磁盘
x.save("compressed.dac")

# 从磁盘加载并解压
x_loaded = dac.DACFile.load("compressed.dac")
y_reconstructed = model.decompress(x_loaded)

# 写入还原后的音频文件
y_reconstructed.write('output.wav')