torchaudio：PyTorch 的音频库

[!NOTE] 我们已将 TorchAudio 进入维护阶段。在此过程中，移除了部分面向用户的特性。这些特性自 TorchAudio 2.8 起已被弃用，并在 2.9 中彻底移除。我们的主要目标是减少与 PyTorch 生态其他部分的冗余，简化维护工作，并打造一个更专注于其优势——为机器学习处理音频数据——的 TorchAudio 版本。更多详情请参阅 我们的社区公告。

torchaudio 的目标是将 PyTorch 应用于音频领域。通过支持 PyTorch，torchaudio 坚持相同的理念：提供强大的 GPU 加速、通过 autograd 系统聚焦可训练特征，并保持一致的风格（张量名称和维度名称）。因此，它主要是一个机器学习库，而非通用信号处理库。PyTorch 的优势在 torchaudio 中得以体现，所有计算都通过 PyTorch 操作完成，这使得使用起来非常方便，仿佛是 PyTorch 的自然扩展。

• 常用音频数据集的数据加载器
• 音频和语音处理函数
  • 强制对齐
• 常用音频变换
  • 频谱图、幅度转分贝、梅尔尺度、梅尔频谱图、MFCC、μ律编码、μ律解码、重采样
• 兼容接口：使用 PyTorch 编写与其他库兼容的代码
  • Kaldi：频谱图、FBank、MFCC

安装

请参阅 https://pytorch.org/audio/main/installation.html 以获取 TorchAudio 的安装和构建流程。

API 参考

API 参考位于此处：http://pytorch.org/audio/main/

贡献指南

请参阅 CONTRIBUTING.md

引用

如果您觉得本包有用，请按以下方式引用：

@article{yang2021torchaudio,
  title={TorchAudio: Building Blocks for Audio and Speech Processing},
  author={Yao-Yuan Yang and Moto Hira and Zhaoheng Ni and Anjali Chourdia and Artyom Astafurov and Caroline Chen and Ching-Feng Yeh and Christian Puhrsch and David Pollack and Dmitriy Genzel and Donny Greenberg and Edward Z. Yang and Jason Lian and Jay Mahadeokar and Jeff Hwang and Ji Chen and Peter Goldsborough and Prabhat Roy and Sean Narenthiran and Shinji Watanabe and Soumith Chintala and Vincent Quenneville-Bélair and Yangyang Shi},
  journal={arXiv preprint arXiv:2110.15018},
  year={2021}
}

@misc{hwang2023torchaudio,
      title={TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch},
      author={Jeff Hwang and Moto Hira and Caroline Chen and Xiaohui Zhang and Zhaoheng Ni and Guangzhi Sun and Pingchuan Ma and Ruizhe Huang and Vineel Pratap and Yuekai Zhang and Anurag Kumar and Chin-Yun Yu and Chuang Zhu and Chunxi Liu and Jacob Kahn and Mirco Ravanelli and Peng Sun and Shinji Watanabe and Yangyang Shi and Yumeng Tao and Robin Scheibler and Samuele Cornell and Sean Kim and Stavros Petridis},
      year={2023},
      eprint={2310.17864},
      archivePrefix={arXiv},
      primaryClass={eess.AS}
}

数据集免责声明

这是一个用于下载和准备公开数据集的工具库。我们不托管或分发这些数据集，也不对其质量或公平性作出保证，更不声称您拥有使用这些数据集的许可。您有责任根据数据集的许可协议确定自己是否有权使用该数据集。

如果您是数据集的所有者，并希望更新其中的任何部分（描述、引用等），或者不希望您的数据集被包含在本库中，请通过 GitHub 问题与我们联系。感谢您对机器学习社区的贡献！

预训练模型许可

本库中提供的预训练模型可能具有各自的许可或由训练所用数据集衍生的条款和条件。您有责任确定自己是否拥有针对特定用途使用这些模型的许可。

例如，SquimSubjective 模型采用知识共享署名非商业性使用 4.0 国际许可协议（CC-BY-NC 4.0）发布。更多详细信息请参阅 此链接。

其他具有不同许可的预训练模型已在文档中注明。请查阅 文档页面。

Torchaudio 快速上手指南

Torchaudio 是 PyTorch 生态中专为音频和语音处理设计的库。它利用 PyTorch 的 GPU 加速能力和自动求导机制，专注于为机器学习任务提供高效的音频数据处理功能（如频谱图提取、重采样、特征工程等），而非通用的信号处理库。

注意：Torchaudio 目前已进入维护阶段（Maintenance Phase）。部分功能在 2.8 版本弃用并在 2.9 版本移除，旨在精简库结构，更聚焦于机器学习所需的音频数据处理核心能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python：建议 Python 3.8 及以上版本
• 前置依赖：必须先安装 PyTorch。Torchaudio 的版本需与已安装的 PyTorch 版本兼容。
• 硬件：可选配 NVIDIA GPU 以加速音频特征计算（需安装 CUDA 版本的 PyTorch）。

2. 安装步骤

推荐优先使用 PyTorch 官方提供的安装命令，该命令会自动匹配适合您当前环境的版本。

方式一：使用 pip 安装（推荐）

访问 PyTorch 官网安装页面 获取最新命令。通常情况下，如果您已安装 PyTorch，可直接运行：

pip install torchaudio

国内加速方案： 如果您在中国大陆地区，建议使用清华大学或阿里云镜像源以加快下载速度：

pip install torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 Conda 安装

如果您使用 Anaconda 或 Miniconda 管理环境：

conda install -c pytorch torchaudio

国内加速方案： 配置清华源后执行：

conda install -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch torchaudio

3. 基本使用

Torchaudio 的核心功能是加载音频文件并将其转换为 Tensor，以便直接输入到 PyTorch 模型中。以下是最简单的加载与变换示例。

示例：加载音频并提取梅尔频谱图

import torch
import torchaudio

# 1. 加载音频文件
# waveform: 音频波形数据 (Tensor)
# sample_rate: 采样率 (int)
waveform, sample_rate = torchaudio.load("example.wav")

print(f"波形形状：{waveform.shape}, 采样率：{sample_rate}")

# 2. 数据变换：提取梅尔频谱图 (MelSpectrogram)
# 定义变换参数
transform = torchaudio.transforms.MelSpectrogram(
    sample_rate=sample_rate,
    n_mels=128
)

# 应用变换
mel_specgram = transform(waveform)

print(f"梅尔频谱图形状：{mel_specgram.shape}")

# 3. (可选) 转换为分贝刻度
to_db = torchaudio.transforms.AmplitudeToDB()
mel_specgram_db = to_db(mel_specgram)

# 此时 mel_specgram_db 可直接用于训练神经网络

常用功能概览

• 数据集加载：torchaudio.datasets 提供了常见音频数据集（如 LibriSpeech, GTZAN）的 DataLoader 接口。
• 合规性接口：提供与 Kaldi 等传统工具库对齐的接口（如 fbank, mfcc），方便迁移旧代码。
• 强制对齐：支持 forced_align 等功能，用于语音识别任务中的时间戳对齐。

更多详细 API 请参考 官方文档。