audioFlux

audioflux 是一个用于音频和音乐分析、特征提取的深度学习工具库。它支持数十种时频分析变换方法以及数百种对应的时域和频域特征组合，可以为深度学习网络提供训练数据，并应用于音频领域的各类任务研究，如分类、分离、音乐信息检索（MIR）和自动语音识别（ASR）等。

新特性

• v0.1.8

  • 增加多种音高检测算法：YIN、CEP、PEF、NCF、HPS、LHS、STFT 和 FFP。
  • 增加 PitchShift 和 TimeStretch 算法。

• v0.1.10

  • 增加乐器调音算法 TuneTrack：精准、快速、平滑，适用于吉他、尤克里里、贝斯、班卓琴、曼陀林、小提琴等乐器。

目录

• 概述
• 安装
  • Python 包安装
  • 其他构建方式
• 快速入门
• 基准测试
• 文档
• 贡献
• 引用
• 许可证

概述

audioFlux 基于数据流设计，结构上将各个算法模块解耦，能够快速高效地提取多维特征。以下是其主要功能架构图。

用户可以使用多种多维特征组合，搭配不同的深度学习网络进行训练，从而研究音频领域的各类任务，如分类、分离、MIR 等。

audioFlux 的主要功能包括 变换、特征 和 MIR 模块。

1. 变换

在时频表示中，主要的变换算法如下：

• BFT   -   基于傅里叶变换，类似于短时傅里叶变换。
• NSGT -   非平稳 Gabor 变换。
• `CWT``   -   连续小波变换。
• `PWT``   -   伪小波变换。

上述变换均支持以下频率尺度类型：

• 线性 - 短时傅里叶变换谱图。
• 等间距 - 等间距尺度谱图。
• Mel - Mel 尺度谱图。
• Bark - Bark 尺度谱图。
• Erb - Erb 尺度谱图。
• 八度 - 八度尺度谱图。
• 对数 - 对数尺度谱图。

以下变换不支持多种频率尺度类型，仅作为独立变换使用：

• CQT -   恒 Q 变换。
• VQT -   变 Q 变换。
• `ST``   -   S 变换/Stockwell 变换。
• FST -   快速 S 变换。
• DWT -   离散小波变换。
• WPT -   小波包变换。
• SWT -   平稳小波变换。

详细的变换功能、说明及使用方法，请参阅文档。

同步挤压 或 重分配 是一种用于锐化时频表示的技术，包含以下算法：

• reassign - 用于 STFT 的重分配变换。
• synsq - 使用 CWT 数据进行重分配。
• wsst - 用于 CWT 的重分配变换。

2. 特征

特征模块包含以下算法：

• spectral - 谱特征，支持所有谱类型。
• xxcc - 倒谱系数，支持所有谱类型。
• deconv - 谱反卷积，支持所有谱类型。
• chroma - 色彩特征，仅支持 CQT 谱，以及基于 BFT 的线性/八度谱。

3. MIR

MIR 模块包含以下算法：

• pitch - YIN、STFT 等算法。
• onset - 谱通量、新颖性等算法。
• hpss - 中值滤波、NMF 算法。

安装

该库是跨平台的，目前支持 Linux、macOS、Windows、iOS 和 Android 系统。

Python 包安装

要安装 audioFlux 包，需使用 Python >=3.6，并通过发布的 Python 包进行安装。

使用 PyPI：

$ pip install audioflux 

使用 Anaconda：

$ conda install -c tanky25 -c conda-forge audioflux

其他构建方式

• iOS 构建
• Android 构建
• 从源码构建

快速入门

• 梅尔谱与MFCC
• 连续小波变换与同步挤压变换
• 恒Q变换与色度特征
• 不同小波类型
• 频谱特征
• 音高估计
• 节拍检测
• 谐波与打击乐源分离

更多示例脚本请参阅文档部分。

基准测试

服务器硬件：

- CPU：AMD Ryzen Threadripper 3970X 32核处理器

更详细的性能基准测试信息请参见Benchmark模块。

文档

该软件包的在线文档可访问以下网址：

https://audioflux.top

贡献

我们非常乐意与您合作，并欢迎对**audioFlux**做出贡献。如果您希望参与贡献，请先克隆最新的代码仓库并创建一个功能分支。提交的请求必须通过所有持续集成测试。

同时，我们也欢迎您提出任何改进建议，包括需要帮助的事项、发现的漏洞、功能需求、一般性问题或新算法等。请通过新建议题与我们联系。

引用

如果您希望在学术论文中引用**audioFlux**，请使用以下方式：

• 如果您在工作中使用了该库，为确保结果的可复现性，请引用您所使用的版本，该版本已在Zenodo上进行了索引：

  

许可证

audioFlux项目采用MIT许可证。

audioFlux 快速上手指南

audioFlux 是一个专为音频和音乐分析设计的深度学习工具库。它支持数十种时频分析变换方法（如 STFT、CWT、CQT 等）以及数百种时域和频域特征组合，适用于音频分类、分离、音乐信息检索 (MIR) 和自动语音识别 (ASR) 等任务。其核心采用 C 语言实现并支持硬件加速，具备高性能和跨平台特性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux, macOS, Windows, iOS, Android。
• Python 版本：Python >= 3.6。
• 依赖项：无需额外安装复杂的底层依赖，pip 或 conda 安装时会自动处理。

安装步骤

您可以选择通过 PyPI 或 Anaconda 进行安装。国内用户若遇到网络问题，建议配置国内镜像源加速下载。

方式一：使用 pip 安装（推荐）

直接使用 pip 命令安装：

pip install audioflux

国内加速方案： 如果您在中国大陆，建议使用清华或阿里镜像源以提高下载速度：

pip install audioflux -i https://pypi.tuna.tsinghua.edu.cn/simple
# 或者
pip install audioflux -i https://mirrors.aliyun.com/pypi/simple/

方式二：使用 Conda 安装

如果您使用 Anaconda 或 Miniconda 环境：

conda install -c tanky25 -c conda-forge audioflux

基本使用

audioFlux 的核心功能模块包括 transform（变换）、feature（特征提取）和 mir（音乐信息检索）。以下是一个最基础的示例，展示如何读取音频文件并提取 Mel 频谱图 和 MFCC 特征。

示例：提取 Mel 频谱与 MFCC

import audioflux as af
import numpy as np

# 1. 创建音频对象 (替换为您的音频文件路径)
audio_path = "your_audio_file.wav"
with af.AudioFile(audio_path) as af_obj:
    # 读取音频数据
    data_arr = af_obj.read()
    sample_rate = af_obj.sample_rate

    # 2. 时频变换：计算短时傅里叶变换 (BFT) 获取频谱
    # window_len: 窗口长度，slide_len: 滑动步长
    bft_obj = af.BFT(window_len=2048, slide_len=512, sample_rate=sample_rate)
    spec_data = bft_obj.transform(data_arr)

    # 3. 特征提取：基于频谱计算 Mel 频谱图
    mel_obj = af.Mel(num=128, sample_rate=sample_rate)
    mel_spec = mel_obj.extract(spec_data)

    # 4. 特征提取：计算 MFCC 特征 (通常取前 13-20 维)
    mfcc_obj = af.MFCC(num=13, sample_rate=sample_rate)
    mfcc_data = mfcc_obj.extract(spec_data)

    print(f"原始音频形状：{data_arr.shape}")
    print(f"Mel 频谱形状：{mel_spec.shape}")
    print(f"MFCC 特征形状：{mfcc_data.shape}")

# 释放资源
bft_obj.close()
mel_obj.close()
mfcc_obj.close()

更多功能提示

• 其他变换：除了 BFT (类 STFT)，还支持 CWT (连续小波变换), CQT (常数 Q 变换), NSGT 等。
• 音高检测：使用 af.Pitch 模块（支持 YIN, STFT 等算法）进行音高估计。
• 起止点检测：使用 af.Onset 模块检测音频事件的起始点。
• 源分离：使用 af.HPSS 模块进行谐波与打击乐源的分离。

更多详细示例和 API 文档请访问：https://audioflux.top