audiomentations

GitHub
2.3k 216 非常简单 1 次阅读 今天MIT开发框架数据工具音频
AI 解读 由 AI 自动生成,仅供参考

audiomentations 是一款专为音频数据增强设计的 Python 开源库,旨在帮助开发者构建更健壮的音频机器学习模型。在实验室环境中表现完美的模型,往往难以应对现实世界中复杂多变的声学场景(如背景噪音、设备差异或传输失真)。audiomentations 通过模拟这些真实干扰,让模型在训练阶段就能“见识”各种意外情况,从而显著提升其在实际部署中的泛化能力和稳定性。

这款工具非常适合音频算法工程师、数据科学家以及深度学习研究人员使用,尤其是那些基于 TensorFlow、Keras 或 PyTorch 框架进行语音识别、声音分类或事件检测项目开发的团队。其核心亮点在于借鉴了计算机视觉领域著名的 albumentations 库的 API 设计风格,使得代码编写直观且易于上手。它支持单声道及多通道音频处理,运行高效且兼容 CPU 环境,提供了包括添加高斯噪声、时间拉伸、变调、背景音混合及空气吸收模拟等数十种专业的波形变换功能。无论是为了在 Kaggle 竞赛中冲击榜首,还是为企业打造下一代智能音频产品,audiomentations 都是一个值得信赖的高效助手,能让您的模型从“实验室玩具”蜕变为“实战专家”。

使用场景

某初创团队正在开发一款面向嘈杂公共场所的智能语音指令识别系统,旨在让设备在咖啡馆或地铁站等复杂声学环境中也能准确响应用户命令。

没有 audiomentations 时

  • 数据场景单一:训练数据多在安静录音室采集,模型一旦部署到真实环境,遇到背景人声或交通噪音时识别率断崖式下跌。
  • 人工增强低效:工程师需手动编写脚本混合噪音文件,难以精确控制信噪比、音调变化或时间拉伸参数,且无法保证每次训练的随机性一致。
  • 泛化能力薄弱:缺乏多样化的音频扰动(如模拟空气吸收高频衰减或设备移位),导致模型对未见过的声学特征极度敏感,鲁棒性差。
  • 迭代周期漫长:每次调整增强策略都需要重新处理海量原始音频并存储中间文件,严重拖慢了模型验证与上线的节奏。

使用 audiomentations 后

  • 仿真真实环境:通过 AddBackgroundNoiseAddShortNoises 动态混入各类环境音,并利用 AirAbsorption 模拟远距离传输损耗,使训练数据高度还原现实场景。
  • 参数化精准控制:借助 AddGaussianSNRPitchShift 等组件,可灵活定义噪声强度范围和音高偏移量,以声明式代码轻松构建复杂的增强流水线。
  • 显著提升鲁棒性:模型在训练中见识了千万种声音变体,上线后即便在地铁轰鸣或多人交谈中,也能稳定捕捉核心指令,误触发率大幅降低。
  • 实时流式增强:audiomentations 直接集成于 PyTorch 或 TensorFlow 数据加载器中,按需实时生成增强样本,无需占用额外磁盘空间,极大加速了实验迭代。

audiomentations 通过将实验室级的纯净音频转化为充满“烟火气”的真实数据,成功填补了算法模型从理论测试到落地应用之间的鸿沟。

运行环境要求

操作系统
  • Linux (arm & x86)
  • macOS (arm)
  • Windows (x86)
GPU

不需要 GPU,仅在 CPU 上运行

内存

未说明

依赖
notes该库专为 CPU 优化,支持单声道和多声道音频。如果需要基于 PyTorch 且支持 GPU 的替代方案,请参考 torch-audiomentations 项目。安装命令为 pip install audiomentations。
python3.7+
numpy
scipy
librosa
audiomentations hero image

快速开始

Audiomentations

构建状态 代码覆盖率 代码风格:Black 许可证:MIT DOI

Audiomentations 是一个用于音频数据增强的 Python 库,旨在快速且易于使用——其 API 受到 albumentations 的启发。它有助于使音频深度学习模型不仅在实验室中表现良好,也能在真实场景中发挥出色效果。Audiomentations 仅在 CPU 上运行,支持单声道和多声道音频,并能很好地集成到训练流程中,例如使用 TensorFlow/Keras 或 PyTorch 构建的流程。该库已帮助用户在 Kaggle 竞赛中取得世界级成绩,并受到致力于利用 AI 打造下一代音频产品的公司的信赖。

如果你需要一个支持 GPU 的 PyTorch 特定替代方案,请查看 torch-audiomentations

安装

Python 版本支持 PyPI 版本 每月 PyPI 下载量 操作系统:Linux、macOS、Windows

pip install audiomentations

使用示例

from audiomentations import Compose, AddGaussianNoise, TimeStretch, PitchShift, Shift
import numpy as np

augment = Compose([
    AddGaussianNoise(min_amplitude=0.001, max_amplitude=0.015, p=0.5),
    TimeStretch(min_rate=0.8, max_rate=1.25, p=0.5),
    PitchShift(min_semitones=-4, max_semitones=4, p=0.5),
    Shift(p=0.5),
])

# 为了示例生成 2 秒的虚拟音频
samples = np.random.uniform(low=-0.2, high=0.2, size=(32000,)).astype(np.float32)

# 对音频数据进行增强/变换/扰动
augmented_samples = augment(samples=samples, sample_rate=16000)

文档

API 文档以及指南、示例代码、插图和示例音频均可在 https://iver56.github.io/audiomentations/ 获取。

变换

更改日志

[0.43.1] - 2025-09-13

修复

  • 修复了0.43.0版本中引入的一个错误:当背景噪声比给定信号长时,AddBackgroundNoise添加的噪声会存在偏移问题。

完整更改日志及历史版本,请参阅https://iver56.github.io/audiomentations/changelog/

致谢

感谢所有帮助改进Audiomentations的贡献者

版本历史

v0.43.12025/09/13
v0.43.02025/09/09
v0.42.02025/07/04
v0.41.02025/05/05
v0.40.02025/03/20
v0.39.02025/02/12
v0.38.02024/12/06
v0.37.02024/09/03
v0.36.12024/08/20
v0.36.02024/06/10
v0.35.02024/03/15
v0.34.12023/11/24
v0.33.02023/08/30
v0.32.02023/08/15
v0.31.02023/06/21
v0.30.02023/05/02
v0.29.02023/03/15
v0.28.02023/01/12
v0.27.02022/09/13
v0.26.02022/08/19

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

153.6k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|3天前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|3天前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架