| 📘 教程 | 🌐 官网 | 📚 文档 | 🤝 贡献指南 | 🤗 HuggingFace | ▶️ YouTube | 🐦 X |

请支持我们的社区项目，给 GitHub 仓库点个赞吧！

最新消息（2024年1月）： 立即了解 SpeechBrain 1.0 的新特性 点击这里!

🗣️💬 SpeechBrain 能为你提供什么

• SpeechBrain 是一个基于 PyTorch 的 开源 工具包，旨在加速 对话式 AI 的开发，即那些驱动 语音助手、聊天机器人 和 大型语言模型 的技术。

• 它专为快速、便捷地构建先进的 语音 和 文本 处理技术而设计。

🌐 愿景

• 随着 深度学习 的兴起，曾经遥不可及的语音处理和自然语言处理等领域如今已变得触手可及。只需精心设计的神经网络和大规模数据集，便能实现目标。

• 我们认为，现在正是打造一个 综合性工具包 的时候，它应像人脑一样，协同支持各种复杂对话式 AI 系统所需的技术。

• 这些技术涵盖 语音识别、说话人识别、语音增强、语音分离、语言建模、对话系统 等，并且还在不断扩展。

• 为了实现我们长期追求的自然人机对话目标——包括为非言语人群服务——我们最近还新增了对 EEG 模态 的支持。

📚 训练配方

• 我们在超过 40 个数据集上分享了 200 多种具有竞争力的训练配方，覆盖 20 种语音和文本处理任务（见下文）。

• 我们既支持从头开始训练，也支持对预训练模型进行微调，例如 Whisper、Wav2Vec2、WavLM、Hubert、GPT2、Llama2，以及其他模型。这些托管在 HuggingFace 上的模型可以轻松集成并进行微调。

• 对于任何任务，你都可以使用以下命令来训练模型：

python train.py hparams/train.yaml

• 超参数被封装在一个 YAML 文件中，而训练过程则由 Python 脚本协调完成。

• 我们在不同任务之间保持了统一的代码结构。

• 为了提高实验的可重复性，训练日志和检查点都存储在 Dropbox 上。

预训练模型与推理

• 您可以访问托管在 HuggingFace 上的 100 多个预训练模型。
• 每个模型都配有用户友好的接口，方便您进行无缝推理。例如，使用预训练模型转录语音仅需三行代码：

from speechbrain.inference import EncoderDecoderASR

asr_model = EncoderDecoderASR.from_hparams(source="speechbrain/asr-conformer-transformerlm-librispeech", savedir="pretrained_models/asr-transformer-transformerlm-librispeech")
asr_model.transcribe_file("speechbrain/asr-conformer-transformerlm-librispeech/example.wav")

文档

• 我们致力于推动包容性和教育事业。
• 我们编写了 30 多篇 教程，不仅详细介绍了 SpeechBrain 的工作原理，还能帮助用户熟悉对话式 AI 技术。
• 每个类或函数都有清晰的说明和可运行示例。更多详情请参阅 文档 📚。

🎯 应用场景

• 🚀 科研加速：加快学术和工业研究进程。您可以轻松开发和集成新模型，并将其性能与我们的基线进行比较。

• ⚡️ 快速原型开发：非常适合时间紧迫的项目中的快速原型设计。

• 🎓 教学工具：SpeechBrain 的简洁性使其成为宝贵的教学资源。许多机构，如 Mila、康考迪亚大学、阿维尼翁大学 等，都将其用于学生培训。

🚀 快速入门

要开始使用 SpeechBrain，请按照以下简单步骤操作：

🛠️ 安装

通过 PyPI 安装

1. 使用 PyPI 安装 SpeechBrain：

   pip install speechbrain
   

2. 在 Python 代码中导入 SpeechBrain：

   import speechbrain as sb
   

从 GitHub 安装

此安装方式推荐给希望进行实验并根据自身需求自定义工具包的用户。

1. 克隆 GitHub 仓库并安装依赖项：

   git clone https://github.com/speechbrain/speechbrain.git
   cd speechbrain
   pip install -r requirements.txt
   pip install --editable .
   

2. 在 Python 代码中导入 SpeechBrain：

   import speechbrain as sb
   

由于使用了 --editable 标志，对 speechbrain 包所做的任何修改都会自动生效。

✔️ 测试安装

通过运行以下命令确保安装正确：

pytest tests
pytest --doctest-modules speechbrain

🏃‍♂️ 运行实验

在 SpeechBrain 中，您可以按照以下步骤为任何任务训练模型：

cd recipes/<dataset>/<task>/
python experiment.py params.yaml

结果将保存在 YAML 文件中指定的 output_folder 中。

📘 学习 SpeechBrain

• 官网：在官方网站上浏览相关信息。

• 教程：从涵盖基础功能的基础教程开始。更高级的教程和主题可在SpeechBrain 文档中的“Tutorial notebooks”类别中找到。

• 文档：SpeechBrain 的 API 详细信息、贡献指南以及代码均可在文档中查阅。

🔧 支持的技术

• SpeechBrain 是一个多功能框架，旨在实现对话式 AI 领域中的多种技术。
• 它不仅擅长单个任务的实现，还能将各种技术组合成复杂的流水线。

🎙️ 语音/音频处理

任务	数据集	技术/模型
语音识别	AISHELL-1, CommonVoice, DVoice, LibriSpeech, MEDIA, RescueSpeech, Switchboard, TIMIT, Tedlium2, Voicebank	CTC, Transducers, Transformers, Seq2Seq, 用于 CTC 的 Beamsearch 技术,seq2seq,transducers), 重打分, Conformer, Branchformer, Hyperconformer, Kaldi2-FST
说话人识别	VoxCeleb	ECAPA-TDNN, ResNET, Xvectors, PLDA, 得分归一化
语音分离	WSJ0Mix, LibriMix, WHAM!, WHAMR!, Aishell1Mix, BinauralWSJ0Mix	SepFormer, RESepFormer, SkiM, DualPath RNN, ConvTasNET
语音增强	DNS, Voicebank	SepFormer, MetricGAN, MetricGAN-U, SEGAN, 频谱掩蔽, 时间掩蔽
可解释性	ESC50	音频分类器的可听地图 (L-MAC), 学习解释 (L2I), 非负矩阵分解 (NMF), PIQ
语音生成	AudioMNIST	扩散模型, 潜在扩散模型
文本转语音	LJSpeech, LibriTTS	Tacotron2, 零样本多说话人 Tacotron2, FastSpeech2
编码解码	LJSpeech, LibriTTS	HiFiGAN, DiffWave
口语语言理解	MEDIA, SLURP, 流利语音命令, 计时器等	直接 SLU, 解耦 SLU, 多阶段 SLU
语音到语音翻译	CVSS	离散 Hubert, HiFiGAN, wav2vec2
语音翻译	Fisher CallHome（西班牙语）, IWSLT22（低资源）	wav2vec2
情感分类	IEMOCAP, ZaionEmotionDataset	ECAPA-TDNN, wav2vec2, 情感区分
语言识别	VoxLingua107, CommonLanguage	ECAPA-TDNN
语音活动检测	LibriParty	CRDNN
声音分类	ESC50, UrbanSound	CNN14, ECAPA-TDNN
自监督学习	CommonVoice, LibriSpeech	wav2vec2
度量学习	REAL-M, Voicebank	盲 SNR 估计, PESQ 学习
对齐	TIMIT	CTC, 维特比算法, 前向前向算法
区分	AMI	ECAPA-TDNN, X-vectors, 谱聚类

📝 文本处理

任务	数据集	技术/模型
语言建模	CommonVoice, LibriSpeech	n-gram, RNNLM, TransformerLM
回答生成	MultiWOZ	GPT2, Llama2
字素到音素	LibriSpeech	RNN, Transformer, 课程学习, 同形异义词损失

🧠 脑电图处理

任务	数据集	技术/模型
运动想象	BNCI2014001, BNCI2014004, BNCI2015001, Lee2019_MI, Zhou201	EEGNet, ShallowConvNet, EEGConformer
P300	BNCI2014009, EPFLP300, bi2015a,	EEGNet
SSVEP	Lee2019_SSVEP	EEGNet

🔍 其他功能

SpeechBrain 包含一系列原生功能，可增强对话式 AI 技术的开发。以下是一些示例：

• 训练编排： Brain 类是一个完全可定制的工具，用于管理数据上的训练和评估循环。它简化了训练循环，同时提供了覆盖流程任何部分的灵活性。

• 超参数管理： 基于 YAML 的超参数文件指定了所有超参数，从单个数字（如学习率）到完整对象（如自定义模型）。这种优雅的解决方案大大简化了训练脚本。

• 动态数据加载器： 实现灵活高效的数据读取。

• GPU 训练： 支持单 GPU 和多 GPU 训练，包括分布式训练。

• 动态批处理： 即时动态批处理可提高变长信号的高效处理能力。

• 混合精度训练： 通过混合精度技术加速训练。

• 高效数据读取： 通过 WebDataset 从共享网络文件系统 (NFS) 高效读取大型数据集。

• Hugging Face 集成： 与 HuggingFace 无缝对接，支持 wav2vec2 和 Hubert 等流行模型。

• Orion 集成： 与 Orion 对接，用于超参数调优。

• 语音增强技术： 包括 SpecAugment、噪声、混响等。

• 数据准备脚本： 包括为支持的数据集准备数据的脚本。

SpeechBrain 正在快速发展，未来将继续努力支持越来越多的技术。

📊 性能

• SpeechBrain 集成了多种技术，其中一些技术达到了具有竞争力或最先进的性能水平。

• 如需全面了解不同任务、数据集和技术所取得的性能，请访问 此处。

📜 许可证

• SpeechBrain 根据 Apache 许可证 2.0 版 发布，这是一种流行的类 BSD 许可证。
• 您可以自由地以免费或商业目的重新分发 SpeechBrain，但需保留许可证头信息。与 GPL 不同，Apache 许可证并非“病毒式”许可，这意味着您没有义务公开源代码的修改内容。

🔮 未来计划

我们对未来有着宏伟的计划，重点将放在以下几个方面：

• 扩大规模： 我们旨在为在大规模数据集上训练巨型模型提供全面的配方和技术。

• 缩小规模： 尽管扩大规模能够带来前所未有的性能，但我们也意识到在生产环境中部署大型模型所面临的挑战。因此，我们将专注于实时、流式传输且占用空间小的对话式 AI。

• 多模态大型语言模型： 我们设想未来能够使用单一基础模型来处理各种文本、语音和音频任务。我们的核心团队正致力于实现先进多模态 LLM 的训练。

🤝 贡献

• SpeechBrain 是一个由社区驱动的项目，由核心团队领导，并得到众多国际合作者的支持。
• 我们欢迎社区的贡献和想法。更多信息请参阅 这里。

🙏 赞助商

• SpeechBrain 是一个以学术为导向的项目，依靠其贡献者的热情与投入。
• 由于我们无法依赖大型公司的资源，因此我们非常感谢任何形式的支持，包括捐赠或与核心团队的合作。
• 如果您有兴趣赞助 SpeechBrain，请通过 speechbrainproject@gmail.com 与我们联系。
• 衷心感谢所有赞助商，包括目前的赞助商：

       

       

           

📖 引用 SpeechBrain

如果您在研究或业务中使用 SpeechBrain，请使用以下 BibTeX 条目进行引用：

@article{speechbrain_v1,
  author  = {Mirco Ravanelli and Titouan Parcollet and Adel Moumen and Sylvain de Langen and Cem Subakan and Peter Plantinga and Yingzhi Wang and Pooneh Mousavi and Luca Della Libera and Artem Ploujnikov and Francesco Paissan and Davide Borra and Salah Zaiem and Zeyu Zhao and Shucong Zhang and Georgios Karakasidis and Sung-Lin Yeh and Pierre Champion and Aku Rouhe and Rudolf Braun and Florian Mai and Juan Zuluaga-Gomez and Seyed Mahed Mousavi and Andreas Nautsch and Ha Nguyen and Xuechen Liu and Sangeet Sagar and Jarod Duret and Salima Mdhaffar and Ga{{\"e}}lle Laperri{{\`e}}re and Mickael Rouvier and Renato De Mori and Yannick Est{{\`e}}ve},
  title   = {Open-Source Conversational AI with SpeechBrain 1.0},
  journal = {Journal of Machine Learning Research},
  year    = {2024},
  volume  = {25},
  number  = {333},
  url     = {http://jmlr.org/papers/v25/25-0991.html}
}

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SpeechBrain 快速上手指南

SpeechBrain 是一个基于 PyTorch 的开源工具包，旨在加速对话式 AI（如语音助手、聊天机器人）的开发。它支持语音识别、说话人识别、语音增强、文本转语音等多种任务，并提供超过 200 个训练配方和 100+ 个预训练模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux)
• Python: 3.8 或更高版本
• 核心依赖: PyTorch (需预先安装与您的 CUDA 版本匹配的 PyTorch)
• 硬件: 推荐使用 NVIDIA GPU 进行模型训练和推理（可选，但强烈推荐）

提示: 如果您尚未安装 PyTorch，请访问 PyTorch 官网 获取适合您环境的安装命令。国内用户可使用清华源加速安装：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

您可以选择通过 PyPI 直接安装（适合快速使用），或从 GitHub 克隆源码（适合二次开发和实验）。

方式一：通过 PyPI 安装（推荐新手）

这是最快捷的安装方式，适合直接调用库功能。

pip install speechbrain

国内加速方案:

pip install speechbrain -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，在 Python 中导入即可使用：

import speechbrain as sb

方式二：从 GitHub 源码安装（推荐开发者）

如果您需要修改源码、运行官方提供的训练配方（Recipes）或参与贡献，建议使用此方式。

git clone https://github.com/speechbrain/speechbrain.git
cd speechbrain
pip install -r requirements.txt
pip install --editable .

国内加速方案 (克隆仓库):

git clone https://gitee.com/mirrors/speechbrain.git  # 如果存在镜像，否则建议使用上述官方源配合代理
# 或者配置 git 全局代理后使用官方源

注意: --editable 参数确保您对 speechbrain 代码的任何修改都会立即生效，无需重新安装。

验证安装

运行以下命令确保安装无误：

pytest tests
pytest --doctest-modules speechbrain

基本使用

SpeechBrain 的核心优势在于其简洁的接口，无论是加载预训练模型进行推理，还是启动新的训练任务都非常直观。

1. 使用预训练模型进行推理

只需几行代码即可调用托管在 HuggingFace 上的预训练模型。以下示例展示如何使用预训练模型进行语音转文字（ASR）：

from speechbrain.inference import EncoderDecoderASR

# 加载预训练模型
asr_model = EncoderDecoderASR.from_hparams(
    source="speechbrain/asr-conformer-transformerlm-librispeech", 
    savedir="pretrained_models/asr-transformer-transformerlm-librispeech"
)

# 转录音频文件
result = asr_model.transcribe_file("speechbrain/asr-conformer-transformerlm-librispeech/example.wav")
print(result)

2. 运行训练实验

SpeechBrain 提供了统一的训练接口。所有的超参数都封装在 YAML 文件中，通过 Python 脚本驱动。

假设您想在一个特定数据集（如 LibriSpeech）上运行语音识别任务，操作如下：

cd recipes/LibriSpeech/ASR/CTC/
python experiment.py params.yaml

• 参数配置: 修改 params.yaml 即可调整学习率、模型架构、数据路径等超参数。
• 结果保存: 训练日志、模型检查点（Checkpoints）和最终结果将自动保存在 YAML 文件中指定的 output_folder 目录下。

3. 深入学习

• 教程: 访问 官方文档教程 查看涵盖基础功能到高级应用的 30+ 个交互式教程。
• 模型库: 在 HuggingFace SpeechBrain 主页 浏览更多支持的预训练模型。
• 代码结构: 项目保持了高度一致的代码结构，不同任务间的代码逻辑相似，便于迁移和学习。