免费口语数字数据集 (FSDD)

这是一个简单的音频/语音数据集，包含以 8kHz 采样率的 wav 文件形式的口语数字录音。录音经过修剪，使得开头和结尾的静音部分几乎最小化。

FSDD 是一个开放数据集，这意味着随着数据的贡献，它将不断增长。为了实现可复现性和准确的引用，该数据集使用 Zenodo DOI（数字对象标识符）以及 git tags（Git 标签）进行版本控制。

当前状态

• 6 位说话人
• 3,000 条录音（每位说话人每种数字 50 条）
• 英语发音

文件结构

文件命名格式如下： {digitLabel}_{speakerName}_{index}.wav 示例：7_jackson_32.wav

如何使用 Hub

使用此数据集的一个简单方法是配合 Activeloop 的 Python 包 Hub！

首先，运行 pip install hub（或 pip3 install hub）。

import hub
ds = hub.load("hub://activeloop/spoken_mnist")

# check out the first spectrogram, it's label, and who spoke it!
import matplotlib.pyplot as plt
plt.imshow(ds.spectrograms[0].numpy())
plt.title(f"{ds.speakers[0].data()} spoke {ds.labels[0].numpy()}")
plt.show()

# train a model in pytorch
for sample in ds.pytorch():
    # ... model code here ...

# train a model in tensorflow
for sample in ds.tensorflow():
    # ... model code here ...

可以通过打印数据集来查看可用的张量：

print(ds)
# prints: Dataset(path='hub://activeloop/spoken_mnist', tensors=['spectrograms', 'labels', 'audio', 'speakers'])

更多信息，请查看 Hub 文档。

贡献

请贡献您自己录制的录音。所有录音应为单声道 8kHz wav 文件，并修剪至静音最少。别忘了用说话人的元数据更新 metadata.py。

要添加您的数据，请遵循 acquire_data/say_numbers_prompt.py 中的录制说明，然后运行 split_and_label_numbers.py 来生成您的文件。

元数据

metadata.py 包含关于说话人性别和口音的元数据。

包含的工具

trimmer.py 修剪音频文件开头和结尾的静音。根据静音时段将音频文件分割为多个音频文件。

fsdd.py 一个简单的类，提供易于使用的 API（应用程序接口）来访问数据。

spectogramer.py 用于创建音频数据的频谱图。频谱图通常是一个有用的预处理步骤。

用法

测试集官方由前 10% 的录音组成。编号为 0-4（含）的录音在测试集中，5-49 在训练集中。

使用 FSDD 构建的项目

您在论文、项目或应用中使用了 FSDD 吗？在此添加！

• 超过 50 篇学术文章
• https://github.com/Jakobovski/decoupled-multimodal-learning/
• https://adhishthite.github.io/sound-mnist/ 由 Adhish Thite 制作
• https://github.com/eonu/torch-fsdd/ - 由 Edwin Onuonga 提供的用于该数据集的简单 PyTorch 数据加载器
• https://proglearn.neurodata.io/ 由 NeuroData 制作
• https://neurodata.io/df_dn/ 由 NeuroData 制作

外部工具

• TensorFlow https://www.tensorflow.org/datasets/catalog/spoken_digit
• C#/.NET。 FSDD 数据集可以在 .NET 应用程序中使用 Accord.NET Framework 中包含的 FreeSpokenDigitsDataset 类。关于如何使用音频 MFCC（梅尔频率倒谱系数）特征执行口语数字分类的基本示例可在 此处 找到。

许可证

知识共享署名 - 相同方式共享 4.0 国际许可协议

Free Spoken Digit Dataset (FSDD) 快速上手指南

Free Spoken Digit Dataset (FSDD) 是一个开源音频数据集，包含 6 位说话人朗读数字的录音（8kHz wav 格式）。该数据集常用于语音识别、声纹验证等机器学习任务。

环境准备

• 操作系统：Linux / macOS / Windows
• 编程语言：Python 3.x
• 网络要求：需访问 GitHub 或 Activeloop 服务（国内用户建议使用代理或镜像）
• 前置依赖：
  • pip 包管理工具
  • （可选）PyTorch 或 TensorFlow（用于模型训练示例）
  • （可选）Matplotlib（用于可视化频谱图）

安装步骤

方式一：通过 Activeloop Hub 加载（推荐）

此方式无需手动下载数据文件，直接通过 Python SDK 调用。

pip install hub

💡 提示：若 pip 下载速度较慢，可尝试使用国内镜像源，例如：

pip install hub -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：本地克隆仓库（用于使用内置工具）

如需使用 trimmer.py、fsdd.py 等本地脚本工具，请克隆源码库。

git clone <repository_url>
cd <repository_directory>

基本使用

1. 加载数据集与可视化

使用 Hub 可以轻松加载数据集并查看音频频谱图及标签信息。

import hub
ds = hub.load("hub://activeloop/spoken_mnist")

# 检查第一个频谱图、标签和说话人
import matplotlib.pyplot as plt
plt.imshow(ds.spectrograms[0].numpy())
plt.title(f"{ds.speakers[0].data()} spoke {ds.labels[0].numpy()}")
plt.show()

2. 模型训练集成

支持直接转换为 PyTorch 或 TensorFlow 的数据加载器进行训练。

# PyTorch 训练示例
for sample in ds.pytorch():
    # ... model code here ...

# TensorFlow 训练示例
for sample in ds.tensorflow():
    # ... model code here ...

3. 查看可用张量

打印数据集对象可查看当前可用的数据字段（如音频、标签、频谱图等）。

print(ds)
# prints: Dataset(path='hub://activeloop/spoken_mnist', tensors=['spectrograms', 'labels', 'audio', 'speakers'])

4. 数据集划分说明

官方测试集由前 10% 的录音组成：

• 测试集 (Test)：索引 0-4
• 训练集 (Train)：索引 5-49