SpeechColab ASR排行榜

1. 概述

“如果你无法衡量它，你就无法改进它。”——彼得·德鲁克

SpeechIO排行榜作为一个ASR基准测试平台，提供三大组成部分：

1. 测试集库：涵盖广泛语音识别任务与场景的测试集集合

2. 模型库：包括商业API和开源模型在内的模型集合

3. 基准测试流水线：一套简单且规范化的流程，负责数据准备、识别、后处理及错误率评估。

人们应当能够轻松地对彼此的ASR系统进行基准测试、复现和分析

2. 测试集库: datasets/*

SpeechIO测试集由SpeechIO团队精心整理，从公开资源（如YouTube、电视节目、播客等）中收集而来，覆盖多种知名场景和主题，并由专业标注人员进行转录。

3. 模型动物园：models/*

提交模型

请遵循此 规范。现有模型也可作为参考。

4. 基准测试流程

5. 最新结果

公开模型

已解锁 SpeechIO 测试集（ZH00001 ~ ZH00026）

已锁定 SpeechIO 测试集（ZH00027 ~ ZH00046）

全部 SpeechIO 测试集（ZH00001 ~ ZH00046）

私有模型

已解锁 SpeechIO 测试集（ZH00001 ~ ZH00026）

已锁定 SpeechIO 测试集（ZH00027 ~ ZH00046）

全部 SpeechIO 测试集（ZH00001 ~ ZH00046）

注：带有 (*) 标记的模型可在模型库中找到，但目前尚未向公众开放。

联系方式

邮箱：leaderboard@speechio.ai

SpeechColab ASR Leaderboard 快速上手指南

SpeechColab ASR Leaderboard 是一个专业的自动语音识别（ASR）基准测试平台，旨在帮助用户轻松评估、复现和对比各类商业 API 及开源模型的性能。它提供了丰富的测试集（TestSet Zoo）、多样的模型库（Model Zoo）以及标准化的评测流水线。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 18.04/20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本：Python 3.8 或更高版本。
• 硬件要求：
  • 运行本地模型（如 Whisper, NeMo 等）强烈建议配备 NVIDIA GPU 并安装对应的 CUDA 驱动。
  • 若仅调用云端 API 或运行小型模型，CPU 环境亦可。
• 前置依赖：
  • git：用于克隆代码库。
  • ffmpeg：用于音频处理。
  • sox (可选)：部分数据集预处理可能需要。

安装系统依赖示例 (Ubuntu):

sudo apt-get update
sudo apt-get install -y git ffmpeg sox libsndfile1

2. 安装步骤

2.1 克隆项目

首先从 GitHub 克隆仓库到本地：

git clone https://github.com/SpeechColab/Leaderboard.git
cd Leaderboard

2.2 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 创建独立的 Python 环境。

使用 Conda (推荐):

conda create -n asr_leaderboard python=3.9
conda activate asr_leaderboard

安装 Python 依赖:

pip install -r requirements.txt

提示：国内开发者如遇下载速度慢，可指定清华源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 配置模型与数据集

项目采用模块化结构，模型和数据集分别位于 models/ 和 datasets/ 目录。

• 数据集准备： 学术数据集（如 LibriSpeech, AISHELL-1）通常需要根据 datasets/* 下的脚本自行下载。部分 SpeechIO 专属数据集可能需要联系作者或遵循特定解锁流程（见 README 中的表格状态，✓ 为已公开，✗ 为未公开）。

  示例：下载并准备 AISHELL-1 测试集（具体命令请参考 datasets/AISHELL1_TEST/README.md 或对应脚本）。

• 模型准备：

  • 云端 API：需在 models/<provider>_api_<lang>/ 目录下配置相应的 API Key（通常通过环境变量或配置文件）。
  • 本地模型：首次运行时，大部分脚本会自动从 HuggingFace 或官方源下载模型权重。国内用户建议配置 HuggingFace 镜像以加速下载：

  export HF_ENDPOINT=https://hf-mirror.com
  

3. 基本使用

本工具的核心是通过统一的流水线对指定模型在指定数据集上进行评测。

3.1 运行基准测试

假设您想使用开源的 whisper_large 模型在 AISHELL1_TEST 数据集上进行中文语音识别评测。

进入项目根目录，执行以下命令（具体入口脚本名称请以实际仓库结构为准，通常为 run.sh 或 python eval.py）：

# 示例命令格式，具体参数请参考项目 scripts 目录
python tools/evaluate.py \
    --model_id whisper_large \
    --dataset_id AISHELL1_TEST \
    --output_dir results/whisper_aishell1

• --model_id: 对应 models/ 目录下的模型标识符（例如 whisper_large, aliyun_api_zh 等）。
• --dataset_id: 对应 datasets/ 目录下的数据集标识符（例如 AISHELL1_TEST, SPEECHIO_ASR_ZH00001 等）。
• --output_dir: 评测结果（包含识别文本、错误率统计等）的保存路径。

3.2 查看结果

运行完成后，您可以在指定的输出目录中找到详细的评测报告，通常包含：

• CER/WER：字符错误率 / 词错误率。
• RTF：实时率（推理速度）。
• 详细日志：每条音频的识别结果与参考文本对比。

您可以直接对比不同模型在同一数据集下的输出文件，或使用项目提供的可视化工具生成排行榜图表。

3.3 添加自定义模型

若要测试自己的模型，只需在 models/ 目录下新建一个文件夹，按照现有模型的接口规范实现数据加载、推理和后处理脚本，即可无缝接入评测流水线。