全语言语音识别：面向1600多种语言的开源多语言语音识别系统

Omnilingual ASR 是一个开源的语音识别系统，支持超过1,600种语言——其中包括数百种此前从未被任何语音识别技术覆盖的语言。该系统旨在实现广泛可访问性，只需少量成对示例即可添加新语言，而无需专业知识或大型数据集。通过将可扩展的零样本学习与灵活的模型系列相结合，Omnilingual ASR 旨在使语音技术对全球社区和研究人员更加包容和适应性强。

• Huggingface 演示
• Huggingface 数据集
• 论文
• 博客文章

2025年12月更新

我们发布了两套模型：

• 相较于现有的LLM-ASR模型，CTC和LLM-ASR模型的检查点在准确性（CER）方面有所提升（omniASR_{CTC,LLM}_{300M,1B,3B,7B}_v2）。
• LLM-ASR模型的一个新变体支持无限长度音频的解码（omniASR_LLM_Unlimited_{300M,1B,3B,7B}_v2）。无限长度音频模型在架构概述部分中有简要介绍。其准确度与有限长度音频模型相当，但目前尚不支持针对该模型的微调配方。

文档

快速入门

• 安装与基本使用 - 设置与首次转录
• 推理流水线 - 包含批处理、语言条件设置和上下文示例的全面转录指南
• 支持的语言 - 查看完整的1600多种支持语言列表

模型与架构

• 模型规格 - 可用模型、参数及内存要求
• 架构概述 - W2V、CTC和LLM模型家族的技术细节
• 资产管理 - 用于管理模型、分词器和数据集的配置系统

训练与数据流程

• 数据准备 - 多语言数据集准备、HuggingFace集成和parquet处理的端到端指南
• 训练配方 - 针对CTC和LLM模型训练的预配置工作流

---

安装

这些模型是使用fairseq2开发的，这是一个以研究为导向的序列建模工具包。虽然我们提供了一个跨平台运行的参考推理流水线，但音频支持需要libsndfile（Mac: brew install libsndfile; Windows可能需要额外的设置)。

# 使用pip
pip install omnilingual-asr

# 使用uv
uv add omnilingual-asr

推理

from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline

pipeline = ASRInferencePipeline(model_card="omniASR_LLM_Unlimited_7B_v2")
audio_files = ["/path/to/eng_audio1.flac", "/path/to/deu_audio2.wav"]
lang = ["eng_Latn", "deu_Latn"]
transcriptions = pipeline.transcribe(audio_files, lang=lang, batch_size=2)

有关运行特定模型的更多详细信息，请参阅src/omnilingual_asr/models/inference目录。

⚠️ 重要提示: 目前，CTC和LLM模型套件仅接受40秒以下的音频文件进行推理。

支持的语言

要查看完整的1600多种支持语言列表，您可以以编程方式访问语言列表此处：

from omnilingual_asr.models.wav2vec2_llama.lang_ids import supported_langs

# 打印所有支持的语言
print(f"总支持语言数: {len(supported_langs)}")
print(supported_langs)

# 检查特定语言是否支持
if "eng_Latn" in supported_langs:
    print("英语（拉丁字母）已支持！")

语言格式为 {language_code}_{script}，例如 eng_Latn - 英语（拉丁字母），cmn_Hans - 普通话（简体字），...

使用 HuggingFace 数据集 🤗

我们在HuggingFace上提供了一个大规模多语言语音数据集，采用CC-BY-4.0许可：facebook/omnilingual-asr-corpus。 该数据集可以直接与我们的推理流水线结合使用，用于评估或测试：

pip install "omnilingual-asr[data]"

from datasets import load_dataset
from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline

# 加载特定语言的数据集（例如利古里亚语）
omni_dataset = load_dataset("facebook/omnilingual-asr-corpus", "lij_Latn", split="train", streaming=True)
batch = next(omni_dataset.iter(5))

# 转换为流水线输入格式
audio_data = [{"waveform": x["array"], "sample_rate": x["sampling_rate"]}
              for x in batch["audio"]]

# 运行推理
pipeline = ASRInferencePipeline(model_card="omniASR_LLM_7B_v2")
transcriptions = pipeline.transcribe(audio_data, batch_size=2)

# 显示结果
for i, (transcription, original_text) in enumerate(zip(transcriptions, batch["raw_text"]), 1):
    print(f"\n 样本 {i}:")
    print(f"   真实文本: {original_text}")
    print(f"   预测文本: {transcription}")

模型架构

模型名称	特性	参数量	下载大小（FP32）	推理显存¹	实时因子¹（相对速度）²
omniASR_W2V_300M	SSL	317_390_592	1.2 GiB
omniASR_W2V_1B	SSL	965_514_752	3.6 GiB
omniASR_W2V_3B	SSL	3_064_124_672	12.0 GiB
omniASR_W2V_7B	SSL	6_488_487_168	25.0 GiB
omniASR_CTC_300M	ASR	325_494_996	1.3 GiB	~2 GiB	0.001 (96x)
omniASR_CTC_1B	ASR	975_065_300	3.7 GiB	~3 GiB	0.002 (48x)
omniASR_CTC_3B	ASR	3_080_423_636	12.0 GiB	~8 GiB	0.003 (32x)
omniASR_CTC_7B	ASR	6_504_786_132	25.0 GiB	~15 GiB	0.006 (16x)
omniASR_CTC_300M_v2	ASR	325_494_996	1.3 GiB	~2 GiB	0.001 (96x)
omniASR_CTC_1B_v2	ASR	975_065_300	3.7 GiB	~3 GiB	0.002 (48x)
omniASR_CTC_3B_v2	ASR	3_080_423_636	12.0 GiB	~8 GiB	0.003 (32x)
omniASR_CTC_7B_v2	ASR	6_504_786_132	25.0 GiB	~15 GiB	0.006 (16x)
omniASR_LLM_300M	具有可选语言条件的 ASR	1_627_603_584	6.1 GiB	~5 GiB	0.090 (~1x)
omniASR_LLM_1B	具有可选语言条件的 ASR	2_275_710_592	8.5 GiB	~6 GiB	0.091 (~1x)
omniASR_LLM_3B	具有可选语言条件的 ASR	4_376_679_040	17.0 GiB	~10 GiB	0.093 (~1x)
omniASR_LLM_7B	具有可选语言条件的 ASR	7_801_041_536	30.0 GiB	~17 GiB	0.092 (~1x)
omniASR_LLM_300M_v2	具有可选语言条件的 ASR	1_627_603_584	6.1 GiB	~5 GiB	0.090 (~1x)
omniASR_LLM_1B_v2	具有可选语言条件的 ASR	2_275_710_592	8.5 GiB	~6 GiB	0.091 (~1x)
omniASR_LLM_3B_v2	具有可选语言条件的 ASR	4_376_679_040	17.0 GiB	~10 GiB	0.093 (~1x)
omniASR_LLM_7B_v2	具有可选语言条件的 ASR	7_801_041_536	30.0 GiB	~17 GiB	0.092 (~1x)
omniASR_LLM_Unlimited_300M_v2	omniASR_LLM_300M + 无限制音频长度	1_627_603_584	6.1 GiB	~5 GiB	0.092 (~1x) (0.206)³
omniASR_LLM_Unlimited_1B_v2	omniASR_LLM_1B + 无限制音频长度	2_275_710_592	8.5 GiB	~6 GiB	0.097 (~1x) (0.207)³
omniASR_LLM_Unlimited_3B_v2	omniASR_LLM_3B + 无限制音频长度	4_376_679_040	17.0 GiB	~10 GiB	0.095 (~1x) (0.208)³
omniASR_LLM_Unlimited_7B_v2	omniASR_LLM_7B + 无限制音频长度	7_801_041_536	30.0 GiB	~17 GiB	0.097 (~1x) (0.208)³
omniASR_LLM_7B_ZS	零样本 ASR	7_810_900_608	30.0 GiB	~20 GiB	0.194 (~0.5x)
omniASR_tokenizer_v1	适用于除 omniASR_LLM_7B 之外所有非 v2 模型的分词器	-	100 KiB	-
omniASR_tokenizer_v1_variant7	适用于 omniASR_LLM_7B 架构的分词器	-	100 KiB	-
omniASR_tokenizer_written_v2	适用于所有 v2 架构的分词器	-	100 KiB	-

¹ （batch=1，audio_len=30s，BF16，A100）

² 相对于 omniASR_LLM_7B 的相对速度

³ （batch=1，audio_len=15min，BF16，A100）

模型下载与存储

• 自动下载：模型在训练或推理首次使用时会自动下载
• 存储位置：模型会被保存到 ~/.cache/fairseq2/assets/

架构文档

我们在模型目录中提供了高层次的模型架构概述（src/omnilingual_asr/models），每个模型家族的单独配置则位于各自的子目录中：

• SSL 模型：src/omnilingual_asr/models/wav2vec2_ssl
• CTC 模型：src/omnilingual_asr/models/wav2vec2_asr
• LLM 模型：src/omnilingual_asr/models/wav2vec2_llama

训练

如需在您自己的数据上进一步微调已发布的检查点，请先参考我们的 数据准备指南，然后按照 微调配方指南 进行操作。

许可证

Omnilingual ASR 的代码和模型均采用 Apache 2.0 许可证发布。

引用

如果您在研究中使用了全语言 ASR 模型套件，并希望引用我们，请使用以下 BibTeX 条目！

@misc{omnilingualasrteam2025omnilingualasropensourcemultilingual,
      title={全语言 ASR：面向 1600 多种语言的开源多语言语音识别},
      author={全语言 ASR 团队以及 Gil Keren、Artyom Kozhevnikov、Yen Meng、Christophe Ropers、Matthew Setzler、Skyler Wang、Ife Adebara、Michael Auli、Can Balioglu、Kevin Chan、Chierh Cheng、Joe Chuang、Caley Droof、Mark Duppenthaler、Paul-Ambroise Duquenne、Alexander Erben、Cynthia Gao、Gabriel Mejia Gonzalez、Kehan Lyu、Sagar Miglani、Vineel Pratap、Kaushik Ram Sadagopan、Safiyyah Saleem、Arina Turkatenko、Albert Ventayol-Boada、Zheng-Xin Yong、Yu-An Chung、Jean Maillard、Rashel Moritz、Alexandre Mourachko、Mary Williamson、Shireen Yates},
      year={2025},
      eprint={2511.09690},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.09690},
}

Omnilingual ASR 快速上手指南

Omnilingual ASR 是一个开源的多语言语音识别系统，支持超过 1600 种语言。它结合了可扩展的零样本学习与灵活的模型家族，仅需少量配对示例即可适配新语言，无需大量数据集或专业专家知识。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows
• Python: 建议 Python 3.9+
• 硬件:
  • 推理：根据模型大小不同，显存需求从 ~2 GiB (300M 模型) 到 ~20 GiB (7B 零样本模型) 不等。
  • 推荐使用 NVIDIA GPU (A100 等) 以获得最佳性能，但也支持 CPU 推理（速度较慢）。

前置依赖

该工具基于 fairseq2 开发。音频处理依赖 libsndfile 库，安装前请确保系统已安装该库：

• macOS:

  brew install libsndfile
  

• Linux (Ubuntu/Debian):

  sudo apt-get update && sudo apt-get install libsndfile1
  

• Windows: 可能需要额外配置，请参考 fairseq2 Windows 安装指南。

注意：目前 CTC 和 LLM 模型套件仅支持长度小于 40 秒 的音频文件进行推理（除非使用 Unlimited 变体模型）。

安装步骤

你可以选择使用 pip 或 uv 进行安装。国内用户若遇到下载慢的问题，可配置国内镜像源（如清华源、阿里源）。

方式一：使用 pip 安装

# 基础安装
pip install omnilingual-asr

# 若需使用 HuggingFace 数据集功能
pip install "omnilingual-asr[data]"

国内加速示例（使用清华源）：

pip install omnilingual-asr -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 uv 安装

uv add omnilingual-asr

提示：模型权重会在首次运行推理或训练时自动下载，并缓存至 ~/.cache/fairseq2/assets/ 目录。

基本使用

以下是最简单的转录示例，展示如何使用预训练的 LLM 模型对音频进行转录。

1. 单文件或批量转录

from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline

# 初始化管道，加载模型 (此处以支持长音频的 7B 模型为例)
# 可选模型包括: omniASR_CTC_7B_v2, omniASR_LLM_7B_v2, omniASR_LLM_Unlimited_7B_v2 等
pipeline = ASRInferencePipeline(model_card="omniASR_LLM_Unlimited_7B_v2")

# 准备音频文件路径和对应的语言代码 (格式：语言_脚本，如 eng_Latn)
audio_files = ["/path/to/eng_audio1.flac", "/path/to/deu_audio2.wav"]
lang = ["eng_Latn", "deu_Latn"]

# 执行转录
transcriptions = pipeline.transcribe(audio_files, lang=lang, batch_size=2)

# 输出结果
for audio, text in zip(audio_files, transcriptions):
    print(f"File: {audio}")
    print(f"Transcription: {text}\n")

2. 查看支持的语言

语言代码遵循 {language_code}_{script} 格式（例如 cmn_Hans 代表简体中文）。

from omnilingual_asr.models.wav2vec2_llama.lang_ids import supported_langs

# 打印支持的语言总数及列表
print(f"Total supported languages: {len(supported_langs)}")
print(supported_langs)

# 检查特定语言是否支持
if "cmn_Hans" in supported_langs:
    print("简体中文已支持！")

3. 结合 HuggingFace 数据集使用

如果你需要评估模型或在现有数据集上测试，可以直接加载官方提供的多语言语料库。

from datasets import load_dataset
from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline

# 加载特定语言的数据集 (例如：利古里亚语 lij_Latn)
omni_dataset = load_dataset("facebook/omnilingual-asr-corpus", "lij_Latn", split="train", streaming=True)
batch = next(omni_dataset.iter(5))

# 转换数据格式以适配管道
audio_data = [{"waveform": x["array"], "sample_rate": x["sampling_rate"]}
              for x in batch["audio"]]

# 运行推理
pipeline = ASRInferencePipeline(model_card="omniASR_LLM_7B_v2")
transcriptions = pipeline.transcribe(audio_data, batch_size=2)

# 对比结果
for i, (transcription, original_text) in enumerate(zip(transcriptions, batch["raw_text"]), 1):
    print(f"\n Sample {i}:")
    print(f"   Ground Truth: {original_text}")
    print(f"   Predicted:    {transcription}")

模型选择建议

模型类型	推荐场景	显存需求 (约)	速度
CTC 系列 (omniASR_CTC_*_v2)	追求极致速度，资源受限环境	2GB - 15GB	极快 (16x-96x)
LLM 系列 (omniASR_LLM_*_v2)	追求高精度，通用场景	5GB - 17GB	标准 (1x)
LLM Unlimited (...Unlimited...)	长音频 (>40秒) 转录	5GB - 17GB	标准 (1x)
Zero-Shot (...7B_ZS)	极低资源语言的零样本适配	~20GB	较慢 (0.5x)

注：速度相对值基于 omniASR_LLM_7B 模型。