[论文] [模型] [博客] [演示]

FireRedASR2S 已开源！欢迎试用！https://github.com/FireRedTeam/FireRedASR2S

FireRedASR2S 是一款最先进的、工业级的多合一 ASR 系统，包含 ASR、VAD、LID 和 Punc 模块。所有模块均达到 SOTA 性能。

FireRedASR 是一系列开源的工业级自动语音识别（ASR）模型，支持普通话、汉语方言和英语，在公开的普通话 ASR 基准测试中达到了新的 SOTA 水平，同时还具备出色的歌曲歌词识别能力。

🔥 最新消息

• [2026.02.25] 我们发布了 FireRedASR2-LLM 模型权重。🤗 🤖
• [2026.02.12] 我们发布了 FireRedASR2S（FireRedASR2-AED、FireRedVAD、FireRedLID 和 FireRedPunc），附带模型权重和推理代码。详情请见 https://github.com/FireRedTeam/FireRedASR2S
• [2025.02.17] 我们发布了 FireRedASR-LLM-L 模型权重。
• [2025.01.24] 我们发布了 技术报告，博客以及 FireRedASR-AED-L 模型权重。

方法

FireRedASR 旨在满足各种应用场景下对卓越性能和最佳效率的多样化需求。它包含两个变体：

• FireRedASR-LLM：旨在实现最先进的（SOTA）性能，并支持无缝的端到端语音交互。该模型采用基于大语言模型（LLM）能力的编码器-适配器-LLM 架构。
• FireRedASR-AED：旨在平衡高性能与计算效率，作为基于 LLM 的语音模型中的有效语音表示模块。它使用基于注意力的编码器-解码器（AED）架构。

评估

结果以中文的字符错误率（CER%）和英文的词错误率（WER%）来报告。

公开普通话 ASR 基准测试评估

模型	参数量	aishell1	aishell2	ws_net	ws_meeting	平均-4
FireRedASR-LLM	8.3B	0.76	2.15	4.60	4.67	3.05
FireRedASR-AED	1.1B	0.55	2.52	4.88	4.76	3.18
Seed-ASR	12B+	0.68	2.27	4.66	5.69	3.33
Qwen-Audio	8.4B	1.30	3.10	9.50	10.87	6.19
SenseVoice-L	1.6B	2.09	3.04	6.01	6.73	4.47
Whisper-Large-v3	1.6B	5.14	4.96	10.48	18.87	9.86
Paraformer-Large	0.2B	1.68	2.85	6.74	6.97	4.56

ws 表示 WenetSpeech。

公开汉语方言及英语 ASR 基准测试评估

测试集	KeSpeech	LibriSpeech test-clean	LibriSpeech test-other
FireRedASR-LLM	3.56	1.73	3.67
FireRedASR-AED	4.48	1.93	4.44
之前的 SOTA 结果	6.70	1.82	3.50

使用方法

从 huggingface 下载模型文件，并将其放置在 pretrained_models 文件夹中。

如果您想使用 FireRedASR-LLM-L，还需要下载 Qwen2-7B-Instruct 并将其放入 pretrained_models 文件夹中。然后，进入 FireRedASR-LLM-L 文件夹并运行 $ ln -s ../Qwen2-7B-Instruct

设置

创建 Python 环境并安装依赖项

$ git clone https://github.com/FireRedTeam/FireRedASR.git
$ conda create --name fireredasr python=3.10
$ conda activate fireredasr
$ pip install -r requirements.txt

设置 Linux PATH 和 PYTHONPATH

$ export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
$ export PYTHONPATH=$PWD/:$PYTHONPATH

将音频转换为 16kHz 16 位 PCM 格式

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

快速入门

$ cd examples
$ bash inference_fireredasr_aed.sh
$ bash inference_fireredasr_llm.sh

命令行使用

$ speech2text.py --help
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L
$ speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

Python 使用

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# FireRedASR-AED
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.25,
        "aed_length_penalty": 0.6,
        "eos_penalty": 1.0
    }
)
print(results)


# FireRedASR-LLM
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 3.0,
        "llm_length_penalty": 1.0,
        "temperature": 1.0
    }
)
print(results)

使用提示

批量束搜索

• 使用 FireRedASR-LLM 进行批量束搜索时，请确保输入话语的长度相近。如果话语长度差异较大，较短的话语可能会出现重复问题。您可以按长度对数据集进行排序，或者将 batch_size 设置为 1，以避免重复问题。

输入长度限制

• FireRedASR-AED 支持最长 60 秒的音频输入。超过 60 秒的输入可能会导致幻觉问题，而超过 200 秒的输入则会触发位置编码错误。
• FireRedASR-LLM 支持最长 30 秒的音频输入。对于更长的输入，其行为目前尚不清楚。

致谢

感谢以下开源项目：

• Qwen2-7B-Instruct
• icefall/ASR_LLM
• WeNet
• Speech-Transformer

引用

@article{xu2025fireredasr,
  title={FireRedASR：从编码器-解码器到大语言模型集成的开源工业级中文语音识别模型},
  author={徐凯拓和谢丰龙和唐旭和胡尧},
  journal={arXiv预印本 arXiv:2501.14350},
  year={2025}
}

FireRedASR 快速上手指南

FireRedASR 是一款开源的工业级自动语音识别（ASR）模型家族，支持普通话、中文方言及英语。它在公开中文基准测试中达到了最先进水平（SOTA），并具备出色的歌词识别能力。该工具提供两种主要变体：

• FireRedASR-LLM：基于 Encoder-Adapter-LLM 架构，追求极致性能，支持端到端语音交互。
• FireRedASR-AED：基于注意力编码器 - 解码器（AED）架构，平衡高性能与计算效率。

环境准备

• 操作系统：Linux
• Python 版本：3.10
• 硬件要求：推荐使用 NVIDIA GPU 进行加速推理
• 前置依赖：
  • conda (推荐用于环境管理)
  • ffmpeg (用于音频格式转换)
  • git

注意：若使用 FireRedASR-LLM-L 模型，需额外下载 Qwen2-7B-Instruct 模型权重。国内用户可通过 ModelScope (魔搭) 获取相关模型加速下载。

安装步骤

1. 克隆代码库

git clone https://github.com/FireRedTeam/FireRedASR.git
cd FireRedASR

2. 创建并激活 Python 环境

conda create --name fireredasr python=3.10
conda activate fireredasr
pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速 pip 安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置环境变量

export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH

4. 准备模型权重

从 HuggingFace 或 ModelScope 下载模型文件，并将其放入项目根目录下的 pretrained_models 文件夹中。

针对 FireRedASR-LLM-L 的特殊配置： 如果需要使用 LLM 版本，请下载 Qwen2-7B-Instruct 至 pretrained_models 目录，然后执行以下命令建立软链接：

cd pretrained_models/FireRedASR-LLM-L
ln -s ../Qwen2-7B-Instruct
cd ../../

5. 音频预处理

模型要求输入音频为 16kHz, 16-bit, 单声道 PCM (WAV) 格式。请使用 ffmpeg 转换音频：

ffmpeg -i input_audio -ar 16000 -ac 1 -acodec pcm_s16le -f wav output.wav

基本使用

方式一：命令行快速推理

运行示例脚本或直接调用 speech2text.py 进行推理。

使用 AED 模型（高效版）：

speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "aed" --model_dir pretrained_models/FireRedASR-AED-L

使用 LLM 模型（高性能版）：

speech2text.py --wav_path examples/wav/BAC009S0764W0121.wav --asr_type "llm" --model_dir pretrained_models/FireRedASR-LLM-L

方式二：Python 代码调用

以下是使用 Python API 进行批量转录的最小化示例：

from fireredasr.models.fireredasr import FireRedAsr

batch_uttid = ["BAC009S0764W0121"]
batch_wav_path = ["examples/wav/BAC009S0764W0121.wav"]

# --- 方案 A: 使用 FireRedASR-AED ---
model = FireRedAsr.from_pretrained("aed", "pretrained_models/FireRedASR-AED-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "nbest": 1,
        "decode_max_len": 0,
        "softmax_smoothing": 1.25,
        "aed_length_penalty": 0.6,
        "eos_penalty": 1.0
    }
)
print("AED Results:", results)


# --- 方案 B: 使用 FireRedASR-LLM ---
model = FireRedAsr.from_pretrained("llm", "pretrained_models/FireRedASR-LLM-L")
results = model.transcribe(
    batch_uttid,
    batch_wav_path,
    {
        "use_gpu": 1,
        "beam_size": 3,
        "decode_max_len": 0,
        "decode_min_len": 0,
        "repetition_penalty": 3.0,
        "llm_length_penalty": 1.0,
        "temperature": 1.0
    }
)
print("LLM Results:", results)

重要使用提示

• 输入长度限制：
  • FireRedASR-AED：支持最长 60 秒 音频（超过 200 秒会报错）。
  • FireRedASR-LLM：支持最长 30 秒 音频。
• Batch 推理建议：使用 FireRedASR-LLM 进行批量 Beam Search 时，请确保批次内音频长度相近，否则短音频可能出现重复生成问题。如遇此情况，可将 batch_size 设为 1 或对数据集按长度排序。