Fun-ASR

「简体中文」|「English」

Fun-ASR 是通义实验室推出的一款端到端语音识别大模型。它基于数千万小时的真实语音数据进行训练，具备强大的上下文理解能力和行业适应性。支持低延迟的实时转写，并覆盖31种语言。在教育、金融等垂直领域表现尤为出色，能够准确识别专业术语和行业表达，有效解决“幻觉”生成和语言混淆等问题，实现“听清、听懂、写准”。

模型名称	任务详情	训练数据	参数
Fun-ASR-Nano (⭐ 🤗)	语音识别支持中文、英文和日语。中文涵盖7种方言（吴语、粤语、闽南语、客家话、赣语、湘语、晋语）及26种地方口音（河南、山西、湖北、四川、重庆、云南、贵州、广东、广西等20多个地区）。英文和日语则覆盖多种地方口音。此外还支持歌词识别和说唱语音识别。	数千万小时	800M
Fun-ASR-MLT-Nano (⭐ 🤗)	语音识别支持韩语、越南语、印尼语、泰语、马来语、菲律宾语、阿拉伯语、印地语、保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、爱沙尼亚语、芬兰语、希腊语、匈牙利语、爱尔兰语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语、瑞典语，共计31种语言。	数十万小时	800M

最新动态 🔥

• 2025/12：Fun-ASR-Nano-2512 是一款端到端语音识别大模型，基于数千万小时的真实语音数据训练而成。支持低延迟实时转写，覆盖31种语言。
• 2024/7：FunASR 是一个基础的语音识别工具包，提供多种功能，包括语音识别（ASR）、语音活动检测（VAD）、标点符号恢复、语言模型、说话人验证、说话人分离以及多说话人语音识别。

核心特性 🎯

Fun-ASR 专注于高精度语音识别、多语言支持以及行业定制能力。

• 远场高噪声识别： 针对远距离拾音和高噪声场景（如会议室、车载环境、工业现场等）进行了深度优化，将识别准确率提升至 93%。
• 中文方言与地方口音：
  • 支持 7大方言：吴语、粤语、闽南语、客家话、赣语、湘语、晋语
  • 覆盖 26种地方口音：包括河南、陕西、湖北、四川、重庆、云南、贵州、广东、广西等20多个地区
• 多语言自由语音： 支持 31种语言 的识别，重点优化了东亚和东南亚地区的语言，可实现语言的自由切换和混合识别。
• 音乐背景下的歌词识别： 在音乐背景干扰下提升了语音识别性能，能够准确识别歌曲中的歌词内容。

环境搭建 🐍

git clone https://github.com/FunAudioLLM/Fun-ASR.git
cd Fun-ASR
pip install -r requirements.txt

待办事项

• 支持返回时间戳
• 支持说话人分离
• 支持模型训练

使用方法 🛠️

推理

使用 FunASR 进行推理

from funasr import AutoModel


def main():
    model_dir = "FunAudioLLM/Fun-ASR-Nano-2512"
    model = AutoModel(
        model=model_dir,
        trust_remote_code=True,
        remote_code="./model.py",
        device="cuda:0",
        # hub：从 ms（用于 ModelScope）或 hf（用于 Hugging Face）下载模型。
        hub="hf"
    )

    wav_path = f"{model.model_path}/example/zh.mp3"
    res = model.generate(
        input=[wav_path],
        cache={},
        batch_size=1,
        hotwords=["开放时间"],
        # 中文、英文、日文 for Fun-ASR-Nano-2512
        # 韩文、越南语、印尼语、泰语、马来语、菲律宾语、阿拉伯语、
        # 印地语、保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、爱沙尼亚语、芬兰语、希腊语、
        # 匈牙利语、爱尔兰语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、
        # 斯洛伐克语、斯洛文尼亚语、瑞典语 for Fun-ASR-MLT-Nano-2512
        language="中文",
        itn=True, # 或 False
    )
    text = res[0]["text"]
    print(text)

    model = AutoModel(
        model=model_dir,
        trust_remote_code=True,
        vad_model="fsmn-vad",
        vad_kwargs={"max_single_segment_time": 30000},
        remote_code="./model.py",
        device="cuda:0",
    )
    res = model.generate(input=[wav_path], cache={}, batch_size=1)
    text = res[0]["text"]
    print(text)


if __name__ == "__main__":
    main()

直接推理

from model import FunASRNano


def main():
    model_dir = "FunAudioLLM/Fun-ASR-Nano-2512"
    m, kwargs = FunASRNano.from_pretrained(model=model_dir, device="cuda:0")
    m.eval()

    wav_path = f"{kwargs['model_path']}/example/zh.mp3"
    res = m.inference(data_in=[wav_path], **kwargs)
    text = res[0][0]["text"]
    print(text)


if __name__ == "__main__":
    main()

参数说明（点击展开）

• model_dir: 模型名称或本地磁盘上的模型路径。
• trust_remote_code: 是否信任远程代码以加载自定义模型实现。
• remote_code: 指定特定模型代码的位置（例如当前目录下的 model.py），支持绝对路径和相对路径。
• device: 指定要使用的设备，例如 "cuda:0" 或 "cpu"。

微调

请参阅 docs/finetune.md

性能 📝

我们在开源基准测试、汉语方言数据集以及行业专用测试集上将 Fun-ASR 与其他最先进的模型进行了对比。结果表明，Fun-ASR 在各种场景下均表现出色。

1. 开源数据集性能（WER %）

测试集	GLM-ASR-nano	GLM-ASR-nano*	Whisper-large-v3	Seed-ASR	Seed-ASR*	Kimi-Audio	Step-Audio2	FireRed-ASR	Fun-ASR-nano	Fun-ASR
模型大小	1.5B	1.5B	1.6B	-	-	-	-	1.1B	0.8B	7.7B
开源性	✅	✅	✅	❌	❌	✅	✅	✅	✅	❌
AIShell1	1.81	2.17	4.72	0.68	1.63	0.71	0.63	0.54	1.80	1.22
AIShell2	-	3.47	4.68	2.27	2.76	2.86	2.10	2.58	2.75	2.39
Fleurs-zh	-	3.65	5.18	3.43	3.23	3.11	2.68	4.81	2.56	2.53
Fleurs-en	5.78	6.95	6.23	9.39	9.39	6.99	3.03	10.79	5.96	4.74
Librispeech-clean	2.00	2.17	1.86	1.58	2.8	1.32	1.17	1.84	1.76	1.51
Librispeech-other	4.19	4.43	3.43	2.84	5.69	2.63	2.42	4.52	4.33	3.03
WenetSpeech Meeting	6.73	8.21	18.39	5.69	7.07	6.24	4.75	4.95	6.60	6.17
WenetSpeech Net	-	6.33	11.89	4.66	4.84	6.45	4.67	4.94	6.01	5.46

注：Seed-ASR* 的结果是通过火山引擎的官方 API 评估得出的；GLM-ASR-nano* 的结果则是使用开源检查点进行评估的。

2. 行业数据集性能（WER %）

测试集	GLM-ASR-Nano	Whisper-large-v3	Seed-ASR	FireRed-ASR	Kimi-Audio	Paraformer v2	Fun-ASR-nano	Fun-ASR
模型大小	1.5B	1.6B	-	1.1B	8B	0.2B	0.8B	7.7B
开源性	✅	✅	❌	✅	✅	✅	✅	❌
近场	16.95	16.58	7.20	10.10	9.02	8.11	7.79	6.31
远场	9.44	22.21	4.59	7.49	10.95	9.55	5.79	4.34
复杂背景	23.79	32.57	12.90	15.56	15.56	15.19	14.59	11.45
英语通用	16.47	18.56	15.65	21.62	18.12	19.48	15.28	13.73
开源	4.67	7.05	3.83	5.31	3.79	6.23	4.22	3.38
方言	54.21	66.14	29.45	52.82	71.94	41.16	28.18	15.21
口音	19.78	36.03	10.23	14.05	27.20	17.80	12.90	10.31
歌词	46.56	54.82	30.26	42.87	65.18	50.14	30.85	21.00
嘻哈	43.32	46.56	29.46	33.88	57.25	43.79	30.87	28.58
平均值	26.13	33.39	15.95	22.63	31.00	23.49	16.72	12.70

值得关注的第三方工作

• vLLM（GPU）部署最佳实践：使用 vLLM 对 Fun-ASR 进行加速实现。仓库

引用

@misc{an2025funasrtechnicalreport,
      title={Fun-ASR 技术报告},
      author={安凯宇、陈燕妮、陈志高、邓冲、杜志浩、高昌峰、高志福、龚博、李向刚、李亚斌、刘颖、吕翔、季云杰、姜一恒、马彬、罗浩能、倪崇嘉、潘泽旭、彭义平、彭振东、王培尧、王浩、王浩旭、王文、王武鹏、吴宇中、田彪、谭振涛、杨楠、袁斌、叶继平、于继星、张庆林、邹坤、赵汉、赵升奎、周景仁、朱彦桥},
      year={2025},
      eprint={2509.12508},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2509.12508},
}

Fun-ASR 快速上手指南

Fun-ASR 是通义实验室推出的端到端语音识别大模型，基于数千万小时真实语音数据训练。它支持低延迟实时转录，覆盖 31 种语言，尤其在中文方言、远场高噪场景及垂直行业（如教育、金融）术语识别上表现卓越。

环境准备

• 系统要求：Linux / macOS / Windows
• Python 版本：推荐 Python 3.8+
• 硬件建议：
  • 推理：支持 CPU 或 GPU（推荐 NVIDIA GPU，需安装 CUDA）。
  • 显存：Nano 版本（800M 参数）在 GPU 上运行仅需少量显存，CPU 亦可运行但速度较慢。
• 前置依赖：确保已安装 git 和 pip。

安装步骤

推荐使用国内镜像源加速依赖下载。

1. 克隆项目代码

   git clone https://github.com/FunAudioLLM/Fun-ASR.git
   cd Fun-ASR
   

2. 安装依赖库

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：模型权重会自动从 ModelScope（魔搭社区）或 HuggingFace 下载，国内用户默认通过 ModelScope 下载速度更快。

基本使用

以下是最简单的推理示例，自动下载模型并识别音频文件。

方法一：使用 AutoModel（推荐）

此方法封装了 VAD（语音活动检测）等预处理逻辑，适合大多数场景。

from funasr import AutoModel

def main():
    # 指定模型名称，首次运行会自动下载
    # hub="ms" 表示从 ModelScope 下载（国内推荐），"hf" 表示从 HuggingFace 下载
    model_dir = "FunAudioLLM/Fun-ASR-Nano-2512"
    
    model = AutoModel(
        model=model_dir,
        trust_remote_code=True,
        remote_code="./model.py",
        device="cuda:0",  # 若无 GPU 请改为 "cpu"
        hub="ms" 
    )

    # 替换为你的音频文件路径
    wav_path = f"{model.model_path}/example/zh.mp3"
    
    res = model.generate(
        input=[wav_path],
        cache={},
        batch_size=1,
        language="中文",  # 支持：中文，英文，日文 等
        itn=True,         # 是否进行逆文本标准化（如将"一百"转为"100"）
    )
    
    text = res[0]["text"]
    print(f"识别结果：{text}")

if __name__ == "__main__":
    main()

方法二：直接推理（轻量级）

如果你只需要最基础的推理功能，不依赖额外的 VAD 模块：

from model import FunASRNano

def main():
    model_dir = "FunAudioLLM/Fun-ASR-Nano-2512"
    
    # 加载模型
    m, kwargs = FunASRNano.from_pretrained(model=model_dir, device="cuda:0")
    m.eval()

    wav_path = f"{kwargs['model_path']}/example/zh.mp3"
    
    # 执行推理
    res = m.inference(data_in=[wav_path], **kwargs)
    text = res[0][0]["text"]
    
    print(f"识别结果：{text}")

if __name__ == "__main__":
    main()

核心参数说明

• model: 模型名称或本地路径。
• device: 运行设备，cuda:0 为显卡，cpu 为处理器。
• language: 指定识别语言（Fun-ASR-Nano 支持中/英/日及多种方言；Fun-ASR-MLT-Nano 支持 31 国语言）。
• hotwords: 热词列表，例如 ["开放时间"]，可提高特定术语的识别率。
• itn: 布尔值，开启后将数字、日期等转换为阿拉伯数字格式。