GLM-ASR

中文阅读.

👋 加入我们的微信或 Discord社区。

👋 关注 AutoGLM Autotyper X 账号

模型介绍

GLM-ASR-Nano-2512 是一款参数量达 15亿 的开源语音识别模型，具有极强的鲁棒性。该模型专为应对真实场景中的复杂性而设计，在多个基准测试中表现超越 OpenAI Whisper V3，同时保持了较小的模型体积。

其主要特点包括：

• 卓越的方言支持 除了标准普通话和英语之外，该模型还针对 粤语 及其他方言进行了高度优化，有效填补了方言语音识别领域的空白。

• 低音量语音识别能力 特别针对 “耳语/低声语音” 场景进行训练，能够准确捕捉并转录传统模型容易忽略的极低音量音频。

• SOTA 性能 在同类开源模型中，GLM-ASR-Nano 实现了 最低平均错误率（4.10），尤其在中文相关基准测试（Wenet Meeting、Aishell-1 等）中表现出显著优势。

基准测试

我们对 GLM-ASR-Nano 与领先的开源及闭源模型进行了对比评测。结果表明，GLM-ASR-Nano (15亿) 在复杂声学环境下的表现尤为突出。

备注：

• Wenet Meeting 反映了包含噪声和多人同时说话的真实会议场景。
• Aishell-1 是标准的普通话基准测试集。

支持的语言

GLM-ASR-Nano 支持 17 种语言，且在这些语言上的可用性较高（WER ≤ 20%），尤其针对以下地区进行了优化：

下载

模型	下载链接
GLM-ASR-Nano-2512	🤗 Hugging Face 🤖 ModelScope

• 请注意，自适配 transformers 和 SGLang 后，模型权重格式已发生变化。如果您是在 2025 年 12 月 27 日之前下载的模型，请拉取最新版本。

推理

我们提供了两段测试音频，分别以中文和英文录制。

需求

pip install -r requirements.txt
sudo apt install ffmpeg

示例代码

• transformers 5.0.0，需从源码安装，请参考 requirements.txt

from transformers import AutoModel, AutoProcessor
import torch

device = "cuda" if torch.cuda.is_available() else "cpu"
repo_id = "zai-org/GLM-ASR-Nano-2512"

processor = AutoProcessor.from_pretrained(repo_id)
model = AutoModel.from_pretrained(repo_id, dtype=torch.bfloat16, device_map=device)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "url": "example_zh.wav",
            },
            {"type": "text", "text": "请将这段音频转写成文字"},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt"
)
inputs = inputs.to(device, dtype=torch.bfloat16)
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
print(processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True))

• SGLang

目前暂无正式发布版本，请使用最新的开发版 Docker 镜像。

docker pull lmsysorg/sglang:dev

进入 Docker 容器后执行：

pip install git+https://github.com/huggingface/transformers
python3 -m sglang.launch_server --model-path zai-org/GLM-ASR-Nano-2512 --served-model-name glm-asr --host 0.0.0.0 --port 8000

使用以下示例代码向服务器发送请求：

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://127.0.0.1:8000/v1"

client = OpenAI(api_key=openai_api_key, base_url=openai_api_base)
response = client.chat.completions.create(
    model="glm-asr",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "audio_url",
                    "audio_url": {"url": "example_zh.wav"}
                },
                {
                    "type": "text",
                    "text": "请将这段音频转写成文字"
                },
            ]
        }
    ],
    max_tokens=1024,
)
print(response.choices[0].message.content.strip())

• transformers 4.51.3（适用于未更新的模型）

python inference.py --checkpoint_dir zai-org/GLM-ASR-Nano-2512 --audio examples/example_en.wav # 英文
python inference.py --checkpoint_dir zai-org/GLM-ASR-Nano-2512 --audio examples/example_zh.wav # 中文

对于上述两段示例音频，模型均能生成准确的转录结果，具体如下：

be careful not to allow fabric to become too hot which can cause shrinkage or in extreme cases scorch
我还能再搞一个，就算是非常小的声音也能识别准确

GLM-ASR 快速上手指南

GLM-ASR-Nano-2512 是一款拥有 15 亿参数的开源语音识别模型，在中文基准测试中表现优异，特别擅长方言（如粤语）及低音量语音的识别。

环境准备

• 系统要求：Linux 或 macOS（推荐 Linux），具备 NVIDIA GPU 以获得最佳推理速度。
• 前置依赖：
  • Python 3.8+
  • ffmpeg (用于音频处理)
  • PyTorch (支持 CUDA)

安装步骤

1. 安装系统依赖 ffmpeg

   sudo apt install ffmpeg
   

2. 安装 Python 依赖 推荐使用国内镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：本项目依赖 transformers 5.0.0+ 版本，可能需要从源码安装，请确保 requirements.txt 中的配置已正确应用。

3. 获取模型 国内用户推荐通过 ModelScope (魔搭) 下载，速度更快：

   • ModelScope: ZhipuAI/GLM-ASR-Nano-2512
   • Hugging Face: zai-org/GLM-ASR-Nano-2512

   重要提示：模型权重格式已更新以适配 transformers 和 SGLang。如果您在 2025 年 12 月 27 日之前下载过模型，请务必拉取最新版本。

基本使用

以下是最简单的基于 transformers 的推理示例。代码会自动从远程加载模型（若本地已下载则读取本地缓存）。

from transformers import AutoModel, AutoProcessor
import torch

# 自动检测设备
device = "cuda" if torch.cuda.is_available() else "cpu"
repo_id = "zai-org/GLM-ASR-Nano-2512"

# 加载处理器和模型
processor = AutoProcessor.from_pretrained(repo_id)
model = AutoModel.from_pretrained(repo_id, dtype=torch.bfloat16, device_map=device)

# 构建输入消息
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "audio",
                "url": "example_zh.wav",  # 替换为您的音频文件路径
            },
            {"type": "text", "text": "Please transcribe this audio into text"},
        ],
    }
]

# 处理输入并生成结果
inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt"
)
inputs = inputs.to(device, dtype=torch.bfloat16)

outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)

# 解码输出
result = processor.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(result)

运行说明： 将上述代码保存为 infer.py，并将 example_zh.wav 替换为您实际的音频文件路径即可运行。模型支持中英文及多种方言的高精度转录。