GigaAM：用于语音处理的开源声学模型家族

最新消息

• 2026年4月 — 模型微调（CTC / RNNT）、词级时间戳、Triton 推理服务器
• 2025年11月 — GigaAM-v3：在新数据领域上WER降低30%；GigaAM-v3-e2e：端到端转录支持（与Whisper-large-v3进行并排比较，胜率为70:30）
• 2025年6月 — 我们的GigaAM研究论文已被InterSpeech 2025接收！
• 2024年12月 — MIT 许可证，GigaAM-v2（CTC和RNN-T模型的WER分别降低15%和12%），ONNX 导出支持
• 2024年5月 — GigaAM-RNNT（WER降低19%），使用外部语音活动检测进行长音频推理
• 2024年4月 — GigaAM发布：GigaAM-CTC（俄语最先进的语音识别模型），GigaAM-Emo

设置

要求

• Python ≥ 3.10
• 已安装并添加到系统PATH中的ffmpeg

安装 GigaAM 包

# 克隆仓库
git clone https://github.com/salute-developers/GigaAM.git
cd GigaAM

# 安装包依赖
pip install -e .[torch]

# （可选）验证安装：
pip install -e ".[tests]"
pytest -v tests/test_loading.py -m partial  # 或 `-m full` 测试所有模型

GigaAM 概述

GigaAM 是一个基于Conformer的基础模型（2.2亿至2.4亿参数），在多样化的俄语语音数据上进行了预训练。它作为整个GigaAM家族的核心，能够实现语音识别和情感识别方面的最先进微调性能。有关GigaAM-v1的更多信息，请参阅我们在Habr上的文章。我们使用CTC和RNNT解码器对GigaAM编码器进行了ASR微调。GigaAM家族包括三类模型：

其中，v3_e2e_ctc和v3_e2e_rnnt支持标点符号和文本规范化。

模型性能

GigaAM-v3的训练引入了新的内部数据集：呼叫中心、音乐、具有非典型特征的语音以及语音消息。因此，在这些新领域上，模型的平均表现比GigaAM-v2提高了30%，同时在公开基准测试上仍保持与GigaAM-v2相同的质量。在将e2e_ctc和e2e_rnnt与Whisper进行独立LLM评判的并排比较中，GigaAM模型以平均70:30的优势获胜。我们的情感识别模型GigaAM-Emo在Macro F1-Score上比现有模型高出15%。

详细结果请参见这里。

使用方法

模型推理

注意： 使用.transcribe函数进行的ASR仅适用于不超过25秒的音频。要启用.transcribe_longform功能，请安装额外的pyannote.audio依赖项。

pip install -e ".[longform]"
# 可选地运行长音频测试
pip install -e ".[tests]"
HF_TOKEN=<您的Hugging Face令牌> pytest -v tests/test_longform.py

import gigaam

# 加载测试音频
audio_path = gigaam.utils.download_short_audio()
long_audio_path = gigaam.utils.download_long_audio()

# 音频嵌入
model_name = "v3_ssl"       # 选项：`v1_ssl`, `v2_ssl`, `v3_ssl`
model = gigaam.load_model(model_name)
embedding, _ = model.embed_audio(audio_path)
print(embedding)

# ASR
model_name = "v3_e2e_rnnt"  # 选项：任何带有 `_ctc` 或 `_rnnt` 后缀的模型版本
model = gigaam.load_model(model_name)
transcription = model.transcribe(audio_path)
print(transcription)

# 带有词级时间戳的ASR
result = model.transcribe(audio_path, word_timestamps=True)
for word in result.words:
    print(f"  [{word.start:.2f} - {word.end:.2f}] {word.text}")

# 以及长音频ASR
import os
os.environ["HF_TOKEN"] = <具有“pyannote/segmentation-3.0”读取权限的HF_TOKEN>
result = model.transcribe_longform(long_audio_path)
for segment in result:
   print(f"[{gigaam.format_time(segment.start)} - {gigaam.format_time(segment.end)}]: {segment.text}")

# 情感识别
model = gigaam.load_model("emo")
emotion2prob = model.get_probs(audio_path)
print(", ".join([f"{emotion}: {prob:.3f}" for emotion, prob in emotion2prob.items()]))

模型微调

CTC和RNNT模型都可以使用PyTorch Lightning在自定义数据上进行微调。有关所有训练参数的详细说明，请参阅train_utils/README.md。不同显存限制下的端到端示例可在train_utils/example.ipynb中找到。

从 Hugging Face 加载

注意： 请从示例中安装所需依赖项。

from transformers import AutoModel

model = AutoModel.from_pretrained("ai-sage/GigaAM-v3", revision="e2e_rnnt", trust_remote_code=True)

ONNX 导出与推理

注意： to_onnx 默认以 fp32 格式导出。若要在 GPU 上部署，请传递 dtype=torch.float16 — 这样速度更快且显存占用更少。可通过卸载 onnxruntime 并运行 pip install onnxruntime-gpu==1.22.* 来启用 GPU 支持。

1. 使用 model.to_onnx 方法将模型导出为 ONNX 格式：

   onnx_dir = "onnx"
   model_version = "v3_ctc"  # 可选：任意版本
   
   model = gigaam.load_model(model_version)
   model.to_onnx(dir_path=onnx_dir, dtype=torch.float32)  # 或者 fp16（推荐用于 GPU）
   

2. 运行 ONNX 推理：

   from gigaam.onnx_utils import load_onnx, infer_onnx
   
   sessions, model_cfg = load_onnx(onnx_dir, model_version)
   result = infer_onnx([audio_path], model_cfg, sessions)
   print(result[0])
   
   # 或者使用整个数据集
   texts = infer_onnx("/path/to/eval/manifest.tsv", model_cfg, sessions)
   print(texts[0])
   

更多示例，包括高级用法（例如自定义音频加载、批处理等），请参阅 Colab 笔记本。

Triton 推理服务器与 TensorRT

所有语音识别模型均可通过 Triton 推理服务器以 ONNX/TRT 格式在服务器环境中使用。有关设置说明、模型转换及部署细节，请参阅 Triton 推理服务器文档。

引用

如果您在研究中使用了 GigaAM，请引用我们的论文：

@inproceedings{kutsakov25_interspeech,
  title     = {{GigaAM: 高效的自监督语音识别学习器}},
  author    = {Aleksandr Kutsakov 和 Alexandr Maximenko 和 Georgii Gospodinov 和 Pavel Bogomolov 和 Fyodor Minkin},
  year      = {2025},
  booktitle = {{Interspeech 2025}},
  pages     = {1213--1217},
  doi       = {10.21437/Interspeech.2025-1616},
  issn      = {2958-1796},
}

链接

• [arXiv] GigaAM：高效的自监督语音识别学习器
• [Habr] GigaAM-v3：开源的俄语语音识别 SOTA 模型
• [Habr] GigaAM：面向语音处理的开源模型系列
• [YouTube] 如何让 LLM 听懂声音：GigaAM 🤝 GigaChat Audio
• [YouTube] GigaAM：俄语语音声学模型家族
• [YouTube] 仅语音预训练：通用音频编码器的训练

GigaAM 快速上手指南

GigaAM 是一个基于 Conformer 架构的开源语音处理模型家族，专为俄语语音识别（ASR）和情感识别优化。它支持 CTC 和 RNNT 解码器，并提供端到端（含标点与文本规范化）推理能力。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: ≥ 3.10
• 前置依赖:
  • 必须安装 ffmpeg 并将其添加到系统环境变量 PATH 中。
  • 建议配置国内 Python 镜像源（如清华源或阿里源）以加速依赖下载。

安装步骤

1. 克隆仓库

git clone https://github.com/salute-developers/GigaAM.git
cd GigaAM

2. 安装核心依赖

使用 pip 安装基础包（包含 PyTorch 支持）：

pip install -e .[torch] -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：如果需要处理长音频（超过 25 秒），需额外安装长表单支持：

pip install -e ".[longform]" -i https://pypi.tuna.tsinghua.edu.cn/simple
# 注意：长表单功能需要配置 Hugging Face Token 并同意 pyannote/segmentation-3.0 的使用协议

3. 验证安装（可选）

pip install -e ".[tests]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pytest -v tests/test_loading.py -m partial

基本使用

以下是最简单的使用示例，涵盖语音嵌入提取、语音识别（ASR）及情感识别。

代码示例

import gigaam
import os

# 1. 加载测试音频 (也可替换为本地路径)
audio_path = gigaam.utils.download_short_audio()

# --- 场景 A: 提取音频嵌入 (Audio Embeddings) ---
# 可选模型: v1_ssl, v2_ssl, v3_ssl
model_name = "v3_ssl"
model = gigaam.load_model(model_name)
embedding, _ = model.embed_audio(audio_path)
print("Embedding shape:", embedding.shape)

# --- 场景 B: 语音识别 (ASR) ---
# 推荐模型: v3_e2e_rnnt (支持标点和文本规范化), 也可用 v3_ctc, v3_rnnt 等
model_name = "v3_e2e_rnnt"
model = gigaam.load_model(model_name)

# 标准转录 (适用于 < 25 秒音频)
transcription = model.transcribe(audio_path)
print("Transcription:", transcription)

# 带时间戳的转录
result = model.transcribe(audio_path, word_timestamps=True)
for word in result.words:
    print(f"  [{word.start:.2f} - {word.end:.2f}] {word.text}")

# --- 场景 C: 情感识别 (Emotion Recognition) ---
model = gigaam.load_model("emo")
emotion2prob = model.get_probs(audio_path)
print("Emotions:", ", ".join([f"{emotion}: {prob:.3f}" for emotion, prob in emotion2prob.items()]))

长音频处理说明

若需处理长音频，请使用 transcribe_longform 方法，并确保已设置环境变量 HF_TOKEN：

os.environ["HF_TOKEN"] = "<你的 Hugging Face Token>"
long_audio_path = gigaam.utils.download_long_audio()

result = model.transcribe_longform(long_audio_path)
for segment in result:
   print(f"[{gigaam.format_time(segment.start)} - {gigaam.format_time(segment.end)}]: {segment.text}")

从 Hugging Face 直接加载

如果不克隆仓库，也可直接通过 transformers 库加载：

from transformers import AutoModel

model = AutoModel.from_pretrained("ai-sage/GigaAM-v3", revision="e2e_rnnt", trust_remote_code=True)