SALMONN 家族：一系列先进的多模态大语言模型

🚀🚀 欢迎来到 SALMONN 的仓库！

SALMONN 模型家族由一系列先进的多模态大语言模型组成。更多详情请参阅相应的分支。

• video-SALMONN 2
• [ICML 2025] F-16
• [ICML 2025] video-SALMONN-o1
• [ICASSP 2025 & ACL 2025] SALMONN 用于语音质量评估
• [ICML 2024] video-SALMONN
• [ICLR 2024] SALMONN

🔥 最新消息

• [2025-07-08] 我们已开源 video-SALMONN 2！video-SALMONN 2 是一款强大的视听大语言模型，能够生成高质量的视听视频字幕，并在通用视频问答基准上取得具有竞争力的表现。
• [2025-06-01] 我们已开源 QualiSpeech 数据集——一个包含自然语言推理的语音质量评估数据集。您可以使用 QualiSpeech 来开发自己的音频大语言模型，用于语音质量评估，或评估现有音频大语言模型的低级语音感知能力。欢迎在此下载：huggingface.co/datasets/tsinghua-ee/QualiSpeech！
• [2025-03-03] 我们已发布用于语音质量评估的 SALMONN 数据处理脚本和微调模型检查点！详情请见：here！
• [2024-09-04] 我们已发布 video-SALMONN 的模型及推理代码！详情请见：here！
• [2024-05-28] 🧳 我们已发布 SALMONN 三阶段训练的所有标注数据（包括 60 万条 SQA/AQA 数据和 5 万条基于音频的故事讲述数据）！欢迎在此下载：drive.google.com/file/d/15cQO--rtMM9JD22y-A5oXXvT3DujgE2e/view?usp=sharing！
• [2024-04-07] 🤖 我们已发布您训练自有 SALMONN 所需的所有代码！快来尝试一些酷炫的应用吧！
• [2024-01-16] 💖 我们的论文已被 ICLR 2024 接受！
• [2023-11-13] 🎁 我们已在 tsinghua-ee/SALMONN-7B 发布了 SALMONN 的 7B 版本，并构建了 7B 的演示应用：here！
• [2023-10-08] ✨ 我们已发布 SALMONN-13B 的模型检查点 和 推理代码：huggingface.co/tsinghua-ee/SALMONN！

📖 论文列表

@inproceedings{
  sun2025videosalmonno1,
  title={{video-SALMONN-o1}: 增强推理能力的视听大语言模型},
  author={孙广志、杨宇东、庄继民、唐长利、李一轩、李伟、马泽军、张超},
  booktitle={ICML},
  year={2025}
}

@article{tang2025video,
    title={{video-SALMONN 2：增强字幕功能的视听大语言模型}}, 
    author={唐长利、李一轩、杨宇东、庄继民、孙广志、李伟、马泽军、张超},
    journal={arXiv 预印本 arXiv:2506.15220},
    year={2025},
}

@inproceedings{wang2024enabling,
  title={使听觉大语言模型能够自动评估语音质量},
  author={王思寅、于文义、杨宇东、唐长利、李一轩、庄继民、陈贤昭、田晓海、张俊、孙广志等},
  booktitle={ICASSP 会议},
  地点={海得拉巴},
  年份={2025}
}

@inproceedings{wang2024enabling,
  title={QualiSpeech：包含自然语言推理与描述的语音质量评估数据集},
  author={王思寅、于文义、陈贤昭、田晓海、张俊、孙广志等},
  booktitle={ACL 会议},
  地点={维也纳},
  年份={2025}
}

@inproceedings{
  sun2024videosalmonn,
  title={video-{SALMONN}：增强语音能力的视听大语言模型},
  author={孙广志、于文义、唐长利、陈贤昭、田天、李伟、陆陆、马泽军、王宇轩、张超},
  booktitle={第四十一届国际机器学习大会},
  年份={2024},
  url={https://openreview.net/forum?id=nYsh5GFIqX}
}

@inproceedings{
  tang2024salmonn,
  title={SALMONN：迈向大语言模型的通用听觉能力},
  author={唐长利、于文义、孙广志、陈贤昭、田天、李伟、陆陆、马泽军、张超},
  booktitle={第十二届国际学习表征大会},
  年份={2024},
  url={https://openreview.net/forum?id=14rn7HpKVk}
}

SALMONN 快速上手指南

SALMONN 是一个先进的多模态大语言模型家族，旨在赋予大语言模型通用的听觉能力，支持音频、视频及语音质量评估等多种任务。本指南基于主分支（SALMONN-13B/7B）提供快速入门流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 建议显存 16GB 以上（运行 7B 模型），24GB+ 推荐用于 13B 模型或微调
• CUDA: 11.7 或更高版本
• 前置依赖: git, wget, ffmpeg (用于音频处理)

建议创建独立的虚拟环境：

python -m venv salmonn_env
source salmonn_env/bin/activate

安装步骤

1. 克隆代码仓库

git clone https://github.com/bytedance/SALMONN.git
cd SALMONN

2. 安装 Python 依赖

推荐使用国内镜像源加速安装过程：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果 requirements.txt 中未包含特定的音频处理库（如 librosa, soundfile 等），可能需要手动安装：

pip install librosa soundfile torch torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型权重

您可以从 Hugging Face 下载预训练模型。国内用户若访问受限，可使用镜像站或手动下载后放入指定目录。

选项 A: SALMONN-13B (完整版)

# 需安装 huggingface-cli
huggingface-cli download tsinghua-ee/SALMONN --local-dir ./checkpoints/salmonn_13b

选项 B: SALMONN-7B (轻量版)

huggingface-cli download tsinghua-ee/SALMONN-7B --local-dir ./checkpoints/salmonn_7b

手动下载链接:

• SALMONN-13B
• SALMONN-7B

基本使用

以下示例展示如何使用 Python 脚本加载模型并进行简单的音频问答推理。假设您已下载 7B 版本模型。

1. 准备测试音频

确保您有一个测试音频文件（例如 test.wav）。如果没有，可以使用任意短音频代替。

2. 运行推理脚本

在项目根目录下创建 infer.py，填入以下代码：

import torch
from salmonn.model import SALMONN
from salmonn.config import Config

# 配置路径
checkpoint_path = "./checkpoints/salmonn_7b" # 或 salmonn_13b
audio_path = "test.wav"
question = "What is happening in this audio?"

# 初始化配置
config = Config()
config.device = "cuda" if torch.cuda.is_available() else "cpu"
config.checkpoint = checkpoint_path

# 加载模型
print("Loading model...")
model = SALMONN(config)
model.eval()

# 执行推理
print(f"Processing audio: {audio_path}")
response = model.generate(
    audio_input=audio_path,
    prompt=question,
    max_new_tokens=512
)

print("-" * 30)
print("Model Response:")
print(response)

3. 执行

python infer.py

针对特定子任务的说明： 如果您需要使用视频理解（video-SALMONN）或语音质量评估（Speech Quality Assessment）功能，请切换至对应的 Git 分支并参考该分支下的具体 README 指令：

• 视频任务：git checkout videosalmonn
• 语音质量评估：git checkout speech_quality_assessment