目录

1. 新闻
2. 安装
3. 使用
   • 配方列表
   • 配置优先级
4. 特性
5. 致谢
6. 引用

新闻

• [更新于2026年1月15日] 我们的SLAM-LLM框架已被IEEE《信号处理精选主题期刊》（JSTSP）接收，其中我们详细介绍了该框架的设计以及一些未发表的关于语音、音频和音乐MLLM的实验与见解。
• [更新于2025年4月24日] 我们现已支持大规模工业级训练，适用于约10万小时规模的数据集。其主要特点包括：
  • 多任务训练支持： 通过统一的数据格式，支持ASR和ST等多种任务。
  • 动态提示选择： 支持从多个提示中随机选取。
  • 迭代数据集： 使用迭代数据集格式，以减少大型数据集的启动时间。
  • DeepSpeed训练： 支持DeepSpeed训练，显著降低内存占用。
  • 多机多GPU推理： 支持跨多台机器和多块GPU的分布式推理，从而缩短评估时间。
  • 动态帧批处理： 根据音频大小动态组合帧，而非采用固定批大小，大幅缩短训练和评估时间（对于10万小时的数据，可将训练时间缩短四分之三）。
• [更新于2025年4月24日] 我们已支持DeepSpeed训练，请参阅此处的“使用DeepSpeed进行微调”说明。
• [更新于2025年1月22日] 🔥🔥🔥 已完全复现了SLAM-Omni的整个流程（包括所有数据准备、模型训练和推理）。
  • SLAM-Omni是一个音色可控的语音交互系统，仅需单阶段训练且资源消耗极低，即可实现高质量的端到端语音对话，支持中英文多轮对话。（论文, 演示)
  • 我们已完整复现了SLAM-Omni的训练和推理过程，并开源了所有相关训练数据集。提供的代码框架理论上支持所有基于编解码器的语音对话模型。此外，我们还提供了Mini-Omni的复现代码。

• [更新于2024年11月17日] 已支持基于LLM的情境感知ASR的配方。
• [更新于2024年11月5日] 已支持使用emotion2vec作为编码器的语音情感字幕生成（SEC）配方。
• [更新于2024年10月12日] 已支持使用EAT作为编码器的SLAM-AAC配方。
• [更新于2024年9月28日] 已支持CoT-ST的配方。
• [更新于2024年9月25日] 已支持DRCap的配方。
• [更新于2024年6月12日] 已支持MaLa-ASR的配方。
• 【征集示例】 我们诚挚邀请开发者和研究人员基于SLAM-LLM开发新应用、开展学术研究，并提交您的示例！我们也欢迎工程相关的PR（例如改进和加速多节点训练）。
• [更新于2024年5月22日] 请加入我们的Slack群组或微信交流群。我们将在此同步最新动态及答疑信息。
• [更新于2024年5月21日] 已支持空间音频理解的配方。
• [更新于2024年5月20日] 已支持音乐字幕生成（MC）的配方。
• [更新于2024年5月8日] 已支持视觉语音识别（VSR）的配方。
• [更新于2024年5月4日] 已支持零样本文本转语音（TTS）的配方。
• [更新于2024年4月28日] 已支持自动音频字幕生成（AAC）的配方。
• [更新于2024年3月31日] 已支持自动语音识别（ASR）的配方。

安装

git clone https://github.com/huggingface/transformers.git
cd transformers
git checkout tags/v4.35.2
pip install -e .
cd ..
git clone https://github.com/huggingface/peft.git
cd peft
git checkout tags/v0.6.0
pip install -e .
cd ..
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
git clone https://github.com/ddlBoJack/SLAM-LLM.git
cd SLAM-LLM
pip install  -e .

对于部分示例，您可能需要使用fairseq，命令如下：

# 在安装SLAM-LLM之前，需先安装fairseq
git clone https://github.com/pytorch/fairseq
cd fairseq
pip install --editable ./

我们还提供了一个方便的Docker镜像：

# 构建Docker镜像
docker build -t slam-llm:latest .

# 使用GPU运行Docker镜像
docker run -it --gpus all --name slam --shm-size=256g slam-llm:latest /bin/bash

使用

食谱列表

我们提供了多种基于大语言模型的语音、音频和音乐任务的参考实现：

• 语音任务

  • 自动语音识别 (ASR)

    • SLAM-ASR

  • 上下文自动语音识别 (CASR)

    • Mala-ASR
    • 基于大语言模型的上下文ASR

  • 视觉语音识别 (VSR)

  • 语音到文本翻译 (S2TT)

    • CoT-ST

  • 文本到语音 (TTS)

    • VALL-E-X

  • 语音情感字幕生成 (SEC)

  • 语音交互系统

    • SLAM-Omni

• 音频任务

  • 自动化音频字幕生成 (AAC)

    • SLAM-AAC
    • DRCap

  • 空间音频理解

    • BAT

• 音乐任务

  • 音乐字幕生成 (MC)

配置优先级

我们提供了如下层次化的配置继承关系：

命令行（shell文件） > Hydra配置（yaml文件） > dataclass配置（Python文件）

特性

• 易于扩展到新模型和新任务。
• 提供详细的训练食谱和高性能推理检查点。
• 支持混合精度训练，在NVIDIA Tensor Core上以更少的显存更快地训练。
• 多GPU训练支持数据并行和模型并行，兼容DDP、FSDP和deepspeed（仍在完善中）。
• 基于Hydra和dataclass的灵活配置，允许代码、命令行和文件配置的组合。

致谢

• 我们借鉴了Llama-Recipes中的训练流程代码。
• 我们借鉴了Fairseq中的deepspeed配置代码。
• 感谢各位贡献者提供的多样化食谱。

引用

SLAM-LLM框架：

@article{ma2026slam,
  title={SLAM-LLM: 一种模块化、开源的多模态大语言模型框架及语音、语言、音频和音乐处理的最佳实践},
  author={Ma, Ziyang and Yang, Guanrou and Chen, Wenxi and Gao, Zhifu and Du, Yexing and Li, Xiquan and Zheng, Zhisheng and Zhu, Haina et al.},
  journal={IEEE信号处理专题期刊},
  year={2026}
}

语音任务

SLAM-ASR：

@article{ma2025speech,
  title={语音识别与大语言模型的结合：基准测试、模型与探索},
  author={Ma, Ziyang and Yang, Guanrou and Yang, Yifan and Gao, Zhifu and Wang, Jiaming and Du, Zhihao and Yu, Fan and Chen, Qian and Zheng, Siqi and Zhang, Shiliang et al.},
  journal={AAAI会议论文集},
  year={2025}
}

Mala-ASR：

@article{yang2024mala,
  title={MaLa-ASR：多媒体辅助的大语言模型ASR},
  author={Yang, Guanrou and Ma, Ziyang and Yu, Fan and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={INTERSPEECH会议论文集},
  year={2024}
}

基于大语言模型的上下文ASR：

@article{yang2024ctc,
  title={CTC辅助的大语言模型上下文ASR},
  author={Yang, Guanrou and Ma, Ziyang and Gao, Zhifu and Zhang, Shiliang and Chen, Xie},
  journal={SLT会议论文集},
  year={2024}
}

SLAM-Omni：

@article{chen2024slam,
  title={SLAM-Omni：单阶段训练的音色可控语音交互系统},
  author={Chen, Wenxi and Ma, Ziyang and Yan, Ruiqi and Liang, Yuzhe and Li, Xiquan and Xu, Ruiyang and Niu, Zhikang and Zhu, Yanqiao and Yang, Yifan and Liu, Zhanxun et al.},
  journal={ACL会议论文集},
  year={2025}
}

CoT-ST：

@article{du2024cot,
  title={CoT-ST：通过多模态思维链增强大语言模型语音翻译},
  author={Du, Yexing and Ma, Ziyang and Yang, Yifan and Deng, Keqi and Chen, Xie and Yang, Bo and Xiang, Yang and Liu, Ming and Qin, Bing},
  journal={ACL会议论文集},
  year={2025}
}

音频任务

SLAM-AAC：

@article{chen2025slam,
  title={SLAM-AAC：利用释义增强和CLAP精炼通过大语言模型提升音频字幕生成},
  author={Chen, Wenxi and Ma, Ziyang and Li, Xiquan and Xu, Xuenan and Liang, Yuzhe and Zheng, Zhisheng and Yu, Kai and Chen, Xie},
  journal={ICASSP会议论文集},
  year={2025}
}

DRCap：

@article{li2025drcap,
  title={DRCap：通过检索增强生成解码CLAP潜在表示实现零样本音频字幕生成},
  author={Li, Xiquan and Chen, Wenxi and Ma, Ziyang and Xu, Xuenan and Liang, Yuzhe and Zheng, Zhisheng and Kong, Qiuqiang and Chen, Xie},
  journal={ICASSP会议论文集},
  year={2025}
}

BAT：

@article{zheng2024bat,
  title={BAT：利用大语言模型学习空间声音推理},
  author={Zheng, Zhisheng and Peng, Puyuan and Ma, Ziyang and Chen, Xie and Choi, Eunsol and Harwath, David},
  journal={ICML会议论文集},
  year={2024}
}

SLAM-LLM 快速上手指南

SLAM-LLM 是一个专注于语音 (Speech)、语言 (Language)、音频 (Audio) 和音乐 (Music) 处理的多模态大语言模型 (MLLM) 深度学习工具包。它提供了详细的训练配方 (Recipes) 和高性能的推理检查点，支持从自动语音识别 (ASR) 到端到端语音对话系统 (如 SLAM-Omni) 等多种任务。

1. 环境准备

在开始安装之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux
• GPU 驱动: 支持 CUDA 11.8 或更高版本
• Python: 建议 Python 3.8+
• PyTorch: 2.0.1+
• 显存要求: 根据具体任务不同，建议使用具备较大显存的 NVIDIA GPU（支持 Tensor Core 以加速混合精度训练）。

2. 安装步骤

SLAM-LLM 依赖特定版本的 transformers 和 peft，请严格按照以下顺序执行安装命令。

步骤一：安装核心依赖

# 克隆并安装指定版本的 transformers
git clone https://github.com/huggingface/transformers.git
cd transformers
git checkout tags/v4.35.2
pip install -e .
cd ..

# 克隆并安装指定版本的 peft
git clone https://github.com/huggingface/peft.git
cd peft
git checkout tags/v0.6.0
pip install -e .
cd ..

# 安装 PyTorch (CUDA 11.8 版本)
# 国内用户推荐使用清华源或阿里源加速下载
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

步骤二：安装 SLAM-LLM

git clone https://github.com/ddlBoJack/SLAM-LLM.git
cd SLAM-LLM
pip install -e .

可选：安装 Fairseq

部分示例（如某些 ASR 任务）需要 fairseq，如需使用请在安装 SLAM-LLM 之前执行：

git clone https://github.com/pytorch/fairseq
cd fairseq
pip install --editable ./
cd ..

可选：使用 Docker

为方便环境部署，项目提供了 Docker 镜像构建方案：

# 构建镜像
docker build -t slam-llm:latest .

# 运行容器（启用 GPU 支持）
docker run -it --gpus all --name slam --shm-size=256g slam-llm:latest /bin/bash

3. 基本使用

SLAM-LLM 采用基于 Hydra 的层级配置系统，支持通过命令行、YAML 文件或 Python dataclass 进行配置。配置优先级为：命令行 > Hydra YAML > Python Dataclass。

支持的任务列表

项目内置了多种任务的训练与推理配方（Recipes），主要包括：

• 语音任务:
  • 自动语音识别 (ASR): SLAM-ASR, Mala-ASR, Contextual ASR
  • 视觉语音识别 (VSR)
  • 语音翻译 (S2TT): CoT-ST
  • 语音合成 (TTS): VALL-E-X
  • 语音情感描述 (SEC)
  • 端到端语音交互: SLAM-Omni (支持音色控制、多轮对话)
• 音频任务:
  • 自动音频描述 (AAC): SLAM-AAC, DRCap
  • 空间音频理解
• 音乐任务:
  • 音乐描述 (MC)

快速启动示例

具体的训练和推理命令请参考各任务对应的 examples 目录下的 README 文档。以下以 LibriSpeech ASR 任务为例展示典型的运行逻辑：

1. 查找配置文件: 进入 examples/asr_librispeech/ 目录，查看提供的 shell 脚本或 yaml 配置。

2. 执行训练: 通常通过运行提供的 shell 脚本来启动训练，脚本内部会调用主程序并加载相应的 Hydra 配置。

   # 示例：进入具体任务目录并运行训练脚本
   cd examples/asr_librispeech
   bash run_train.sh 
   

   (注：实际运行时请根据 run_train.sh 中的内容调整数据路径和超参数)

3. 执行推理: 使用训练好的 checkpoint 进行推理，同样通过指定配置路径实现。

   # 示例：运行推理脚本
   bash run_inference.sh
   

高级特性

• 大规模训练: 支持 DeepSpeed 以减少显存占用，适合 10 万小时级数据集。
• 动态帧批处理 (Dynamic Frame Batching): 根据音频长度动态组合批次，显著减少训练时间。
• 多机多卡: 支持 DDP、FSDP 及 DeepSpeed 分布式训练与推理。

更多详细用法、数据准备流程及模型复现细节，请访问 GitHub 仓库中对应任务的 README.md 文件。