SoundMind: 面向音频-语言模型的强化学习激励逻辑推理 [EMNLP 2025 主会场（口头报告）]

本仓库是论文《SoundMind: 面向音频-语言模型的强化学习激励逻辑推理》（EMNLP 2025）的官方实现。我们提出了 SoundMind-RL，一种新颖的基于规则的强化学习框架，能够赋予大规模音频-语言模型在音频和文本两种模态上进行高级逻辑推理的能力。为了支持此类训练，我们构建了 SoundMind 数据集，这是一个包含 6,446 个高质量样本的音频逻辑推理（ALR）基准数据集，这些样本同时配有音频和文本形式的思维链注释。

数据集下载

如需下载我们的数据集，请访问以下链接：Hugging Face。

您也可以从 Dropbox 下载。

运行以下命令：

wget -c "https://www.dropbox.com/scl/fi/irtbrnmk5e0ecvv8fyrum/audio_dataset.zip?rlkey=p1ebkt9h1bkyjsq3fo2bp667v&st=gxr542e2&dl=1" -O audio_dataset.zip

该数据集包含训练集、测试集和验证集，并附有相应的文本描述和元数据，存储为 JSON 文件。所有标注文件均位于本 GitHub 仓库的 dataset-annotation-json 文件夹中。

环境要求

推荐硬件配置

8× NVIDIA H800 80GB 或 8× NVIDIA H100 80GB 显卡。

代码库与兼容性

我们的代码基于 verl 构建。如果您已经熟悉 verl，则可以快速上手本仓库。

环境搭建（推荐使用 Anaconda）

• Python: 版本 ≥ 3.9
• CUDA: 版本 ≥ 12.1

为了使训练和推理引擎更好地利用硬件加速，需要安装 CUDA/cuDNN 等依赖项，而这些依赖项在安装其他软件包时容易被覆盖。因此，我们需要安装以下先决条件：

• CUDA: 版本 ≥ 12.4
• cuDNN: 版本 ≥ 9.8.0

# 可以切换到任意目录，但不建议在 verl 源码目录下操作
wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
dpkg -i cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
cp /var/cudnn-local-repo-ubuntu2204-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/
apt-get update
apt-get -y install cudnn-cuda-12

创建并激活一个新的 conda 环境：

conda create -n alr python==3.10
conda activate alr

安装 verl：

bash scripts/install_vllm_sglang_mcore.sh
pip install --no-deps -e .

请确保在安装其他软件包时不会覆盖已安装的依赖项。需要特别注意检查的包包括：

• torch 及其相关系列
• vLLM
• SGLang
• pyarrow
• tensordict

对于 Qwen2.5-Omni，我们还需要更新一些额外的库版本。

pip install transformers==4.52.3
pip install accelerate
pip install qwen-omni-utils[decord] -U

数据预处理

我们的项目和代码依赖于音频逻辑推理（ALR）数据集。

生成 Parquet 格式数据集

• 选项 1：使用双模态输入

cd ./examples/data_preprocess
python alr.py

• 选项 2：仅使用文本

cd ./examples/data_preprocess
python alr_text.py

• 选项 3：仅使用音频

cd ./examples/data_preprocess
python alr_audio.py

模型检查点下载

如需下载我们的模型检查点，请访问以下链接：检查点链接

运行以下命令：

wget -c "https://www.dropbox.com/scl/fi/f24wyecnycfu6g6ip10ac/qwen2_5_omni_logic.zip?rlkey=xlixctyr8cbfpv85arhka0b8c&st=wd5rlh9b&dl=1" -O qwen2_5_omni_logic.zip

强化学习训练与评估

如果您不想使用我们提供的预训练模型，也可以使用官方版本。只需在 download_qwen25omni.py 和 main_grpo.sh 中修改模型路径即可。

运行以下命令：

python download_qwen25omni.py
bash main_grpo.sh

✏️ 引用

如果您认为本项目有所帮助，请随时点赞⭐️ 并引用我们的论文：

@article{diao2025soundmind,
  title={SoundMind: RL-Incentivized Logic Reasoning for Audio-Language Models},
  author={Diao, Xingjian and Zhang, Chunhui and Kong, Keyi and Wu, Weiyi and Ma, Chiyu and Ouyang, Zhongyu and Qing, Peijun and Vosoughi, Soroush and Gui, Jiang},
  journal={arXiv preprint arXiv:2506.12935},
  year={2025}
}

SoundMind 快速上手指南

SoundMind 是一个基于规则强化学习（RL）的框架，旨在赋予大规模音语模型（Audio-Language Models）跨模态逻辑推理能力。本项目基于 verl 构建，并提供了专用的 SoundMind 数据集和训练好的 Qwen2.5-Omni 检查点。

1. 环境准备

系统要求

• GPU: 推荐 8× NVIDIA H800 80GB 或 8× NVIDIA H100 80GB。
• 操作系统: Linux (Ubuntu 22.04 推荐)。
• Python: >= 3.9 (推荐 3.10)。
• CUDA: >= 12.4。
• cuDNN: >= 9.8.0。

前置依赖安装

首先安装 CUDA 和 cuDNN 依赖（以 Ubuntu 22.04 为例）：

wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
dpkg -i cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.deb
cp /var/cudnn-local-repo-ubuntu2204-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/
apt-get update
apt-get -y install cudnn-cuda-12

2. 安装步骤

创建虚拟环境

建议使用 Anaconda 创建独立环境：

conda create -n alr python==3.10
conda activate alr

安装核心框架 (verl)

克隆本仓库后，运行以下脚本安装 vLLM、SGLang 和 Megatron-Core 等核心依赖，并安装本项目代码：

bash scripts/install_vllm_sglang_mcore.sh
pip install --no-deps -e .

注意：安装过程中请确保 torch、vLLM、SGLang、pyarrow 和 tensordict 等关键包未被其他操作覆盖。

安装 Qwen2.5-Omni 特定依赖

为了支持 Qwen2.5-Omni 模型，需更新以下库：

pip install transformers==4.52.3
pip install accelerate
pip install qwen-omni-utils[decord] -U

3. 基本使用

第一步：下载数据集

本项目依赖 Audio Logical Reasoning (ALR) 数据集。你可以从 Dropbox 下载并解压：

wget -c "https://www.dropbox.com/scl/fi/irtbrnmk5e0ecvv8fyrum/audio_dataset.zip?rlkey=p1ebkt9h1bkyjsq3fo2bp667v&st=gxr542e2&dl=1" -O audio_dataset.zip
unzip audio_dataset.zip

注：标注文件位于仓库内的 dataset-annotation-json 文件夹中。

第二步：数据预处理

根据训练需求生成 Parquet 格式数据集（任选其一）：

选项 A：使用音频 + 文本双模态输入（推荐）

cd ./examples/data_preprocess
python alr.py

选项 B：仅使用文本输入

cd ./examples/data_preprocess
python alr_text.py

选项 C：仅使用音频输入

cd ./examples/data_preprocess
python alr_audio.py

第三步：下载模型检查点

下载预训练的 Qwen2.5-Omni 逻辑推理模型：

wget -c "https://www.dropbox.com/scl/fi/f24wyecnycfu6g6ip10ac/qwen2_5_omni_logic.zip?rlkey=xlixctyr8cbfpv85arhka0b8c&st=wd5rlh9b&dl=1" -O qwen2_5_omni_logic.zip
unzip qwen2_5_omni_logic.zip

第四步：运行强化学习训练与评估

如果你使用的是官方提供的预训练模型，直接运行以下命令即可启动 GRPO 训练流程：

python download_qwen25omni.py
bash main_grpo.sh

若需使用自定义模型路径，请修改 download_qwen25omni.py 和 main_grpo.sh 中的模型路径配置。