中文  ｜   英文  

Qwen-Audio 🤖 | 🤗  ｜ Qwen-Audio-Chat 🤖 | 🤗  |    演示 🤖 | 🤗 
  主页  ｜   论文   |    微信   |   Discord  

Qwen-Audio（Qwen 大型音频语言模型）是阿里云提出的大模型系列 Qwen（简称通义千问）的多模态版本。Qwen-Audio 接受多种音频（人声、自然声音、音乐和歌曲）和文本作为输入，并输出文本。Qwen-Audio 的贡献包括：

• 基础音频模型：Qwen-Audio 是一个基础的多任务音频 - 语言模型，支持各种任务、语言和音频类型，充当通用音频理解模型。基于 Qwen-Audio，我们通过指令微调开发了 Qwen-Audio-Chat，实现了多轮对话并支持多样化的音频导向场景。
• 所有类型音频的多任务学习框架：为了扩展音频 - 语言预训练，我们通过提出一个多任务训练框架来解决不同数据集关联的文本标签差异带来的挑战，实现知识共享并避免一对多干扰。我们的模型包含超过 30 个任务，大量实验表明该模型取得了优异的性能。
• 强大的性能：实验结果表明，Qwen-Audio 在无需任何特定任务微调的情况下，在多样化的基准任务上取得了令人印象深刻的性能，超越了其同类模型。具体而言，Qwen-Audio 在 Aishell1、cochlscene、ClothoAQA 和 VocalSound 的测试集上达到了最先进的结果。
• 灵活的音频和文本输入多轮对话：Qwen-Audio 支持多音频分析、声音理解和推理、音乐欣赏以及工具使用。

我们即将推出 Qwen-Audio 系列的两个模型：

• Qwen-Audio：预训练多任务音频理解模型，使用 Qwen-7B 作为 LLM（大型语言模型）的初始化，并使用 Whisper-large-v2 作为音频编码器的初始化。
• Qwen-Audio-Chat：基于多模态 LLM 的 AI 助手，采用对齐技术进行训练。Qwen-Audio-Chat 支持更灵活的交互，例如多音频输入、多轮问答和创意能力。

新闻与更新

• 2023.11.30 🔥 我们已在 ModelScope 和 Hugging Face 上发布了 Qwen-Audio 和 Qwen-Audio-Chat 的检查点。
• 2023.11.15 🎉 我们发布了一篇 论文，详细介绍了 Qwen-Audio 和 Qwen-Audio-Chat 模型，包括训练细节和模型性能。

评估

我们在以下 12 个标准基准上评估了 Qwen-Audio 的能力：

以下是整体性能：

评估详情如下：

自动语音识别

数据集	模型	结果 (WER，词错误率)
		dev-clean	dev-other	test-clean	test-other
Librispeech	SpeechT5	2.1	5.5	2.4	5.8
	SpeechNet	-	-	30.7	-
	SLM-FT	-	-	2.6	5.0
	SALMONN	-	-	2.1	4.9
	Qwen-Audio	1.8	4.0	2.0	4.2

数据集	模型	结果 (WER，词错误率)
		dev	test
Aishell1	MMSpeech-base	2.0	2.1
	MMSpeech-large	1.6	1.9
	Paraformer-large	-	2.0
	Qwen-Audio	1.2 (SOTA，最先进)	1.3 (SOTA，最先进)

数据集	模型	结果 (WER，词错误率)
		Mic	iOS	Android
Aishell2	MMSpeech-base	4.5	3.9	4.0
	Paraformer-large	-	2.9	-
	Qwen-Audio	3.3	3.1	3.3

语音转文本翻译

数据集	模型	结果 (BLEU，BLEU 分数)
		en-de	de-en	en-zh	zh-en	es-en	fr-en	it-en
CoVoST2	SALMONN	18.6	-	33.1	-	-	-	-
	SpeechLLaMA	-	27.1	-	12.3	27.9	25.2	25.9
	BLSP	14.1	-	-	-	-	-	-
	Qwen-Audio	25.1	33.9	41.5	15.7	39.7	38.5	36.0

自动音频描述

数据集	模型	结果
		CIDER (CIDEr 评分)	SPICE (SPICE 评分)	SPIDEr (SPIDEr 评分)
Clotho	Pengi	0.416	0.126	0.271
	Qwen-Audio	0.441	0.136	0.288

带字级时间戳的语音识别

数据集	模型	AAC (对齐误差，毫秒)
Industrial Data	Force-aligner	60.3
	Paraformer-large-TP	65.3
	Qwen-Audio	51.5 (SOTA，最先进)

自动场景分类

数据集	模型	ACC (准确率)
Cochlscene	Cochlscene	0.669
	Qwen-Audio	0.795 (SOTA，最先进)
TUT2017	Pengi	0.353
	Qwen-Audio	0.649

语音情感识别

数据集	模型	ACC (准确率)
Meld	WavLM-large	0.542
	Qwen-Audio	0.557

音频问答

数据集	模型	结果
		ACC (准确率)	ACC (二分类)
ClothoAQA	ClothoAQA	0.542	0.627
	Pengi	-	0.645
	Qwen-Audio	0.579	0.749

人声声音分类

数据集	模型	ACC (准确率)
VocalSound	CLAP	0.4945
	Pengi	0.6035
	Qwen-Audio	0.9289 (SOTA，最先进)

音乐音符分析

数据集	模型	NSynth 属性 (MAP，平均精度均值)	NSynth 乐器 (ACC，准确率)
NSynth	Pengi	0.3860	0.5007
	Qwen-Audio	0.4742	0.7882

我们提供了所有评估脚本以复现我们的结果。详情请参阅 eval_audio/EVALUATION.md。

Chat 能力评估

为了评估 Qwen-Audio-Chat 的聊天能力，我们为用户提供了 TUTORIAL 和演示。

依赖要求

• Python 3.8 及以上
• PyTorch 1.12 及以上，推荐 2.0 及以上
• CUDA 11.4 及以上（适用于 GPU 用户）
• FFmpeg

快速开始

下面，我们提供简单的示例来展示如何结合 🤖 ModelScope (魔搭) 和 🤗 Transformers (Hugging Face Transformers) 使用 Qwen-Audio 和 Qwen-Audio-Chat。

在运行代码之前，请确保已设置好环境并安装了所需的包。请确保满足上述要求，然后安装依赖库。

pip install -r requirements.txt

现在您可以从 ModelScope 或 Transformers 开始。更多用法，请参阅 教程。Qwen-Audio 模型目前在 30 秒以内的音频片段上表现最佳。

🤗 Transformers

要使用 Qwen-Audio-Chat 进行推理，您只需输入几行代码，如下所示。但是，请确保您使用的是最新代码。

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch
torch.manual_seed(1234)

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="cpu", trust_remote_code=True).eval()
# use cuda device
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="cuda", trust_remote_code=True).eval()

# Specify hyperparameters for generation (No need to do this if you are using transformers>4.32.0)
# model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)

# 1st dialogue turn
query = tokenizer.from_list_format([
    {'audio': 'assets/audio/1272-128104-0000.flac'}, # Either a local path or an url
    {'text': 'what does the person say?'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# The person says: "mister quilter is the apostle of the middle classes and we are glad to welcome his gospel".

# 2nd dialogue turn
response, history = model.chat(tokenizer, 'Find the start time and end time of the word "middle classes"', history=history)
print(response)
# The word "middle classes" starts at <|2.33|> seconds and ends at <|3.26|> seconds.

运行 Qwen-Audio 预训练基础模型也很简单。

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch
torch.manual_seed(1234)

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-Audio", trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio", device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio", device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio", device_map="cpu", trust_remote_code=True).eval()
# use cuda device
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio", device_map="cuda", trust_remote_code=True).eval()

# Specify hyperparameters for generation (No need to do this if you are using transformers>4.32.0)
# model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-Audio", trust_remote_code=True)
audio_url = "assets/audio/1272-128104-0000.flac"
sp_prompt = "<|startoftranscription|><|en|><|transcribe|><|en|><|notimestamps|><|wo_itn|>"
query = f"<audio>{audio_url}</audio>{sp_prompt}"
audio_info = tokenizer.process_audio(query)
inputs = tokenizer(query, return_tensors='pt', audio_info=audio_info)
inputs = inputs.to(model.device)
pred = model.generate(**inputs, audio_info=audio_info)
response = tokenizer.decode(pred.cpu()[0], skip_special_tokens=False,audio_info=audio_info)
print(response)
# <audio>assets/audio/1272-128104-0000.flac</audio><|startoftranscription|><|en|><|transcribe|><|en|><|notimestamps|><|wo_itn|>mister quilting is the apostle of the middle classes and we are glad to welcome his gospel<| therset r|>

如果在尝试从 Hugging Face 下载模型检查点 (checkpoint) 和代码时遇到网络问题，另一种方法是先从 ModelScope 获取检查点，然后按照下文从本地目录加载：

from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer

# Downloading model checkpoint to a local dir model_dir
model_id = 'qwen/Qwen-Audio-Chat'
revision = 'master'
model_dir = snapshot_download(model_id, revision=revision)

# Loading local checkpoints
# trust_remote_code is still set as True since we still load codes from local dir instead of transformers
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    device_map="cuda",
    trust_remote_code=True
).eval()

🤖 ModelScope

ModelScope 是一个面向模型即服务 (MaaS) 的开源平台，它为 AI 开发者提供灵活且具成本效益的模型服务。同样，您可以像下面这样使用 ModelScope 运行模型：

from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
import torch
model_id = 'qwen/Qwen-Audio-Chat'
revision = 'master'

model_dir = snapshot_download(model_id, revision=revision)
torch.manual_seed(1234)

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
if not hasattr(tokenizer, 'model_dir'):
    tokenizer.model_dir = model_dir
# use bf16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, fp16=True).eval()
# use CPU
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cpu", trust_remote_code=True).eval()
# use gpu
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True).eval()

# 1st dialogue turn
query = tokenizer.from_list_format([
    {'audio': 'assets/audio/1272-128104-0000.flac'}, # Either a local path or an url
    {'text': 'what does the person say?'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# The person says: "mister quilter is the apostle of the middle classes and we are glad to welcome his gospel".

# 2st dialogue turn
response, history = model.chat(tokenizer, 'Find the start time and end time of the word "middle classes"', history=history)
print(response)
# The word "middle classes" starts at <|2.33|> seconds and ends at <|3.26|> seconds.

演示

Web 用户界面 (Web UI)

我们为用户提供构建 Web 用户界面 (Web UI) 演示的代码。开始之前，请确保安装以下包：

pip install -r requirements_web_demo.txt

然后运行以下命令并点击生成的链接：

python web_demo_audio.py

常见问题解答 (FAQ)

如果您遇到问题，请先参考 常见问题解答 (FAQ) 和现有的 [问题 (Issues)]，在发起新的 [问题 (Issue)] 之前搜索解决方案。

我们正在招聘

如果您有兴趣全职或实习加入我们，请联系 qwen_audio@list.alibaba-inc.com。

许可协议

研究人员和开发者可以自由使用 Qwen-Audio 和 Qwen-Audio-Chat 的代码及模型权重。我们也允许商业使用。更多详情请查看我们的 许可证 (LICENSE)。

引用 (Citation)

如果您的研究中发现我们的论文和代码有用，请考虑给予一个星标 (Star) :star: 并进行引用 (Citation) :pencil: :)

@article{Qwen-Audio,
  title={Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models},
  author={Chu, Yunfei and Xu, Jin and Zhou, Xiaohuan and Yang, Qian and Zhang, Shiliang and Yan, Zhijie  and Zhou, Chang and Zhou, Jingren},
  journal={arXiv preprint arXiv:2311.07919},
  year={2023}
}

联系我们

如果您想给我们的研究团队或产品团队留言，欢迎发送邮件至 qianwen_opensource@alibabacloud.com。

Qwen-Audio 快速上手指南

Qwen-Audio（通义千问大音频语言模型）是阿里云推出的多模态大模型系列，支持语音识别、音频分类、场景理解、情感识别等多种任务。它接受多样化的音频（人声、自然声音、音乐等）和文本作为输入，输出文本结果。本指南将帮助您快速在本地部署和使用该模型。

1. 环境准备

建议配置以下基础环境以运行 Qwen-Audio：

• 操作系统: Linux / macOS / Windows
• Python 版本: >= 3.8
• 深度学习框架: PyTorch >= 1.10
• 硬件要求: 推荐使用 NVIDIA GPU（CUDA 环境），显存建议 8GB 以上（具体取决于模型精度和 batch size）。

2. 安装步骤

由于 Qwen-Audio 由阿里云发布，国内开发者优先推荐使用 ModelScope（魔搭社区） 进行模型下载和推理，以获得更快的访问速度。

2.1 安装依赖库

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate soundfile librosa
pip install modelscope

注意: 如果您没有 CUDA 环境，请去掉 --index-url 参数中的 cu118 部分，或根据实际 CUDA 版本调整。

2.2 配置模型源（可选但推荐）

为了加速模型加载，可以设置 ModelScope 环境变量指向国内镜像：

export MODELSCOPE_CACHE=./models_cache

3. 基本使用

Qwen-Audio 系列包含两个主要模型：

• Qwen-Audio: 预训练的多任务音频理解模型。
• Qwen-Audio-Chat: 经过指令微调的对话助手，支持多轮对话和更灵活的交互。

以下示例展示如何使用 transformers 库加载 Qwen-Audio 并进行简单的音频处理。

3.1 加载模型与处理器

from transformers import AutoProcessor, QwenAudioForConditionalGeneration

# 从 HuggingFace 或 ModelScope 加载模型
# 国内用户建议使用 ModelScope 路径
model_id = "Qwen/Qwen-Audio" 

processor = AutoProcessor.from_pretrained(model_id)
model = QwenAudioForConditionalGeneration.from_pretrained(model_id)

3.2 执行推理

import torch
import soundfile as sf

# 读取音频文件
audio_input, sr = sf.read("your_audio_file.wav")

# 预处理
inputs = processor(audio=audio_input, sampling_rate=sr, return_tensors="pt")

# 生成文本
with torch.no_grad():
    generated_ids = model.generate(**inputs, max_new_tokens=256)

generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(f"生成的文本：{generated_text}")

3.3 使用 Qwen-Audio-Chat 进行对话

如需体验对话功能，请将模型 ID 替换为 Qwen/Qwen-Audio-Chat，并配合相应的对话模板调用。

---

更多资源:

• ModelScope 主页: https://www.modelscope.cn/models/qwen/QWen-Audio/summary
• HuggingFace 主页: https://huggingface.co/Qwen/Qwen-Audio
• 技术论文: arXiv:2311.07919