Qwen2.5-Omni

中文  ｜   English  

💜 Qwen Chat   |   🤗 Hugging Face   |   🤖 ModelScope   |   📑 Blog   |   📚 Cookbooks   |   📑 Paper  
🖥️ Demo   |   💬 WeChat (微信)   |   🫨 Discord   |   📑 API

我们发布了Qwen2.5-Omni，这是通义系列中的全新旗舰级端到端多模态模型。它专为全面的多模态感知而设计，能够无缝处理文本、图像、音频和视频等多种输入，并通过文本生成和自然语音合成提供实时流式响应。请点击下方视频了解更多内容 😃

新闻

• 2025年6月12日：Qwen2.5-Omni-7B在口语理解和推理基准测试MMSU中位列开源模型榜首。
• 2025年6月9日：祝贺我们的开源模型Qwen2.5-Omni-7B在MMAU排行榜上排名第一，并在音频理解和推理评估的MMAR开源模型榜单中也位居第一！
• 2025年5月16日：我们发布了4位量化版的Qwen2.5-Omni-7B（GPTQ-Int4/AWQ）模型，在多模态评测中保持与原版相当的性能，同时将GPU显存占用降低了50%以上。详情请参阅GPTQ-Int4和AWQ使用指南，相关模型可在Hugging Face（GPTQ-Int4|AWQ)和ModelScope（GPTQ-Int4|AWQ)获取。
• 2025年5月13日：MNN聊天应用现已支持Qwen2.5-Omni，让我们在边缘设备上体验Qwen2.5-Omni吧！有关内存消耗和推理速度的基准测试，请参阅使用MNN部署部分。
• 2025年4月30日：令人振奋！我们发布了Qwen2.5-Omni-3B，以使更多平台能够运行Qwen2.5-Omni。该模型可从Hugging Face下载。此模型的性能已更新，请参阅最低GPU内存要求了解资源消耗情况。为了获得最佳体验，transformers和vllm代码均已更新，您可以再次拉取官方docker镜像以获取最新版本。
• 2025年4月11日：我们发布了新版本的vllm，现已支持音频输出！请从源码或我们的docker镜像中体验。
• 2025年4月2日：⭐️⭐️⭐️ Qwen2.5-Omni荣登Hugging Face趋势榜第一名！
• 2025年3月29日：⭐️⭐️⭐️ Qwen2.5-Omni荣登Hugging Face趋势榜第二名！
• 2025年3月26日：现在您可以在Qwen Chat上与Qwen2.5-Omni进行实时互动。让我们立即开启这段精彩的旅程吧！
• 2025年3月26日：我们发布了Qwen2.5-Omni。更多详情请查看我们的博客！

目录

• 概述
  • 简介
  • 关键特性
  • 模型架构
  • 性能
• 快速入门
  • Transformers使用指南
  • ModelScope使用指南
  • GPTQ-Int4和AWQ使用指南
  • 使用技巧
  • 更多使用场景的食谱
  • API推理
  • 自定义设置
• 与Qwen2.5-Omni聊天
  • 在线演示
  • 启动本地Web UI演示
  • 实时互动
• 使用vLLM部署
• 使用MNN部署
• Docker

概述

简介

Qwen2.5-Omni是一款端到端多模态模型，旨在感知多种模态，包括文本、图像、音频和视频，同时以流式方式生成文本和自然语音响应。

核心特性

• 全能且新颖的架构：我们提出了Thinker-Talker架构，这是一种端到端的多模态模型，旨在感知文本、图像、音频和视频等多种模态，并以流式方式同时生成文本和自然语音响应。我们还提出了一种名为TMRoPE（时间对齐的多模态RoPE）的新型位置嵌入方法，用于同步视频输入与音频的时间戳。

• 实时语音与视频聊天：该架构专为全实时交互设计，支持分块输入和即时输出。

• 自然且稳健的语音生成：超越了许多现有的流式及非流式替代方案，在语音生成方面展现出更优异的稳健性和自然度。

• 跨模态的强大性能：在与同等规模的单模态模型进行基准测试时，Qwen2.5-Omni在所有模态上均表现出色。它在音频能力方面优于同规模的Qwen2-Audio，并且与Qwen2.5-VL-7B的表现相当。

• 出色的端到端语音指令遵循能力：Qwen2.5-Omni在端到端语音指令遵循方面的表现可与文本输入的效果相媲美，这一点从MMLU和GSM8K等基准测试中可见一斑。

模型架构

性能表现

我们对Qwen2.5-Omni进行了全面评估，结果显示，与同等规模的单模态模型以及闭源模型（如Qwen2.5-VL-7B、Qwen2-Audio和Gemini-1.5-pro）相比，Qwen2.5-Omni在所有模态上均表现出强劲性能。在需要整合多种模态的任务中，例如OmniBench，Qwen2.5-Omni达到了最先进的水平。此外，在单模态任务中，它在语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）以及语音生成（Seed-tts-eval和主观自然度）等领域同样表现出色。

快速入门

下面，我们提供了一些简单的示例，展示如何使用 🤖 ModelScope 和 🤗 Transformers 来操作 Qwen2.5-Omni。

Qwen2.5-Omni 的代码已集成到最新版本的 Hugging Face Transformers 中，建议您通过以下命令进行安装：

pip install transformers==4.52.3
pip install accelerate

否则可能会遇到如下错误：

KeyError: 'qwen2_5_omni'

此外，您也可以使用我们的官方 Docker 镜像来快速启动，而无需从源码编译。

我们还提供了一个工具包，旨在更便捷地处理各类音频和视觉输入，就像调用 API 一样。该工具支持 base64 编码、URL 以及交错的音频、图片和视频格式。您可以使用以下命令安装，并确保系统已安装 ffmpeg：

# 强烈推荐使用 `[decord]` 功能以加快视频加载速度。
pip install qwen-omni-utils[decord] -U

如果您使用的不是 Linux 系统，可能无法从 PyPI 安装 decord。在这种情况下，您可以运行 pip install qwen-omni-utils -U，此时将回退至使用 torchvision 进行视频处理。不过，您仍然可以从源码安装 decord，以便在加载视频时使用 decord。

我们正在编写一系列使用手册，涵盖多种功能，包括音频理解、语音对话、屏幕录制交互、视频信息提取、多模态对话等。欢迎进一步了解！

🤗 Transformers 使用方法

以下是一个代码示例，演示如何结合 transformers 和 qwen_omni_utils 使用聊天模型：

import soundfile as sf

from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor
from qwen_omni_utils import process_mm_info

# 默认：在可用设备上加载模型
model = Qwen2_5OmniForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B", torch_dtype="auto", device_map="auto")

# 建议启用 flash_attention_2 以获得更好的加速效果并节省内存。
# model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-Omni-7B",
#     torch_dtype="auto",
#     device_map="auto",
#     attn_implementation="flash_attention_2",

# )

processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B")

conversation = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "你是通义千问，由阿里巴巴集团通义实验室研发的虚拟人，能够感知音频和视觉输入，并生成文本和语音。"}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-Omni/draw.mp4"},
        ],
    },
]

# 设置是否使用视频中的音频
USE_AUDIO_IN_VIDEO = True

# 推理前的准备
text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
audios, images, videos = process_mm_info(conversation, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", padding=True, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = inputs.to(model.device).to(model.dtype)

# 推理：生成输出文本和音频
text_ids, audio = model.generate(**inputs, use_audio_in_video=USE_AUDIO_IN_VIDEO)

text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)
sf.write(
    "output.wav",
    audio.reshape(-1).detach().cpu().numpy(),
    samplerate=24000,
)

最低显存需求

注意：上表展示了使用 transformers 库进行推理时的理论最低显存需求，其中 BF16 精度是在启用 attn_implementation="flash_attention_2" 的情况下测试得出的。然而，在实际应用中，显存占用通常会比理论值高出至少 1.2 倍。更多信息请参阅链接资源 这里。我们目前正在计划开发一个资源消耗更低的版本，以便 Qwen2.5-Omni 能够在大多数平台上运行。敬请期待！

# 批量推理的示例消息

# 仅含视频的对话
conversation1 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "你是通义千问，由阿里巴巴集团通义实验室研发的虚拟人，能够感知音频和视觉输入，并生成文本和语音。"}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "/path/to/video.mp4"},
        ]
    }
]

# 仅含音频的对话
conversation2 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "你是通义千问，由阿里巴巴集团通义实验室研发的虚拟人，能够感知音频和视觉输入，并生成文本和语音。"}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "audio", "audio": "/path/to/audio.wav"},
        ]
    }
]

# 纯文本对话
conversation3 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "你是通义千问，由阿里巴巴集团通义实验室研发的虚拟人，能够感知音频和视觉输入，并生成文本和语音。"}
        ],
    },
    {
        "role": "user",
        "content": "你是谁？"
    }
]


# 多媒体混合对话
conversation4 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "你是通义千问，由阿里巴巴集团通义实验室研发的虚拟人，能够感知音频和视觉输入，并生成文本和语音。"}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "video", "video": "/path/to/video.mp4"},
            {"type": "audio", "audio": "/path/to/audio.wav"},
            {"type": "text", "text": "你在这些媒体中看到了什么、听到了什么？"},
        ]
    }
]

# 组合消息以进行批量处理
conversations = [conversation1, conversation2, conversation3, conversation4]

# 设置是否使用视频中的音频
USE_AUDIO_IN_VIDEO = True

# 批量推理前的准备
text = processor.apply_chat_template(conversations, add_generation_prompt=True, tokenize=False)
audios, images, videos = process_mm_info(conversations, use_audio_in_video=USE_AUDIO_IN_VIDEO)

inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", padding=True, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = inputs.to(model.device).to(model.dtype)

# 批量推理
text_ids = model.generate(**inputs, use_audio_in_video=USE_AUDIO_IN_VIDEO, return_audio=False)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)

🤖 ModelScope 使用

我们强烈建议用户，尤其是中国大陆地区的用户，使用 ModelScope 平台。通过 snapshot_download 功能可以帮助您解决检查点下载方面的问题。

GPTQ-Int4 和 AWQ 的使用

为了提升 Qwen2.5-Omni-7B 在 GPU 显存受限设备上的运行能力，我们采用了 GPTQ 和 AWQ 对模型权重进行了 4 位量化，从而有效降低了 GPU 显存占用。其他关键优化包括：

• 优化了推理流程，按需加载每个模块的模型权重，并在推理完成后将其卸载到 CPU 内存中，以避免显存峰值过高。
• 将 code2wav 模块改造成支持流式推理，从而避免预先分配过多的 GPU 显存。
• 将 ODE 求解器从二阶（RK4）方法调整为一阶（欧拉）方法，进一步降低计算开销。

这些改进旨在确保 Qwen2.5-Omni 在各种硬件配置下都能高效运行，尤其是在 GPU 显存较低的设备上（如 RTX3080、4080、5070 等）。目前，相关模型及使用方法可从 Hugging Face（GPTQ-Int4|AWQ）和 ModelScope（GPTQ-Int4|AWQ）获取。以下提供一个简单示例，展示如何使用 Qwen2.5-Omni-7B-GPTQ-Int4 并搭配 gptqmodel：

pip install transformers==4.52.3
pip install accelerate
pip install gptqmodel==2.0.0
pip install numpy==2.0.0

git clone https://github.com/QwenLM/Qwen2.5-Omni.git

cd Qwen2.5-Omni/low-VRAM-mode/

CUDA_VISIBLE_DEVICES=0 python3 low_VRAM_demo_gptq.py

若要使用 Qwen2.5-Omni-7B-AWQ 并搭配 autoawq，请执行以下命令：

pip install transformers==4.52.3
pip install accelerate
pip install autoawq==0.2.9

git clone https://github.com/QwenLM/Qwen2.5-Omni.git

cd Qwen2.5-Omni/low-VRAM-mode/

CUDA_VISIBLE_DEVICES=0 python3 low_VRAM_demo_awq.py

以下两张表格分别展示了 Qwen2.5-Omni-7B-GPTQ-Int4/Qwen2.5-Omni-7B-AWQ 与原版 Qwen2.5-Omni-7B 在特定评估基准上的性能对比及 GPU 显存消耗情况。数据显示，GPTQ-Int4/AWQ 模型在保持相近性能的同时，将 GPU 显存需求降低了 50% 以上，从而使更多设备能够运行并体验高性能的 Qwen2.5-Omni-7B 模型。值得注意的是，由于量化技术和 CPU 卸载机制的影响，GPTQ-Int4/AWQ 版本的推理速度略低于原生 Qwen2.5-Omni-7B 模型。

使用提示

音频输出的提示

如果用户需要音频输出，系统提示必须设置为：“你是 Qwen，阿里巴巴集团 Qwen 团队研发的虚拟人，能够感知听觉和视觉输入，并生成文本和语音。”否则，音频输出可能无法正常工作。

{
    "role": "system",
    "content": [
          {"type": "text", "text": "你是 Qwen，阿里巴巴集团 Qwen 团队研发的虚拟人，能够感知听觉和视觉输入，并生成文本和语音。"}
    ]
}

视频中的音频使用

在多模态交互过程中，用户提供的视频通常会伴随音频信息（例如关于视频内容的问题，或视频中某些事件产生的声音）。这些信息有助于模型提供更好的交互体验。因此，我们提供了以下选项供用户决定是否在视频中使用音频。

# 第一步，在数据预处理阶段
audios, images, videos = process_mm_info(conversations, use_audio_in_video=True)

# 第二步，在模型处理器中
inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", 
                   padding=True，use_audio_in_video=True)

# 第三名，在模型推理中
text_ids, audio = model.generate(**inputs, use_audio_in_video=True)

值得注意的是，在多轮对话过程中，这些地方的 use_audio_in_video 参数必须设置为一致，否则会出现意外结果。

是否使用音频输出

该模型同时支持文本和音频输出。如果用户不需要音频输出，可以在初始化模型后调用 model.disable_talker()。这一选项可以节省约 2GB 的显存，但 generate 函数的 return_audio 参数将仅允许设置为 False。

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-7B",
    torch_dtype="auto",
    device_map="auto"
)
model.disable_talker()

为了获得更灵活的体验，我们建议用户在调用 generate 函数时自行决定是否返回音频。如果将 return_audio 设置为 False, 模型将只返回文本输出，从而更快地获取文本响应。

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-7B",
    torch_dtype="auto",
    device_map="auto"
)
...
text_ids = model.generate(**inputs, return_audio=False)

更改输出音频的语音类型

Qwen2.5-Omni 支持更改输出音频的语音类型。“Qwen/Qwen2.5-Omni-7B”检查点支持以下两种语音类型：

用户可以通过 generate 函数的 speaker 参数来指定语音类型。默认情况下，若未指定 speaker，则默认语音类型为 Chelsie。

text_ids, audio = model.generate(**inputs, speaker="Chelsie")

text_ids, audio = model.generate(**inputs, speaker="Ethan")

使用 Flash-Attention 2 加速生成

首先，请确保安装最新版本的 Flash Attention 2：

pip install -U flash-attn --no-build-isolation

此外，您的硬件应与 FlashAttention 2 兼容。更多信息请参阅 flash attention 仓库 的官方文档。FlashAttention-2 只能在模型以 torch.float16 或 torch.bfloat16 加载时使用。

要使用 FlashAttention-2 加载并运行模型，在加载模型时添加 attn_implementation="flash_attention_2"：

from transformers import Qwen2_5OmniForConditionalGeneration

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-7B",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)

更多使用场景的教程

教程	描述	打开
通用音频理解	语音识别、语音转文字翻译及音频分析。
语音聊天	通过语音输入和输出与 Qwen2.5-Omni 进行对话。
屏幕录制互动	在录制屏幕上实时提问，获取所需的信息和内容。
视频信息提取	从视频流中获取信息。
音乐领域的全能聊天	在音视频流中与 Qwen2.5-Omni 讨论音乐相关内容。
数学领域的全能聊天	在音视频流中与 Qwen2.5-Omni 讨论数学相关内容。
多轮全能聊天	与 Qwen2.5-Omni 进行多轮音视频对话，全面展示其能力。

API 推理

为了探索 Qwen2.5-Omni，我们鼓励您试用我们的前沿 API 服务，以获得更快、更高效的感受。

安装

pip install openai

示例

您可以使用 OpenAI API 服务与 Qwen2.5-Omni 进行交互，如下所示。更多用法请参考 阿里云 上的教程。

import base64
import numpy as np
import soundfile as sf

from openai import OpenAI

client = OpenAI(
    api_key="your_api_key",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

messages = [
    {
        "role": "system",
        "content": "你是 Qwen，阿里巴巴集团 Qwen 团队开发的虚拟人，能够感知听觉和视觉输入，并生成文本和语音。",
    },
    {
        "role": "user",
        "content": [
            {"type": "video_url", "video_url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-Omni/draw.mp4"},
        ],
    },
]

# Qwen-Omni 仅支持流式模式
completion = client.chat.completions.create(
    model="qwen-omni-turbo",
    messages=messages,
    modalities=["text", "audio"],
    audio={
        "voice": "Cherry", # Cherry、Ethan、Serena、Chelsie 可用
        "format": "wav"
    },
    stream=True,
    stream_options={"include_usage": True}
)

text = []
audio_string = ""
for chunk in completion:
    if chunk.choices:
        if hasattr(chunk.choices[0].delta, "audio"):
            try:
                audio_string += chunk.choices[0].delta.audio["data"]
            except Exception as e:
                text.append(chunk.choices[0].delta.audio["transcript"])
    else:
        print(chunk.usage)

print("".join(text))
wav_bytes = base64.b64decode(audio_string)
wav_array = np.frombuffer(wav_bytes, dtype=np.int16)
sf.write("output.wav", wav_array, samplerate=24000)

自定义设置

由于 Qwen2.5-Omni 在使用 音频输出 时（包括本地部署和 API 推理）不支持提示词设置，因此我们建议，如果您需要控制模型的输出或修改模型的性格设定，可以尝试在对话模板中添加类似以下内容：

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "你是一名导购员，现在负责介绍各种产品。"},
        ],
    },
    {
        "role": "assistant",
        "content": [
            {"type": "text", "text": "好的，我明白了。"},
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "你是谁呀？"},
        ],
    },
]

与 Qwen2.5-Omni 对话

在线演示

无需部署，您可以通过访问我们的 Hugginface Spaces 和 Modelscope Studio 直接体验在线网页演示。

启动本地 Web UI 演示

在本节中，我们为用户提供构建基于 Web 的用户界面 (UI) 演示的说明。该 UI 演示允许用户通过 Web 浏览器与预定义的模型或应用程序进行交互。请按照以下步骤开始操作，或者您也可以直接从我们的 官方 Docker 镜像 启动 Web 演示。

安装

在开始之前，请确保您的系统上已安装所需的依赖项。您可以通过运行以下命令来安装它们：

pip install -r requirements_web_demo.txt

使用 FlashAttention-2 运行演示

一旦所需软件包安装完毕，您可以使用以下命令启动 Web 演示。此命令将启动一个 Web 服务器，并为您提供一个链接，以便在您的 Web 浏览器中访问 UI。

推荐：为了提升性能和效率，尤其是在多图像和视频处理场景下，我们强烈建议使用 FlashAttention-2。FlashAttention-2 在内存使用和速度方面有显著提升，非常适合处理大规模模型和数据。

要启用 FlashAttention-2，请使用以下命令：

# 默认用于 Qwen2.5-Omni-7B
python web_demo.py --flash-attn2

# 用于 Qwen2.5-Omni-3B
python web_demo.py --flash-attn2 -c Qwen/Qwen2.5-Omni-3B

这将加载启用 FlashAttention-2 的模型。

默认使用：如果您希望在不使用 FlashAttention-2 的情况下运行演示，或者未指定 --flash-attn2 选项，则演示将使用标准注意力机制加载模型：

# 默认用于 Qwen2.5-Omni-7B
python web_demo.py

# 用于 Qwen2.5-Omni-3B
python web_demo.py -c Qwen/Qwen2.5-Omni-3B

运行命令后，您将在终端中看到类似以下的链接：

Running on local: http://127.0.0.1:7860/

复制此链接并粘贴到您的浏览器中，即可访问 Web UI，在那里您可以输入文本、上传音频/图片/视频、更改语音类型或其他提供的功能，与模型进行交互。

实时互动

Qwen2.5-Omni 的流式实时互动现已开放，请访问 Qwen Chat 并在聊天框中选择语音/视频通话功能以体验。

使用 vLLM 部署

我们推荐使用 vLLM 来快速部署和推理 Qwen2.5-Omni。您需要从我们提供的 源代码 安装，以获得对 Qwen2.5-Omni 的支持，或者使用我们的 官方 Docker 镜像。您还可以查看 vLLM 官方文档 以获取有关在线服务和离线推理的更多详细信息。

安装

git clone -b qwen2_omni_public https://github.com/fyabc/vllm.git
cd vllm
git checkout de8f43fbe9428b14d31ac5ec45d065cd3e5c3ee0
pip install setuptools_scm torchdiffeq resampy x_transformers qwen-omni-utils accelerate
pip install -r requirements/cuda.txt
pip install --upgrade setuptools wheel
pip install .
pip install transformers==4.52.3

本地推理

您可以通过 vLLM 在本地对 Qwen2.5-Omni 进行推理。我们在 vLLM 仓库 中提供了生成音频输出的示例：

# 克隆分支 qwen2_omni_public 的 vLLM 仓库
# cd vllm
# 切换到特定提交版本
# cd examples/offline_inference/qwen2_5_omni/

# 单 GPU 下仅输出文本
python end2end.py --model Qwen/Qwen2.5-Omni-7B --prompt audio-in-video-v2 --enforce-eager --thinker-only

# 多 GPU 下仅输出文本（以 4 张 GPU 为例）
python end2end.py --model Qwen/Qwen2.5-Omni-7B --prompt audio-in-video-v2 --enforce-eager --thinker-only --thinker-devices [0,1,2,3] --thinker-gpu-memory-utilization 0.9 

# 单 GPU 下输出音频
python end2end.py --model Qwen/Qwen2.5-Omni-7B --prompt audio-in-video-v2 --enforce-eager --do-wave --voice-type Chelsie --warmup-voice-type Chelsie --output-dir output_wav

# 多 GPU 下输出音频（以 4 张 GPU 为例）
python end2end.py --model Qwen/Qwen2.5-Omni-7B --prompt audio-in-video-v2 --enforce-eager --do-wave --voice-type Chelsie --warmup-voice-type Chelsie --thinker-devices [0,1] --talker-devices [2] --code2wav-devices [3] --thinker-gpu-memory-utilization 0.9 --talker-gpu-memory-utilization 0.9 --output-dir output_wav

vLLM Serve 的使用

您也可以通过 pip install vllm>=0.8.5.post1 使用 vLLM serve，不过目前 vLLM serve 对于 Qwen2.5-Omni 仅支持 thinker 模式，即仅支持文本输出。您可以通过以下命令启动 vLLM serve：

# 单 GPU
vllm serve /path/to/Qwen2.5-Omni-7B/ --port 8000 --host 127.0.0.1 --dtype bfloat16

# 用于多 GPU（以 4 个 GPU 为例）
vllm serve /path/to/Qwen2.5-Omni-7B/ --port 8000 --host 127.0.0.1 --dtype bfloat16 -tp 4

然后你可以使用聊天 API，例如通过 curl：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/qwen.png"}},
        {"type": "audio_url", "audio_url": {"url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-Omni/cough.wav"}},
        {"type": "text", "text": "插图中的文字是什么？音频中的声音是什么？"}
    ]}
    ]
    }'

使用 MNN 部署

Qwen2.5-Omni 现已支持 MNN，可在边缘设备上部署。Qwen2.5-Omni 的 MNN 模型可通过 Hugging Face（7B|3B）和 ModelScope（7B|3B）下载，并附有使用说明。有关详细信息，请访问 MNN 了解更多信息。

下表展示了 Qwen2.5-Omni MNN 实现方案在不同移动 SoC 平台上的内存消耗和推理速度基准测试结果。

🐳 Docker

为简化部署流程，我们提供了预构建环境的 Docker 镜像：qwenllm/qwen-omni。你只需安装驱动程序并下载模型文件即可启动演示。

docker run --gpus all --ipc=host --network=host --rm --name qwen2.5-omni -it qwenllm/qwen-omni:2.5-cu121 bash

你也可以通过以下命令启动 Web 演示：

bash docker/docker_web_demo.sh --checkpoint /path/to/Qwen2.5-Omni-7B

若要启用 FlashAttention-2，可使用以下命令：

bash docker/docker_web_demo.sh --checkpoint /path/to/Qwen2.5-Omni-7B --flash-attn2

引用

如果你的研究中使用了我们的论文和代码，请考虑给个 star :star: 和引用 :pencil: ：

@article{Qwen2.5-Omni,
  title={Qwen2.5-Omni 技术报告},
  author={Jin Xu, Zhifang Guo, Jinzheng He, Hangrui Hu, Ting He, Shuai Bai, Keqin Chen, Jialin Wang, Yang Fan, Kai Dang, Bin Zhang, Xiong Wang, Yunfei Chu, Junyang Lin},
  journal={arXiv 预印本 arXiv:2503.20215},
  year={2025}
}

Qwen2.5-Omni 快速上手指南

Qwen2.5-Omni 是通义千问系列最新的全能端到端多模态模型，支持文本、图像、音频和视频的综合感知，并能以流式方式实时生成文本和自然语音回复。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• GPU: NVIDIA GPU (显存要求见下文)，驱动版本 >= 535，CUDA >= 12.1
• Python: 3.10 或更高版本

显存需求

• Qwen2.5-Omni-7B: 建议至少 16GB VRAM (FP16)，量化版本 (Int4) 约需 8GB。
• Qwen2.5-Omni-3B: 建议至少 8GB VRAM (FP16)，量化版本约需 4-5GB。

前置依赖

推荐使用官方提供的 Docker 镜像以获得最佳兼容性，或在本地安装以下核心库：

• transformers (>= 4.50.0，需拉取最新版以支持音频输出)
• torch (>= 2.4.0)
• accelerate
• soundfile, librosa (用于音频处理)

2. 安装步骤

方案 A：使用 pip 安装（推荐国内开发者使用 ModelScope 加速）

首先安装基础依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate soundfile librosa

若需使用 ModelScope 进行模型下载加速，请安装：

pip install modelscope

方案 B：使用官方 Docker（最简便）

拉取包含最新 vllm 和 transformers 支持的官方镜像：

docker pull qwen/qwen2.5-omni:latest

3. 基本使用

以下示例展示如何使用 Python 加载模型并进行简单的多模态对话（文本 + 图片/音频）。

3.1 使用 Transformers 推理

import torch
from transformers import Qwen2_5OmniModel, Qwen2_5OmniProcessor
from PIL import Image
import soundfile as sf

# 1. 加载模型和处理器
# 国内用户可使用 ModelScope 自动下载，或指定 local_files_only=True 使用本地缓存
model_name = "Qwen/Qwen2.5-Omni-7B" 
# 如果使用 ModelScope 加速，可设置环境变量或使用 snapshot_download 先下载模型路径

processor = Qwen2_5OmniProcessor.from_pretrained(model_name)
model = Qwen2_5OmniModel.from_pretrained(
    model_name, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

# 2. 准备输入数据
# 示例：文本提问 + 图片输入
text_prompt = "请描述这张图片的内容，并用语音回答我。"
image_path = "example.jpg" # 替换为你的图片路径
image = Image.open(image_path).convert("RGB")

# 3. 构建消息体
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": text_prompt}
        ]
    }
]

# 4. 处理输入并生成
inputs = processor(text=messages, return_tensors="pt", padding=True)
inputs = inputs.to(model.device)

# 生成回复 (streaming 模式需参考 cookbooks，此处为普通生成)
generated_ids = model.generate(**inputs, max_new_tokens=256)

# 5. 解码输出
response_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(f"文本回复: {response_text}")

# 若模型配置了音频输出头，可进一步处理生成的音频 token 并保存为 WAV 文件
# (具体音频生成代码请参考官方 cookbooks 中的 advanced usage)

3.2 使用量化版本 (节省显存)

如果你的显存有限，推荐使用 GPTQ-Int4 或 AWQ 版本：

from transformers import AutoModelForCausalLM, AutoProcessor

# 以 GPTQ-Int4 为例
model_name = "Qwen/Qwen2.5-Omni-7B-GPTQ-Int4"

processor = AutoProcessor.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.float16 # 量化模型通常加载为 float16 或 auto
)
# 后续使用步骤同上

3.3 启动本地 Web UI Demo

项目提供了基于 Gradio 的本地演示界面，支持实时语音交互：

# 确保已安装 gradio 和相关依赖
pip install gradio

# 运行 demo 脚本 (假设已克隆仓库)
python demo/app.py --model-name Qwen/Qwen2.5-Omni-7B

启动后，在浏览器访问显示的本地地址（通常是 http://127.0.0.1:7860）即可体验实时语音和视频聊天功能。

提示：更多复杂用例（如视频理解、流式语音合成、MNN 端侧部署）请参考仓库中的 cookbooks 目录。