简单、快速且经济的全模态模型推理服务，面向所有人

| 文档 | 用户论坛 | 开发者 Slack | 微信 | 论文 | 幻灯片 |

---

最新消息 🔥

• [2026年3月] 我们发布了0.18.0——通过大规模入口点重构和调度器/运行时清理，强化了核心运行时；扩展了统一量化与扩散执行功能，进一步拓宽了多模态模型的支持范围，并在音频、全模态、图像、视频、强化学习以及多平台部署等方面提升了生产就绪性。
• [2026年3月] 欢迎观看我们在 vLLM 香港 Meetup 上的首次公开【项目深度解析】视频！
• [2026年3月] vllm-omni-skills 是一个由社区驱动的 AI 助手技能集合，旨在帮助开发者更高效地使用 vLLM-Omni。这些技能可与流行的代理式 AI 编程助手如 Cursor IDE、Claude、Codex 等配合使用。
• [2026年2月] 我们发布了0.16.0——这是一次重要的对齐与能力提升版本，基于 上游 vLLM v0.16.0 进行重基，并显著增强了性能、分布式执行能力以及生产就绪性，覆盖 Qwen3-Omni / Qwen3-TTS、Bagel、MiMo-Audio、GLM-Image 和 Diffusion (DiT) 图像/视频栈；同时改善了平台支持（CUDA / ROCm / NPU / XPU）、CI 质量及文档。
• [2026年2月] 我们发布了0.14.0——这是 vLLM-Omni 的首个 稳定版，扩展了 Omni 的扩散/图像-视频生成以及音频/TTS 技术栈，优化了分布式执行与内存效率，并拓宽了平台/后端支持范围（GPU/ROCm/NPU/XPU）。此外，还对服务 API、性能分析与基准测试以及整体稳定性进行了有意义的升级。有关架构设计和性能结果，请参阅我们最新的【论文】(https://arxiv.org/abs/2602.02204)。
• [2026年1月] 我们发布了0.12.0rc1——这是一个重要的 RC 版里程碑，重点在于完善扩散技术栈、强化 OpenAI 兼容的服务接口、扩大全模态模型支持范围，并提升跨平台（GPU/NPU/ROCm）的稳定性。
• [2025年11月] vLLM 社区正式发布了vllm-project/vllm-omni，以支持全模态模型的推理与服务。

---

关于

vLLM 最初是为支持基于文本的自回归生成任务的大语言模型而设计的。vLLM-Omni 则是一个扩展其支持范围的框架，用于全模态模型的推理与服务：

• 全模态：处理文本、图像、视频和音频数据
• 非自回归架构：将 vLLM 的自回归支持扩展至扩散 Transformer (DiT) 及其他并行生成模型
• 异构输出：从传统的文本生成到多模态输出

vLLM-Omni 具有以下优势：

• 基于 vLLM 的高效 KV 缓存管理，提供最先进的自回归支持
• 流水线阶段执行相互重叠，实现高吞吐量性能
• 完全解耦合架构，依托 OmniConnector 和动态资源分配，实现各阶段的灵活调度

vLLM-Omni 使用起来灵活便捷：

• 提供异构流水线抽象，便于管理复杂的模型工作流
• 与流行的 Hugging Face 模型无缝集成
• 支持张量并行、流水线并行、数据并行和专家并行等分布式推理技术
• 流式输出
• OpenAI 兼容的 API 服务器

vLLM-Omni 可无缝支持 HuggingFace 上大多数流行的开源模型，包括：

• 全模态模型（如 Qwen-Omni）
• 多模态生成模型（如 Qwen-Image）

开始使用

请访问我们的【文档】(https://vllm-omni.readthedocs.io/en/latest/) 了解更多：

• 安装指南
• 快速入门
• 支持的模型列表

贡献

我们欢迎并珍视任何贡献与合作。有关如何参与，请参阅【贡献 vLLM-Omni】(https://vllm-omni.readthedocs.io/en/latest/contributing/)。

引用

如果您在研究中使用 vLLM-Omni，请引用我们的【论文】(https://arxiv.org/abs/2602.02204)：

@article{yin2026vllmomni,
  title={vLLM-Omni: 面向任意模态间转换的完全解耦服务},
  author={Peiqi Yin, Jiangyun Zhu, Han Gao, Chenguang Zheng, Yongxiang Huang, Taichang Zhou, Ruirui Yang, Weizhi Liu, Weiqing Chen, Canlin Guo, Didan Deng, Zifeng Mo, Cong Wang, James Cheng, Roger Wang, Hongsheng Liu},
  journal={arXiv 预印本 arXiv:2602.02204},
  year={2026}
}

加入社区

欢迎在 slack.vllm.ai 的 #sig-omni Slack 频道或 discuss.vllm.ai 的 vLLM 用户论坛中提问、反馈并与 vLLM-Omni 的其他用户交流。

星标历史

许可证

Apache License 2.0，详见 LICENSE 文件。

vLLM-Omni 快速上手指南

vLLM-Omni 是一个专为全模态（Omni-modality）模型设计的高性能推理与服务框架。它在 vLLM 的基础上扩展了对文本、图像、视频和音频的处理能力，支持扩散模型（DiT）等非自回归架构，并提供开箱即用的 OpenAI 兼容 API。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• Python: 3.9 - 3.12
• GPU: NVIDIA GPU (建议显存 16GB 以上，具体取决于模型大小)
• CUDA: 12.1 或更高版本
• 前置依赖: 建议先安装 PyTorch 以匹配您的 CUDA 版本。

国内加速提示： 推荐使用清华或阿里镜像源加速 Python 包下载。

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

方式一：通过 PyPI 安装（推荐）

这是最稳定的安装方式，适用于大多数用户。

pip install vllm-omni

如果您需要针对特定硬件（如 ROCm 或特定 CUDA 版本）进行优化，请参考官方文档的安装章节选择对应的 wheel 包。

方式二：从源码安装（适合开发者）

如果您需要最新的功能或参与贡献，可以从 GitHub 克隆源码安装。

git clone https://github.com/vllm-project/vllm-omni.git
cd vllm-omni
pip install -e .

3. 基本使用

vLLM-Omni 提供了与 OpenAI 兼容的 API 服务器，您可以轻松启动服务并调用全模态模型（如 Qwen-Omni, Qwen-Image 等）。

第一步：启动 API 服务器

使用 vllm-omni 命令启动服务。以下示例以 HuggingFace 上的模型为例（请替换为您实际需要的模型 ID）：

vllm-omni serve \
    --model Qwen/Qwen2-VL-7B-Instruct \
    --trust-remote-code \
    --port 8000

• --model: 指定模型名称或本地路径。
• --trust-remote-code: 许多多模态模型需要此参数以加载自定义代码。
• --port: 服务监听端口，默认为 8000。

第二步：发送请求

服务器启动后，您可以使用 curl 或任何 HTTP 客户端发送请求。以下是一个简单的文本生成示例：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen2-VL-7B-Instruct",
        "messages": [
            {"role": "user", "content": "Hello, how are you?"}
        ],
        "max_tokens": 512
    }'

对于多模态输入（如图像 + 文本），只需在 content 字段中包含图像 URL 或 Base64 数据，格式遵循 OpenAI Vision API 标准。

第三步：使用 Python 客户端

您也可以使用标准的 openai Python 库进行调用：

from openai import OpenAI

# 初始化客户端，指向本地 vLLM-Omni 服务
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed" # 本地部署通常不需要真实的 API Key
)

response = client.chat.completions.create(
    model="Qwen/Qwen2-VL-7B-Instruct",
    messages=[
        {"role": "user", "content": "Describe this image."},
        # 此处可添加图像内容，例如：{"type": "image_url", "image_url": {"url": "..."}}
    ]
)

print(response.choices[0].message.content)

---

更多高级功能（如分布式推理、量化、流式输出）及支持的完整模型列表，请访问 vLLM-Omni 官方文档。