Ovis

简介

Ovis（Open VISion）是一种新颖的多模态大语言模型（MLLM）架构，旨在从结构上对齐视觉和文本嵌入。

🔥 招聘中！

我们正在招募实习生和全职研究人员加入我们的团队，研究方向包括多模态理解、生成、推理、AI代理以及统一的多模态模型。如果您对这些激动人心的研究领域感兴趣，请通过 qingguo.cqg@alibaba-inc.com 联系我们。

发布

• [25/08/15] 🔥 推出 Ovis2.5-2B/9B，具备原生分辨率的视觉感知能力、增强的反思式推理能力（思考模式），并在STEM、图表分析、场景理解及视频理解等任务上表现领先。
• [25/03/25] 🔥 宣布推出Ovis2系列的量化版本，涵盖 Ovis2-2/4/8/16/34B！
• [25/01/26] 🔥 推出 Ovis2-1/2/4/8/16/34B，这是Ovis模型的最新版本，具有突破性的小模型性能、更强的推理能力、先进的视频和多图像处理能力、扩展的多语言OCR支持，以及改进的高分辨率图像处理能力。
• [24/11/26] 🔥 宣布推出 Ovis1.6-Gemma2-27B！
• [24/11/04] 🔥 宣布推出Ovis1.6的量化版本：Ovis1.6-Gemma2-9B-GPTQ-Int4 和 Ovis1.6-Llama3.2-3B-GPTQ-Int4！
• [24/10/22] 🔥 宣布推出Ovis1.6-Llama3.2-3B（模型，演示）！
• [24/09/19] 🔥 宣布推出Ovis1.6-Gemma2-9B（模型，演示）。此次发布进一步提升了高分辨率图像处理能力，采用了更大、更丰富、更高品质的数据集进行训练，并在指令微调之后引入了DPO训练来优化模型。
• [24/07/24] 🔥 推出Ovis1.5，其特点是改进了高分辨率图像处理能力，并优化了训练数据以提升性能。
• [24/06/14] 🔥 推出Ovis1.0，即Ovis模型的首个版本。

目录

• Ovis：面向多模态大语言模型的结构化嵌入对齐
  • 发布
  • 目录
  • 模型
  • 性能
  • 安装
  • 推理
  • 模型微调
  • 引用
  • 团队
  • 许可证
  • 免责声明

模型

Ovis可以与流行的LLM结合使用。我们提供了以下Ovis MLLM：

Ovis MLLMs	ViT	LLM	Model Weights	Demo
Ovis2.5-2B	siglip2-so400m-patch16-512	Qwen3-1.7B	Huggingface	Space
Ovis2.5-9B	siglip2-so400m-patch16-512	Qwen3-8B	Huggingface	Space

性能

Ovis2.5在通用多模态基准测试、复杂图表分析和推理任务上表现出色，在参数量低于40B的开源模型中位居前列。

安装

Ovis已在Python 3.10、Torch 2.4.0、Transformers 4.51.3和DeepSpeed 0.15.4环境下进行了测试。有关完整的依赖包列表，请参阅 requirements.txt 文件。

git clone git@github.com:AIDC-AI/Ovis.git
conda create -n ovis python=3.10 -y
conda activate ovis
cd Ovis
pip install -r requirements.txt
pip install -e .

对于 vLLM：

pip install vllm==0.10.2 --extra-index-url https://wheels.vllm.ai/0.10.2/

推理

我们提供了使用 transformers 和 vLLM 的推理示例。

transformers

在 ovis/serve 中，我们提供了三个示例文件：

• ovis/serve/infer_think_demo.py
  展示如何通过 enable_thinking 启用模型的 反思式推理，并使用 thinking_budget 控制推理阶段的时长。

• ovis/serve/infer_basic_demo.py
  提供单张图像、多张图像、视频和纯文本输入的推理示例。

• ovis/serve/web_ui.py 提供一个基于 Gradio 的Web UI演示。示例运行：

  python ovis/serve/web_ui.py --model-path AIDC-AI/Ovis2.5-9B --port 8001
  

vLLM

启动 vLLM 服务器：

vllm serve AIDC-AI/Ovis2.5-9B \
     --trust-remote-code \
     --port 8000

使用 OpenAI Python SDK 调用模型：

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="AIDC-AI/Ovis2.5-9B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://cdn-uploads.huggingface.co/production/uploads/637aebed7ce76c3b834cea37/kh-1dhZRAduP-P4SkIhXr.png"
                    },
                },
                {"type": "text", "text": "识别表格内容"},
            ],
        },
    ],    
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,
        },
        "mm_processor_kwargs": {
            "images_kwargs": {
                "min_pixels": 1048576,   # 1024 * 1024
                "max_pixels": 3211264    # 1792 * 1792
            }
        }
    }
)

print("聊天回复：\n", chat_response.choices[0].message.content)

extra_body 参数说明：

• chat_template_kwargs.enable_thinking 启用思考模式（反思性推理）。

• mm_processor_kwargs.images_kwargs.min_pixels / max_pixels 控制输入图像的分辨率范围（以总像素数计），在准确性和 GPU 内存占用之间取得平衡。

模型微调

Ovis 可以使用本仓库提供的训练代码，或通过 ms-swift 进行微调。

1. 使用仓库内代码进行微调

数据格式

训练数据集以 JSON 列表 形式存储，其中每个元素对应一个样本。 示例数据集 JSON：

[
    {
        "id": 1354,
        "image": "1354.png",
        "conversations": [
            {
                "from": "human",
                "value": "<image>\n图中，四边形 ABCD 的顶点与正方形 EFGH 相交，并将其各边分割为长度比为 1:2 的线段。求 ABCD 与 EFGH 面积之比。"
            },
            {
                "from": "gpt",
                "value": "5:9"
            }
        ]
    }
]

数据集信息

数据集通过 datainfo JSON 文件 引用，例如 ovis/train/dataset/ovis2_5_sft_datainfo.json：

{
    "geometry3k_local": {
        "meta_file": "path/to/geometry3k_local.json",
        "storage_type": "hybrid",
        "data_format": "conversation",
        "image_dir": "path/to/images/"
    }
}

• meta_file：转换后的数据集 JSON 文件路径（样本列表）。
• storage_type：通常设置为 "hybrid"。
• data_format：通常设置为 "conversation"。
• image_dir：包含引用图像的目录路径。

训练脚本

我们在 scripts/ 目录下提供了示例训练脚本。例如，使用 SFT 微调 Ovis2.5：

bash scripts/run_ovis2_5_sft.sh

该脚本配置了 DeepSpeed 引擎、数据集路径以及模型检查点的初始化。请根据您自己的数据集和环境对其进行修改。

2. 使用 ms-swift 进行微调

此外，Ovis 模型也可以使用 ms-swift，一个灵活的 LLM 训练框架，来进行微调。

引用

如果您觉得 Ovis 有用，请引用以下论文：

@article{lu2025ovis25technicalreport,
  title={Ovis2.5 技术报告}, 
  author={Shiyin Lu 和 Yang Li 和 Yu Xia 和 Yuwei Hu 和 Shanshan Zhao 和 Yanqing Ma 和 Zhichao Wei 和 Yinglun Li 和 Lunhao Duan 和 Jianshan Zhao 和 Yuxuan Han 和 Haijun Li 和 Wanying Chen 和 Junke Tang 和 Chengkun Hou 和 Zhixing Du 和 Tianli Zhou 和 Wenjie Zhang 和 Huping Ding 和 Jiahe Li 和 Wen Li 和 Gui Hu 和 Yiliang Gu 和 Siran Yang 和 Jiamang Wang 和 Hailong Sun 和 Yibo Wang 和 Hui Sun 和 Jinlong Huang 和 Yuping He 和 Shengze Shi 和 Weihong Zhang 和 Guodong Zheng 和 Junpeng Jiang 和 Sensen Gao 和 Yi-Feng Wu 和 Sijia Chen 和 Yuhui Chen 和 Qing-Guo Chen 和 Zhao Xu 和 Weihua Luo 和 Kaifu Zhang},
  year={2025},
  journal={arXiv:2508.11737}
}

@article{lu2024ovis,
  title={Ovis：用于多模态大语言模型的结构嵌入对齐}, 
  author={Shiyin Lu 和 Yang Li 和 Qing-Guo Chen 和 Zhao Xu 和 Weihua Luo 和 Kaifu Zhang 和 Han-Jia Ye},
  year={2024},
  journal={arXiv:2405.20797}
}

团队

本工作由阿里巴巴 Ovis 团队共同完成。我们还希望提供团队其他 MLLM 论文的链接：

• Parrot：多语言视觉指令微调
• Wings：无需担心文本遗忘的学习多模态 LLM

许可证

本项目采用 Apache License, Version 2.0 许可证（SPDX-License-Identifier: Apache-2.0）。

免责声明

我们在训练过程中使用了合规性检查算法，以尽可能确保训练后模型的合规性。然而，由于数据的复杂性以及语言模型使用场景的多样性，我们无法保证模型完全不存在版权问题或不当内容。如果您认为任何内容侵犯了您的权益或产生了不当内容，请及时联系我们，我们将迅速处理此事。

Ovis 快速上手指南

Ovis (Open VISion) 是一款新型多模态大语言模型（MLLM），旨在通过结构化对齐视觉和文本嵌入，实现卓越的图文理解、推理及视频分析能力。最新发布的 Ovis2.5 系列支持原生分辨率感知和增强型反思推理（Thinking Mode）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.10
• 核心依赖版本:
  • PyTorch: 2.4.0
  • Transformers: 4.51.3
  • DeepSpeed: 0.15.4
  • (可选) vLLM: 0.10.2 (用于高性能推理)
• 硬件: 推荐使用 NVIDIA GPU，显存大小取决于所选模型版本（2B 或 9B）。

提示: 国内开发者建议使用国内镜像源加速 pip 和 conda 包的下载（如清华源、阿里源）。

安装步骤

1. 克隆代码库并创建环境

git clone git@github.com:AIDC-AI/Ovis.git
conda create -n ovis python=3.10 -y
conda activate ovis
cd Ovis

2. 安装依赖

使用国内镜像源安装基础依赖包：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. (可选) 安装 vLLM 支持

如果您计划使用 vLLM 进行高速推理，请执行以下命令：

pip install vllm==0.10.2 --extra-index-url https://wheels.vllm.ai/0.10.2/

基本使用

Ovis 提供了基于 transformers 的原生推理脚本和基于 vLLM 的服务化部署方案。

方式一：使用 Gradio Web UI (最简单)

这是最直观的交互方式，启动后即可在浏览器中上传图片并进行对话。

python ovis/serve/web_ui.py --model-path AIDC-AI/Ovis2.5-9B --port 8001

启动后，请在浏览器访问 http://localhost:8001。

方式二：Python 脚本推理 (Transformers)

您可以直接运行官方提供的示例脚本来体验单图、多图、视频输入或开启“思考模式”。

开启反思推理 (Thinking Mode) 示例：

python ovis/serve/infer_think_demo.py

该脚本演示了如何通过 enable_thinking 参数启用模型的深度推理能力，并通过 thinking_budget 控制推理长度。

基础推理示例（含多模态输入）：

python ovis/serve/infer_basic_demo.py

方式三：通过 vLLM 服务调用 (生产级)

如果您需要更高的吞吐量，可以启动 vLLM 服务并通过 OpenAI 兼容接口调用。

1. 启动服务

vllm serve AIDC-AI/Ovis2.5-9B \
     --trust-remote-code \
     --port 8000

2. 客户端调用示例 使用 Python 调用服务，支持设置图像分辨率和开启思考模式：

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="AIDC-AI/Ovis2.5-9B",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://cdn-uploads.huggingface.co/production/uploads/637aebed7ce76c3b834cea37/kh-1dhZRAduP-P4SkIhXr.png"
                    },
                },
                {"type": "text", "text": "Recognize the table content"},
            ],
        },
    ],    
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # 开启思考模式
        },
        "mm_processor_kwargs": {
            "images_kwargs": {
                "min_pixels": 1048576,   # 最小分辨率 1024*1024
                "max_pixels": 3211264    # 最大分辨率 1792*1792
            }
        }
    }
)

print("Chat response:\n", chat_response.choices[0].message.content)

---

更多高级用法（如模型微调）请参考项目仓库中的 scripts/ 目录及官方文档。