---

📥 模型下载 | ⚡ 快速入门 | 📜 许可证 | 📖 引用
📄 论文链接 | 📄 Arxiv 论文链接 | 👁️ 演示

1. 引言

隆重推出 DeepSeek-VL2，这是一系列先进的混合专家（MoE）视觉-语言大模型，较其前代产品 DeepSeek-VL 有了显著提升。DeepSeek-VL2 在多项任务中表现出色，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等。该模型系列包含三个版本：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别拥有 10 亿、28 亿和 45 亿激活参数。与现有的开源密集型及 MoE 模型相比，DeepSeek-VL2 在参数量相近或更少的情况下，仍能取得具有竞争力甚至最先进的性能。

DeepSeek-VL2：用于高级多模态理解的混合专家视觉-语言模型

吴志宇*、陈晓康*、潘子正*、刘兴超*、刘文**、戴达迈、高华佐、马一洋、吴承悦、王炳轩、谢振达、吴宇、胡凯、王嘉伟、孙耀峰、李玉坤、剽义士、关康、刘爱欣、谢鑫、游宇翔、董凯、于兴凯、张浩伟、赵亮、王一松、阮冲*** (* 共同第一作者，** 项目负责人，*** 通讯作者)

2. 发布

✅ 2025年2月6日：在 Huggingface Space 上发布了基于 Gradio 的基础演示 deepseek-vl2-small。

✅ 2024年12月25日：Gradio 演示示例、增量预填充及 VLMEvalKit 支持。

✅ 2024年12月13日：DeepSeek-VL2 系列正式发布，包括 DeepSeek-VL2-tiny、DeepSeek-VL2-small、DeepSeek-VL2。

3. 模型下载

我们发布了 DeepSeek-VL2 系列，包括 DeepSeek-VL2-tiny、DeepSeek-VL2-small、DeepSeek-VL2。此举旨在支持学术界和商业界更为广泛且多样化的研究工作。请注意，本模型的使用须遵守 许可证章节 中所列条款。

Huggingface

模型	序列长度	下载
DeepSeek-VL2-tiny	4096	🤗 Hugging Face
DeepSeek-VL2-small	4096	🤗 Hugging Face
DeepSeek-VL2	4096	🤗 Hugging Face

4. 快速入门

安装

在 Python >= 3.8 环境的基础上，通过运行以下命令安装必要的依赖：

pip install -e .

单张图片的简单推理示例

注意：运行此脚本时，您可能需要 80GB 的 GPU 内存来执行 deepseek-vl2-small，而对于 deepseek-vl2 则需要更大的显存。

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
from deepseek_vl2.utils.io import load_pil_images


# 指定模型路径
model_path = "deepseek-ai/deepseek-vl2-tiny"
vl_chat_processor: DeepseekVLV2Processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

## 单张图片对话示例
## 请注意，<|ref|> 和 <|/ref|> 是专为对象定位功能设计的特殊标记。这些特殊标记在普通对话中并不需要。
## 如果您希望体验带有对象定位和推理的落地式描述功能（即同时包含对象定位和推理的回答），则需要在提示语开头添加特殊标记 <|grounding|>。相关示例可在我们的论文第 9 图中找到。
conversation = [
    {
        "role": "<|User|>",
        "content": "<image>\n<|ref|>后面的长颈鹿。<|/ref|>。",
        "images": ["./images/visual_grounding_1.jpeg"],
    },
    {"role": "<|Assistant|>", "content": ""},
]

# 加载图片并准备输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True,
    system_prompt=""
).to(vl_gpt.device)

# 运行图像编码器以获取图像嵌入
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# 运行模型以获取响应
outputs = vl_gpt.language.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=False)
print(f"{prepare_inputs['sft_format'][0]}", answer)

输出可能如下所示：

<|User|>: <image>
<|ref|>后面的长颈鹿。<|/ref|>.

<|Assistant|>: <|ref|>后面的长颈鹿。<|/ref|><|det|>[[580, 270, 999, 900]]<|/det|><｜end▁of▁sentence｜>

多张图片的简单推理示例

注意：运行此脚本时，使用 deepseek-vl2-small 模型可能需要 80GB 显存，而使用 deepseek-vl2 则需要更大的显存。

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
from deepseek_vl2.utils.io import load_pil_images


# 指定模型路径
model_path = "deepseek-ai/deepseek-vl2-tiny"
vl_chat_processor: DeepseekVLV2Processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

# 多张图片/图文混排
conversation = [
    {
        "role": "<|User|>",
        "content": "这是图片1：<image>\n"
                   "这是图片2：<image>\n"
                   "这是图片3：<image>\n 你能告诉我这些图片里都有什么吗？",
        "images": [
            "images/multi_image_1.jpeg",
            "images/multi_image_2.jpeg",
            "images/multi_image_3.jpeg",
        ],
    },
    {"role": "<|Assistant|>", "content": ""}
]

# 加载图片并准备输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True,
    system_prompt=""
).to(vl_gpt.device)

# 运行图像编码器以获取图像嵌入
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# 运行模型以获取响应
outputs = vl_gpt.language.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=False)
print(f"{prepare_inputs['sft_format'][0]}", answer)

输出可能如下所示：

<|User|>: 这是图片1：<image>
这是图片2：<image>
这是图片3：<image>
 你能告诉我这些图片里都有什么吗？

<|Assistant|>: 图片中展示了三种不同的蔬菜。图片1是胡萝卜，呈橙色，顶部带有绿色叶子；图片2是玉米棒，呈黄色，外面包裹着绿色苞叶；图片3是生的猪肋排，呈粉红色，夹杂着一些脂肪纹理。<｜end▁of▁sentence｜>

增量预填充的简单推理示例

注意：我们使用增量预填充技术，以便在 40GB 显存的 GPU 上运行 deepseek-vl2-small 模型。

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
from deepseek_vl2.utils.io import load_pil_images


# 指定模型路径
model_path = "deepseek-ai/deepseek-vl2-small"
vl_chat_processor: DeepseekVLV2Processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

# 多张图片/图文混排
conversation = [
    {
        "role": "<|User|>",
        "content": "这是图片1：<image>\n"
                   "这是图片2：<image>\n"
                   "这是图片3：<image>\n 你能告诉我这些图片里都有什么吗？",
        "images": [
            "images/multi_image_1.jpeg",
            "images/multi_image_2.jpeg",
            "images/multi_image_3.jpeg",
        ],
    },
    {"role": "<|Assistant|>", "content": ""}
]

# 加载图片并准备输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True,
    system_prompt=""
).to(vl_gpt.device)

with torch.no_grad():
    # 运行图像编码器以获取图像嵌入
    inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

    # 在 40G 显存的 GPU 上运行 vl2-small 时进行增量预填充
    inputs_embeds, past_key_values = vl_gpt.incremental_prefilling(
        input_ids=prepare_inputs.input_ids,
        images=prepare_inputs.images,
        images_seq_mask=prepare_inputs.images_seq_mask,
        images_spatial_crop=prepare_inputs.images_spatial_crop,
        attention_mask=prepare_inputs.attention_mask,
        chunk_size=512 # 预填充大小
    )

    # 运行模型以获取响应
    outputs = vl_gpt.generate(
        inputs_embeds=inputs_embeds,
        input_ids=prepare_inputs.input_ids,
        images=prepare_inputs.images,
        images_seq_mask=prepare_inputs.images_seq_mask,
        images_spatial_crop=prepare_inputs.images_spatial_crop,
        attention_mask=prepare_inputs.attention_mask,
        past_key_values=past_key_values,

        pad_token_id=tokenizer.eos_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=512,

        do_sample=False,
        use_cache=True,
    )

    answer = tokenizer.decode(outputs[0][len(prepare_inputs.input_ids[0]):].cpu().tolist(), skip_special_tokens=False)

print(f"{prepare_inputs['sft_format'][0]}", answer)

输出可能如下所示：

<|User|>: 这是图片1：<image>
这是图片2：<image>
这是图片3：<image>
 你能告诉我这些图片里都有什么吗？

<|Assistant|>: 第一张图片中有胡萝卜。第二张图片中有玉米。第三张图片中有肉。<｜end▁of▁sentence｜>

解析边界框坐标，请参考 parse_ref_bbox。

完整推理示例

# 不使用增量预填充
CUDA_VISIBLE_DEVICES=0 python inference.py --model_path "deepseek-ai/deepseek-vl2"

# 使用增量预填充，在 40G 显存的 GPU 上运行 vl2-small 时
CUDA_VISIBLE_DEVICES=0 python inference.py --model_path "deepseek-ai/deepseek-vl2-small" --chunk_size 512

Gradio 示例

• 安装必要的依赖：

pip install -e .[gradio]

• 然后运行以下命令：

# vl2-tiny，总规模3.37B-MoE，激活参数1B，可在单张40GB以下显卡上运行
CUDA_VISIBLE_DEVICES=2 python web_demo.py \
--model_name "deepseek-ai/deepseek-vl2-tiny"  \
--port 37914


# vl2-small，总规模16.1B-MoE，激活参数2.4B
# 若在A100 40GB显卡上运行，需设置 `--chunk_size 512` 进行增量预填充以节省显存，但可能会较慢。
# 若在显存大于40GB的GPU上运行，则可忽略 `--chunk_size 512`，以获得更快的响应速度。
CUDA_VISIBLE_DEVICES=2 python web_demo.py \
--model_name "deepseek-ai/deepseek-vl2-small"  \
--port 37914 \
--chunk_size 512

# # vl2，总规模7.5B-MoE，激活参数4.2B
CUDA_VISIBLE_DEVICES=2 python web_demo.py \
--model_name "deepseek-ai/deepseek-vl2"  \
--port 37914

• 重要提示：这是一个基础且原生的示例实现，未进行任何部署优化，可能导致性能较慢。对于生产环境，请考虑使用优化后的部署方案，如vllm、sglang、lmdeploy等。这些优化将有助于提升响应速度并降低运行成本。

5. 许可证

本代码仓库采用MIT许可证授权。DeepSeek-VL2模型的使用受DeepSeek模型许可证约束。DeepSeek-VL2系列支持商业用途。

6. 引用

@misc{wu2024deepseekvl2mixtureofexpertsvisionlanguagemodels,
      title={DeepSeek-VL2：面向高级多模态理解的专家混合视觉语言模型},
      author={Zhiyu Wu、Xiaokang Chen、Zizheng Pan、Xingchao Liu、Wen Liu、Damai Dai、Huazuo Gao、Yiyang Ma、Chengyue Wu、Bingxuan Wang、Zhenda Xie、Yu Wu、Kai Hu、Jiawei Wang、Yaofeng Sun、Yukun Li、Yishi Piao、Kang Guan、Aixin Liu、Xin Xie、Yuxiang You、Kai Dong、Xingkai Yu、Haowei Zhang、Liang Zhao、Yisong Wang、Chong Ruan},
      year={2024},
      eprint={2412.10302},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2412.10302},
}

7. 联系方式

如有任何问题，请提交Issue或发送邮件至service@deepseek.com。

DeepSeek-VL2 快速上手指南

DeepSeek-VL2 是一个先进的混合专家（MoE）视觉 - 语言模型系列，包含 Tiny、Small 和标准版三个变体，分别在视觉问答、OCR、文档理解及视觉定位（Visual Grounding）等任务上表现出色。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: >= 3.8
• GPU 显存要求:
  • deepseek-vl2-tiny: 较低显存即可运行。
  • deepseek-vl2-small: 常规推理建议 80GB 显存；若使用增量预填充 (Incremental Prefilling) 技术，可在 40GB 显存上运行。
  • deepseek-vl2: 需要更大显存。
• 依赖库: PyTorch, Transformers 等（将通过安装命令自动解决）。

提示: 国内开发者建议使用国内镜像源加速 Python 包下载，例如在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple。

2. 安装步骤

克隆项目代码并安装依赖：

git clone https://github.com/deepseek-ai/DeepSeek-VL2.git
cd DeepSeek-VL2
pip install -e .

如需使用清华镜像源加速安装：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

单图对话示例

以下示例展示如何加载 deepseek-vl2-tiny 模型并进行单图对话。该示例包含了视觉定位功能（使用 <|ref|> 和 <|/ref|> 标记）。

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
from deepseek_vl2.utils.io import load_pil_images


# specify the path to the model
model_path = "deepseek-ai/deepseek-vl2-tiny"
vl_chat_processor: DeepseekVLV2Processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

## single image conversation example
## Please note that <|ref|> and <|/ref|> are designed specifically for the object localization feature. These special tokens are not required for normal conversations.
## If you would like to experience the grounded captioning functionality (responses that include both object localization and reasoning), you need to add the special token <|grounding|> at the beginning of the prompt. Examples could be found in Figure 9 of our paper.
conversation = [
    {
        "role": "<|User|>",
        "content": "<image>\n<|ref|>The giraffe at the back.<|/ref|>.",
        "images": ["./images/visual_grounding_1.jpeg"],
    },
    {"role": "<|Assistant|>", "content": ""},
]

# load images and prepare for inputs
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True,
    system_prompt=""
).to(vl_gpt.device)

# run image encoder to get the image embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# run the model to get the response
outputs = vl_gpt.language.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=False)
print(f"{prepare_inputs['sft_format'][0]}", answer)

输出示例：

<|User|>: <image>
<|ref|>The giraffe at the back.<|/ref|>.

<|Assistant|>: <|ref|>The giraffe at the back.<|/ref|><|det|>[[580, 270, 999, 900]]<|/det|><｜end▁of▁sentence｜>

多图对话示例

DeepSeek-VL2 支持多张图片交错输入。

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM
from deepseek_vl2.utils.io import load_pil_images


# specify the path to the model
model_path = "deepseek-ai/deepseek-vl2-tiny"
vl_chat_processor: DeepseekVLV2Processor = DeepseekVLV2Processor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: DeepseekVLV2ForCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

# multiple images/interleaved image-text
conversation = [
    {
        "role": "<|User|>",
        "content": "This is image_1: <image>\n"
                   "This is image_2: <image>\n"
                   "This is image_3: <image>\n Can you tell me what are in the images?",
        "images": [
            "images/multi_image_1.jpeg",
            "images/multi_image_2.jpeg",
            "images/multi_image_3.jpeg",
        ],
    },
    {"role": "<|Assistant|>", "content": ""}
]

# load images and prepare for inputs
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True,
    system_prompt=""
).to(vl_gpt.device)

# run image encoder to get the image embeddings
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# run the model to get the response
outputs = vl_gpt.language.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=False)
print(f"{prepare_inputs['sft_format'][0]}", answer)

低显存优化（增量预填充）

如果您使用的是 deepseek-vl2-small 且显存有限（如 40GB），可以使用 incremental_prefilling 方法进行推理。核心代码片段如下：

# ... (前部分代码与上述示例相同，加载模型和准备数据)

with torch.no_grad():
    # run image encoder to get the image embeddings
    inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

    # incremental_prefilling when using 40G GPU for vl2-small
    inputs_embeds, past_key_values = vl_gpt.incremental_prefilling(
        input_ids=prepare_inputs.input_ids,
        images=prepare_inputs.images,
        attention_mask=prepare_inputs.attention_mask,
        chunk_size=512 # 可根据显存情况调整块大小
    )

    # run the model to get the response using the pre-filled states
    outputs = vl_gpt.language.generate(
        inputs_embeds=inputs_embeds,
        past_key_values=past_key_values,
        attention_mask=prepare_inputs.attention_mask,
        pad_token_id=tokenizer.eos_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        max_new_tokens=512,
        do_sample=False,
        use_cache=True
    )
    
# ... (后续解码输出逻辑相同)

注意: 完整代码逻辑请参考官方仓库中的详细示例。使用此方法可显著降低峰值显存占用。