---

📥 模型下载 | ⚡ 快速入门 | 📜 许可证 | 📖 引用
📄 论文链接 | 🤗 Hugging Face论文链接 | 👁️ 演示

1. 简介

隆重推出 DeepSeek-VL，一款开源的视觉-语言（VL）模型，专为现实世界的视觉与语言理解应用而设计。DeepSeek-VL 具备通用的多模态理解能力，能够处理逻辑图表、网页、公式识别、科学文献、自然图像以及复杂场景中的具身智能任务。

DeepSeek-VL：迈向现实世界的视觉-语言理解

卢浩宇*、刘文*、张博**、王炳轩、董凯、刘博、孙景翔、任彤铮、李卓书、杨浩、孙耀峰、邓成奇、徐汉威、谢振达、阮冲（*共同第一作者，**项目负责人）

2. 发布

✅ 2024年3月14日：DeepSeek-VL-7B 的演示已在 Hugging Face 上线。

请访问 https://huggingface.co/spaces/deepseek-ai/DeepSeek-VL-7B 查看 DeepSeek-VL-7B 的 Gradio 演示，亲身体验其强大功能！

✅ 2024年3月13日：支持 DeepSeek-VL 的 Gradio 演示。

该演示展示了模型在多种场景下的应用能力。

✅ 2024年3月11日：DeepSeek-VL 系列模型正式发布，包括 DeepSeek-VL-7B-base、DeepSeek-VL-7B-chat、DeepSeek-VL-1.3B-base 和 DeepSeek-VL-1.3B-chat。

此次发布的 DeepSeek-VL 系列模型种类丰富，适用于不同的应用场景。模型分为 7B 和 1.3B 参数量两种规格，每种规格又提供基础版和对话版，以满足不同需求和集成场景。

3. 模型下载

我们向公众开放 DeepSeek-VL 系列模型，包括 1.3B 基础版、1.3B 对话版、7B 基础版和 7B 对话版，旨在支持学术界和商业界更广泛、更多样化的研究。请注意，本模型的使用须遵守 许可证章节 中的规定。在这些条款下，允许进行商业用途。

Hugging Face

模型	序列长度	下载
DeepSeek-VL-1.3B-base	4096	🤗 Hugging Face
DeepSeek-VL-1.3B-chat	4096	🤗 Hugging Face
DeepSeek-VL-7B-base	4096	🤗 Hugging Face
DeepSeek-VL-7B-chat	4096	🤗 Hugging Face

4. 快速入门

安装

在 Python >= 3.8 环境的基础上，通过运行以下命令安装必要的依赖：

pip install -e .

简单推理示例

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl.models import VLChatProcessor, MultiModalityCausalLM
from deepseek_vl.utils.io import load_pil_images


# 指定模型路径
model_path = "deepseek-ai/deepseek-vl-7b-chat"
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

## 单张图片对话示例
conversation = [
    {
        "role": "User",
        "content": "<image_placeholder>请描述这张图片的每个阶段。",
        "images": ["./images/training_pipelines.jpg"],
    },
    {"role": "Assistant", "content": ""},
]

## 多张图片（或上下文学习）对话示例
# conversation = [
#     {
#         "role": "User",
#         "content": "<image_placeholder>前景中有一只什么都没穿的狗，"
#                    "<image_placeholder>一只戴着圣诞帽的狗，"
#                    "<image_placeholder>一只穿着巫师服装的狗，"
#                    "<image_placeholder>那么这只狗到底穿了什么呢？",
#         "images": [
#             "images/dog_a.png",
#             "images/dog_b.png",
#             "images/dog_c.png",
#             "images/dog_d.png",
#         ],
#     },
#     {"role": "Assistant", "content": ""}
# ]

# 加载图像并准备输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True
).to(vl_gpt.device)

# 运行图像编码器以获取图像嵌入
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# 运行模型以获取响应
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)

命令行聊天

python cli_chat.py --model_path "deepseek-ai/deepseek-vl-7b-chat"

# 或者使用本地路径
python cli_chat.py --model_path "本地模型路径"

Gradio 演示

pip install -e .[gradio]

python deepseek_vl/serve/app_deepseek.py

尽情体验吧！

5. 许可证

本代码仓库采用 MIT 许可证授权。DeepSeek-VL Base/Chat 模型的使用受 DeepSeek 模型许可证约束。DeepSeek-VL 系列（包括 Base 和 Chat）支持商业用途。

6. 引用

@misc{lu2024deepseekvl,
      title={DeepSeek-VL: 实现真实世界的视觉-语言理解},
      author={Haoyu Lu 和 Wen Liu 和 Bo Zhang 和 Bingxuan Wang 和 Kai Dong 和 Bo Liu 和 Jingxiang Sun 和 Tongzheng Ren 和 Zhuoshu Li 和 Hao Yang 和 Yaofeng Sun 和 Chengqi Deng 和 Hanwei Xu 和 Zhenda Xie 和 Chong Ruan},
      year={2024},
      eprint={2403.05525},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

7. 联系方式

如有任何问题，请提交 Issue 或发送邮件至 service@deepseek.com。

DeepSeek-VL 快速上手指南

DeepSeek-VL 是一款开源的视觉 - 语言（Vision-Language）模型，专为现实世界的多模态理解任务设计。它支持处理逻辑图表、网页、公式识别、科学文献及复杂场景下的图像理解。本指南将帮助您快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: >= 3.8
• GPU 支持: 需要 NVIDIA GPU 并安装对应的 CUDA 驱动（用于加速推理）
• 显存要求:
  • DeepSeek-VL-1.3B 系列：建议显存 >= 4GB
  • DeepSeek-VL-7B 系列：建议显存 >= 16GB (使用 BF16 精度时)

2. 安装步骤

克隆代码库

首先从 GitHub 克隆项目代码：

git clone https://github.com/deepseek-ai/DeepSeek-VL.git
cd DeepSeek-VL

安装依赖

使用 pip 安装必要的 Python 依赖包。国内用户建议使用清华或阿里镜像源以加速下载：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果您想运行官方的 Gradio Web 演示界面，请执行以下命令安装额外依赖：

pip install -e .[gradio] -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

方式一：Python 脚本推理

以下是一个最简单的单图对话示例，展示如何加载模型并进行图像描述。

前置准备：请确保已下载模型权重（可通过 Hugging Face 下载 deepseek-ai/deepseek-vl-7b-chat），或者代码运行时能自动联网下载。

创建文件 run_inference.py 并填入以下代码：

import torch
from transformers import AutoModelForCausalLM

from deepseek_vl.models import VLChatProcessor, MultiModalityCausalLM
from deepseek_vl.utils.io import load_pil_images


# 指定模型路径 (可以是 HuggingFace ID 或本地路径)
model_path = "deepseek-ai/deepseek-vl-7b-chat"

# 加载处理器和分词器
vl_chat_processor: VLChatProcessor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer

# 加载多模态模型并设置为评估模式，使用 bfloat16 精度以节省显存
vl_gpt: MultiModalityCausalLM = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

# 构建对话数据 (单图示例)
conversation = [
    {
        "role": "User",
        "content": "<image_placeholder>Describe each stage of this image.",
        "images": ["./images/training_pipelines.jpg"], # 请替换为您本地的图片路径
    },
    {"role": "Assistant", "content": ""},
]

# 加载图片并预处理输入
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(
    conversations=conversation,
    images=pil_images,
    force_batchify=True
).to(vl_gpt.device)

# 运行图像编码器获取嵌入
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)

# 生成回复
outputs = vl_gpt.language_model.generate(
    inputs_embeds=inputs_embeds,
    attention_mask=prepare_inputs.attention_mask,
    pad_token_id=tokenizer.eos_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    do_sample=False,
    use_cache=True
)

answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)

运行脚本：

python run_inference.py

方式二：命令行交互 (CLI Chat)

项目提供了内置的命令行聊天工具，方便进行多轮对话测试。

python cli_chat.py --model_path "deepseek-ai/deepseek-vl-7b-chat"

# 如果使用本地下载的模型文件夹
# python cli_chat.py --model_path "/path/to/local/model"

方式三：启动 Web 界面 (Gradio Demo)

如果您安装了 gradio 依赖，可以启动一个可视化的 Web 界面进行体验：

python deepseek_vl/serve/app_deepseek.py

启动后，终端会显示访问地址（通常为 http://localhost:7860），在浏览器中打开即可上传图片并与模型对话。