• VisionLLM: 作为视觉中心任务开放式解码器的大语言模型（NIPS 2023）
• VisionLLM v2: 面向数百种视觉-语言任务的通用多模态大语言模型（NIPS 2024）

<img src='https://oss.gittoolsai.com/images/OpenGVLab_VisionLLM_readme_06c956ad078f.png' align="center" width="100%>

🚀 新闻

• 2024年6月: 我们发布了 VisionLLM v2，这是一款通用的多模态大语言模型，可支持数百种视觉-语言任务，涵盖视觉理解、感知和生成。

VisionLLM 快速上手指南

VisionLLM 系列是将大型语言模型（LLM）作为开放解码器，用于以视觉为中心任务的通用多模态大模型。最新版本 VisionLLM v2 支持数百种视觉 - 语言任务，涵盖视觉理解、感知和生成。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB 以上以运行大模型）
• CUDA: 11.7 或更高版本
• PyTorch: 2.0 或更高版本

安装步骤

1. 克隆项目代码

git clone https://github.com/OpenGVLab/VisionLLM.git
cd VisionLLM

2. 创建虚拟环境并安装依赖

推荐使用 Conda 管理环境。国内用户可使用清华源加速下载。

# 创建环境
conda create -n visionllm python=3.10 -y
conda activate visionllm

# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 cu118 为例)
# 国内加速源：-i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目核心依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 VisionLLM 包
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果 requirements.txt 中未包含特定版本的 transformers 或 accelerate，建议手动安装最新版以确保兼容性：

pip install transformers accelerate sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个最简单的推理示例，展示如何使用 VisionLLM v2 进行图像描述生成。

1. 下载预训练模型

从 Hugging Face 或 ModelScope（魔搭社区，国内推荐）下载权重。

方式 A：使用 Hugging Face CLI

huggingface-cli download --resume-download OpenGVLab/VisionLLM-v2 --local-dir ./checkpoints/VisionLLM-v2

方式 B：使用 ModelScope (国内加速推荐)

pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('OpenGVLab/VisionLLM-v2', cache_dir='./checkpoints')"

2. 运行推理脚本

创建一个名为 demo.py 的文件，填入以下代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image

# 配置路径
model_path = "./checkpoints/VisionLLM-v2" # 或 ModelScope 下载的实际路径
image_path = "assets/demo.jpg"            # 替换为您的图片路径

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    trust_remote_code=True,
    torch_dtype=torch.float16
)
model.eval()

# 准备输入
image = Image.open(image_path).convert("RGB")
prompt = "<image>\nPlease describe this image in detail."

# 构建输入张量 (具体处理逻辑视 tokenizer 实现而定，此处为通用示意)
# VisionLLM 通常需要在内部处理图像嵌入，具体调用请参考 examples 目录
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回答
with torch.no_grad():
    output = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=False
    )

response = tokenizer.decode(output[0], skip_special_tokens=True)
print(response)

运行脚本：

python demo.py

提示：由于 VisionLLM v2 架构较为复杂，具体的图像预处理和对话模板构建强烈建议参考仓库中 examples/ 或 demo/ 目录下的官方完整脚本，以获得最佳效果。