Bunny：一个轻量级多模态模型家族

📖 技术报告 | 🤗 数据集 | 🤖 数据集 | 🤗 HFSpace 🐰 演示

Bunny-Llama-3-8B-V: 🤗 v1.1 | 🤗 v1.0 | 🤗 v1.0-GGUF

Bunny-4B: 🤗 v1.1 | 🤗 v1.0 | 🤗 v1.0-GGUF

Bunny 是一个轻量级但功能强大的多模态模型家族。它提供了多种即插即用的视觉编码器，如 EVA-CLIP、SigLIP，以及语言主干网络，包括 Llama-3-8B、Phi-3-mini、Phi-1.5、StableLM-2、Qwen1.5、MiniCPM 和 Phi-2。为了弥补模型规模减小带来的性能损失，我们从更广泛的数据源中精心筛选出更具信息量的训练数据。

我们非常高兴地推出 Bunny-Llama-3-8B-V，这是首个基于 Llama-3 的视觉-语言模型，展现了卓越的性能。其 v1.1 版本可接受高达 1152x1152 分辨率的高分辨率图像。

此外，我们基于 SigLIP 和 Phi-3-mini 构建的 Bunny-4B 模型，在与同类规模模型以及更大规模（7B 和 13B）MLLMs 的对比中，均表现出超越当前最先进水平的性能。同时，v1.1 版本同样支持高达 1152x1152 分辨率的高分辨率图像。

展开查看 Bunny-4B 的性能

新闻与更新

• 2024年7月23日 🔥 最新版 Bunny 的所有训练策略和数据已公开！ 更多关于 Bunny 的详细信息，请参阅 技术报告、数据集 和 训练教程！

• 2024年7月21日 🔥 SpatialBot、SpatialQA 和 SpatialBench 已发布！ SpatialBot 是一个基于 Bunny 的具身化模型，通过理解和利用深度信息来理解空间关系。您可以在 GitHub 上体验该模型、数据集和基准测试！

• 2024年6月20日 🔥 MMR 基准测试已发布！ 这是一个用于评估 MLLMs 理解能力及其对误导性问题鲁棒性的基准测试。请在 GitHub 上查看 Bunny 的表现及更多详情！

• 2024年6月1日 🔥 Bunny-v1.1-Llama-3-8B-V 发布，支持 1152x1152 分辨率！ 该模型基于 SigLIP 和 Llama-3-8B-Instruct，并采用了 S$^2$-Wrapper 技术。更多详情请见 HuggingFace 和 wisemodel! 🐰 演示

• 2024年5月8日 Bunny-v1.1-4B 发布，支持 1152x1152 分辨率！ 该模型基于 SigLIP 和 Phi-3-Mini-4K 3.8B，并采用了 S$^2$-Wrapper 技术。更多详情请见 HuggingFace! 🐰 演示

• 2024年5月1日 Bunny-v1.0-4B 发布，这是一款基于 Phi-3 的视觉-语言模型！ 它基于 SigLIP 和 Phi-3-Mini-4K 3.8B 构建。更多详情请见 HuggingFace! 🤗 GGUF 格式

• 2024年4月21日 Bunny-Llama-3-8B-V 发布，这是首个基于 Llama-3 的视觉-语言模型！ 它基于 SigLIP 和 Llama-3-8B-Instruct 构建。更多详情请见 HuggingFace、ModelScope 和 wisemodel! GGUF 格式已在 HuggingFace 和 wisemodel 上提供。

• 2024年4月18日 Bunny-v1.0-3B-zh 发布，该模型在英语和中文上都表现出色！ 它基于 SigLIP 和 MiniCPM-2B 构建。更多详情请见 HuggingFace、ModelScope 和 wisemodel! 评估结果详见 评估。我们衷心感谢邵振伟先生的鼎力相助。

• 2024年3月15日 Bunny-v1.0-2B-zh 发布，该模型专注于中文！ 它基于 SigLIP 和 Qwen1.5-1.8B 构建。更多详情请见 HuggingFace、ModelScope 和 wisemodel! 评估结果详见 评估。

• 2024年3月6日 Bunny 训练数据已发布！ 关于 Bunny-v1.0 数据的更多信息，请参阅 HuggingFace 或 ModelScope！

• 2024年2月20日 Bunny 技术报告已完成！ 更多关于 Bunny 的详细信息，请参阅 这里！

• 2024年2月7日 Bunny 正式发布！ Bunny-v1.0-3B 基于 SigLIP 和 Phi-2 构建，其性能不仅超越了同类规模的 MLLMs，甚至在与更大规模（7B）MLLMs 的比较中也表现出色，其性能甚至可以与 LLaVA-13B 相媲美！ 🤗 Bunny-v1.0-3B

快速入门

HuggingFace Transformers

以下代码片段展示了如何使用 Bunny-v1.1-Llama-3-8B-V、Bunny-v1.1-4B、Bunny-v1.0-3B 等模型与 HuggingFace Transformers 库进行交互。

此代码片段仅适用于上述模型，因为我们手动将部分配置代码整合到一个文件中，以方便用户使用。例如，您可以查看 Bunny 模型的源码中的 modeling_bunny_llama.py 和 configuration_bunny_llama.py，以及它们的相关部分，以了解其中的差异。对于其他模型（包括您自己训练的模型），我们建议通过安装 Bunny 的源代码来加载这些模型。或者，您可以将类似 modeling_bunny_llama.py 和 configuration_bunny_llama.py 的文件复制到您的模型目录，并修改 config.json 中的 auto_map 字段，但这样做无法保证完全正确，您可能还需要对部分代码进行调整以适配您的模型。

在运行该代码片段之前，您需要安装以下依赖项：

pip install torch transformers accelerate pillow

如果您的 CUDA 显存足够，可以通过设置 CUDA_VISIBLE_DEVICES=0 来加速执行。

对于中国大陆地区的用户，建议使用 HuggingFace 的镜像站点。

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image
import warnings

# 禁用部分警告信息
transformers.logging.set_verbosity_error()
transformers.logging.disable_progress_bar()
warnings.filterwarnings('ignore')

# 设置设备
device = 'cuda'  # 或 cpu
torch.set_default_device(device)

model_name = 'BAAI/Bunny-v1_1-Llama-3-8B-V' # 或 'BAAI/Bunny-Llama-3-8B-V' 或 'BAAI/Bunny-v1_1-4B' 或 'BAAI/Bunny-v1_0-4B' 或 'BAAI/Bunny-v1_0-3B' 或 'BAAI/Bunny-v1_0-3B-zh' 或 'BAAI/Bunny-v1_0-2B-zh'
offset_bos = 1 # 对于 Bunny-v1_1-Llama-3-8B-V、Bunny-Llama-3-8B-V、Bunny-v1_1-4B、Bunny-v1_0-4B 和 Bunny-v1_0-3B-zh 使用
# 对于 Bunny-v1_0-3B 和 Bunny-v1_0-2B-zh，offset_bos = 0

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16, # cpu 上使用 float32
    device_map='auto',
    trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True)

# 文本提示
prompt = '为什么这张图片很有趣？'
text = f"一位好奇的用户与人工智能助手之间的对话。助手会针对用户的问题给出有帮助、详细且礼貌的回答。用户： <image>\n{prompt} 助手："
text_chunks = [tokenizer(chunk).input_ids for chunk in text.split('<image>')]
input_ids = torch.tensor(text_chunks[0] + [-200] + text_chunks[1][offset_bos:], dtype=torch.long).unsqueeze(0).to(device)

# 图片，示例图片可在 https://huggingface.co/BAAI/Bunny-v1_1-Llama-3-8B-V/tree/main/images 找到
image = Image.open('example_2.png')
image_tensor = model.process_images([image], model.config).to(dtype=model.dtype, device=device)

# 生成回答
output_ids = model.generate(
    input_ids,
    images=image_tensor，
    max_new_tokens=100，
    use_cache=True，
    repetition_penalty=1.0 # 可适当提高以避免重复输出
)[0]

print(tokenizer.decode(output_ids[input_ids.shape[1]:], skip_special_tokens=True).strip())

ModelScope

我们建议尤其是中国大陆地区的用户使用 ModelScope。 snapshot_download 工具可以帮助您解决下载检查点时遇到的问题。

pip install torch modelscope transformers accelerate pillow

import torch
import transformers
from modelscope import AutoTokenizer、AutoModelForCausalLM
from modelscope.hub.snapshot_download import snapshot_download
from PIL import Image
import warnings

# 禁用部分警告信息
transformers.logging.set_verbosity_error()
transformers.logging.disable_progress_bar()
warnings.filterwarnings('ignore')

# 设置设备
device = 'cuda'  # 或 cpu
torch.set_default_device(device)

model_name = 'BAAI/Bunny-Llama-3-8B-V' # 或 'BAAI/Bunny-v1.0-3B' 或 'BAAI/Bunny-v1.0-3B-zh' 或 'BAAI/Bunny-v1.0-2B-zh'
offset_bos = 1 # 对于 Bunny-Llama-3-8B-V 和 Bunny-v1.0-3B-zh 使用
# 对于 Bunny-v1.0-3B 和 Bunny-v1.0-2B-zh，offset_bos = 0

# 加载模型
snapshot_download(model_id='thomas/siglip-so400m-patch14-384')
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16, # cpu 上使用 float32
    device_map='auto',
    trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True)

# 文本提示
prompt = '为什么这张图片很有趣？'
text = f"一位好奇的用户与人工智能助手之间的对话。助手会针对用户的问题给出有帮助、详细且礼貌的回答。用户： <image>\n{prompt} 助手："
text_chunks = [tokenizer(chunk).input_ids for chunk in text.split('<image>')]
input_ids = torch.tensor(text_chunks[0] + [-200] + text_chunks[1][offset_bos:], dtype=torch.long).unsqueeze(0).to(device)

# 图片，示例图片可在 https://www.modelscope.cn/models/BAAI/Bunny-Llama-3-8B-V/files 找到
image = Image.open('example_2.png')
image_tensor = model.process_images([image], model.config).to(dtype=model.dtype，device=device)

# 生成回答
output_ids = model.generate(
    input_ids，
    images=image_tensor，
    max_new_tokens=100，
    use_cache=True，
    repetition_penalty=1.0 # 可适当提高以避免重复输出
)[0]

print(tokenizer.decode(output_ids[input_ids.shape[1]:], skip_special_tokens=True).strip())

模型库

评估

性能最佳的小模型为 Bunny-v1.0-3B 或 bunny-phi-2-siglip，其合并权重可在此处找到 链接，LoRA 权重则可在此处找到 链接。

我们还提供了两款专注于中文问答能力的模型，分别是 Bunny-v1.0-3B-zh（bunny-minicpm-siglip）和 Bunny-v1.0-2B-zh（bunny-qwen1.5-1.8b-siglip）。它们的合并权重分别可在以下链接找到：Bunny-v1.0-3B-zh 和 Bunny-v1.0-2B-zh。LoRA 权重则可在以下链接找到：bunny-minicpm-siglip-lora 和 bunny-qwen1.5-1.8b-siglip-lora。

训练教程

安装

您可以从我们的 Docker 镜像开始，也可以在本地自行安装。

从我们的 Docker 镜像开始

直接使用我们配置好的 Docker 镜像启动：docker pull russellrobin/bunny:latest。

本地安装

• CUDA 和 cuDNN

  我们使用 CUDA 11.8 和 cuDNN 8.7.0。我们实际上使用 NVIDIA 提供的 CUDA Docker 镜像：docker pull nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04。CUDA 12 也可以。

• 创建并激活一个 conda 虚拟环境：

  conda create -n bunny python=3.10
  conda activate bunny
  

• 基本依赖

  pip install --upgrade pip  # 启用 PEP 660 支持
  pip install transformers
  pip install torch torchvision xformers --index-url https://download.pytorch.org/whl/cu118
  

• 安装 apex

  # https://github.com/NVIDIA/apex#from-source
  pip install ninja
  git clone https://github.com/NVIDIA/apex
  cd apex
  # 如果 pip >= 23.1（参考：https://pip.pypa.io/en/stable/news/#v23-1），支持多个具有相同键的 `--config-settings`...
  pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" ./
  # 否则
  pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --global-option="--cpp_ext" --global-option="--cuda_ext" ./
  

• 安装 flash-attention

  # https://github.com/Dao-AILab/flash-attention?tab=readme-ov-file#installation-and-features
  pip install packaging
  pip install flash-attn --no-build-isolation
  

• 安装 bunny 及其他依赖

  git clone https://github.com/BAAI-DCAI/Bunny.git
  cd Bunny
  pip install -e .
  

训练

Bunny 的训练分为两个阶段：(1) 预训练阶段：使用数据将一个 冻结的预训练 视觉编码器与一个 冻结的 LLM 连接起来，仅训练连接部分；(2) 视觉指令微调阶段：使用数据教会模型遵循多模态指令，此时连接部分、可学习的 LLM 参数以及视觉编码器（可选）都会被更新。

Bunny 在 8 张 A100 GPU 上进行训练。在其他情况下，您可以相应地减少 per_device_train_batch_size 并增加 gradient_accumulation_steps。始终保持全局批次大小不变：global_batch_size = per_device_train_batch_size $\times$ gradient_accumulation_steps $\times$ num_gpus。

支持的模型

目前，我们支持几种视觉编码器和 LLM。

对于视觉编码器，我们支持 CLIP、EVA-CLIP 和 SigLIP。

对于 LLM，我们支持 phi-1.5、stablelm-2、qwen1.5-1.8b、minicpm、phi-2、phi-3 和 llama3-8b。

请注意，上述模型有许多变体。 我们基于上述确切版本构建并测试代码。 未来还将支持更多模型！

预训练

• 数据准备

  我们使用由 这项工作 构建的高质量 coreset，其中重复较少且信息量更丰富，来自 LAION-2B 数据集。我们从该 coreset 中随机抽取 200 万对图像-文本，并将其转换为训练格式。

  数据集可在 这里 获取。

• 运行

  将 --model_name_or_path 和 --vision_tower 分别更新为 LLM 和视觉编码器的路径。相应地更新 MODEL_TYPE 和 OUTPUT_DIR。全局批次大小为 256。如果添加了 --use_s2 True，则会启用 S$^2$-Wrapper。

  您可以参考我们在 训练教程 中的实验设置。

  sh script/train/pretrain.sh
  

视觉指令微调

• 数据准备

  我们通过修改 SVIT-mix-665K 来构建 Bunny-695K，用于微调。然后我们将它与 LLaVA-665K 和 ALLaVA-Instruct-4V 结合，得到 Bunny-LLaVA-1.4M、Bunny-ALLaVA-1.3M 和 Bunny-LLaVA-ALLaVA-2M。

  数据集可在 这里 获取。如果您只想使用 Bunny-695K 及其相关图像，可以直接从 这里 下载。

• 运行

  将 --model_name_or_path 和 --vision_tower 分别更新为 LLM 和视觉编码器的路径。相应地更新 MODEL_TYPE、PRETRAIN_DIR 和 OUTPUT_DIR。全局批次大小为 128。对于 MODEL_TYPE = minicpm/phi-3/llama3-8b，还需将 --version 更改为 minicpm/phi3/llama。如果添加了 --use_s2 True，则会启用 S$^2$-Wrapper。如果添加了 --unfreeze_vision_tower True，视觉编码器也会被微调。

  我们正在探索更好的策略，包括更多的视觉指令微调数据、S$^2$-Wrapper、可训练的视觉编码器、权重合并等。您可参考我们在 训练教程 中的实验设置。

  # 全参数微调
  sh script/train/finetune_full.sh
  
  # LoRA 微调
  sh script/train/finetune_lora.sh
  

持续微调

如果您希望在您的数据上持续微调我们发布的Bunny模型，或针对特定任务进行适配，

演示

Gradio Web UI

• 启动控制器

  首先启动控制器。该服务负责协调Web服务器和模型工作节点之间的通信。

  python -m bunny.serve.controller \
      --host 0.0.0.0 \
      --port 10000
  

• 启动Gradio Web服务器

  为了通过Web界面与模型交互，需要启动Gradio Web服务器。

  基本启动命令如下：

  python -m bunny.serve.gradio_web_server \
      --controller http://localhost:10000 \
      --model-list-mode reload
  

  如果您想与他人共享您的Web服务器，可以使用--share选项。请注意，frpc_linux_amd64_v0.2可能缺失，您可以按照屏幕上打印的说明修复，并使该文件可执行。

  python -m bunny.serve.gradio_web_server \
      --controller http://localhost:10000 \
      --model-list-mode reload \
      --share
  

  现在，您可以使用屏幕上打印的URL打开Web界面。您可能会注意到模型列表中还没有任何模型。不用担心，因为我们尚未启动任何模型工作节点。当您启动一个模型工作节点时，模型列表会自动更新。

• 启动模型工作节点

  模型工作节点负责处理模型推理。请为每个工作节点配置合适的模型并启动它。请注意检查conv_mode是否正确在此处，这取决于模型的名称（路径）。

  • 对于全参数微调模型

    python -m bunny.serve.model_worker \
      --host 0.0.0.0 \
      --controller http://localhost:10000 \
      --port 40000 \
      --worker http://localhost:40000 \
      --model-path /path/to/bunny/model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm 或 phi-3 或 llama3-8b)
    

  • 对于LoRA微调模型

    您可以使用script/merge_lora_weights.py将LoRA权重与基础LLM合并，然后按上述方法使用。

    python script/merge_lora_weights.py \
      --model-path /path/to/bunny_lora_weights \
      --model-base /path/to/base_llm_model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm 或 phi-3 或 llama3-8b) \
      --save-model-path /path/to/merged_model
    

    或者您也可以不进行合并，直接使用以下命令：

    python -m bunny.serve.model_worker \
      --host 0.0.0.0 \
      --controller http://localhost:10000 \
      --port 40000 \
      --worker http://localhost:40000 \
      --model-path /path/to/bunny_lora_weights \
      --model-base /path/to/base_llm_model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm 或 phi-3 或 llama3-8b)
    

CLI推理（无需Gradio界面）

对于不使用Gradio界面的CLI推理，可以使用以下命令：

• 对于全参数微调模型

  python -m bunny.serve.cli \
      --model-path /path/to/bunny/model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm) \
      --image-file /path/to/the/test/image \
      --conv-mode bunny (对于model-type = minicpm/phi-3/llama3-8b, 改为minicpm/phi3/llama)
  

• 对于LoRA微调模型

  您可以使用script/merge_lora_weights.py将LoRA权重与基础LLM合并，然后按上述方法使用。

  python script/merge_lora_weights.py \
      --model-path /path/to/bunny_lora_weights \
      --model-base /path/to/base_llm_model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm 或 phi-3 或 llama3-8b) \
      --save-model-path /path/to/merged_model
  

  或者您也可以不进行合并，直接使用以下命令：

  python -m bunny.serve.cli \
      --model-path /path/to/bunny_lora_weights \
      --model-base /path/to/base_llm_model \
      --model-type phi-2 (或 stablelm-2 或 phi-1.5 或 qwen1.5-1.8b 或 minicpm 或 phi-3 或 llama3-8b) \
      --image-file /path/to/the/test/image \
      --conv-mode bunny (对于model-type = minicpm/phi-3/llama3-8b, 改为minicpm/phi3/llama)
  

您还可以控制temperature、repetition-penalty和max-new-tokens。

评估

对于全参数微调模型，请参阅evaluation_full.md。

对于LoRA微调模型，请参阅evaluation_lora.md。

引用

如果您觉得本仓库对您有帮助，请引用以下论文：

@article{he2024bunny,
      title={Efficient Multimodal Learning from Data-centric Perspective}, 
      author={He, Muyang and Liu, Yexin and Wu, Boya and Yuan, Jianhao and Wang, Yueze and Huang, Tiejun and Zhao, Bo},
      journal={arXiv preprint arXiv:2402.11530},
      year={2024}
}

许可证

本项目使用了某些数据集和检查点，这些资源受其各自原始许可证的约束。用户必须遵守所有这些原始许可证的条款和条件。 本项目的具体内容则采用Apache许可证2.0授权。

致谢

我们的项目基于LLaVA构建：大型语言和视觉助手。

Bunny 快速上手指南

Bunny 是一个轻量级但功能强大的多模态模型家族，支持多种视觉编码器（如 EVA-CLIP, SigLIP）和语言骨干网络（如 Llama-3, Phi-3, Qwen1.5 等）。最新 v1.1 版本支持高达 1152x1152 的高分辨率图像输入。

环境准备

• 系统要求：Linux 或 macOS，推荐配备 NVIDIA GPU（CUDA 支持）以获得最佳推理速度。
• Python 版本：建议 Python 3.8+。
• 前置依赖：torch, transformers, accelerate, pillow。
• 国内加速：中国大陆用户推荐使用 HuggingFace 镜像站 或 ModelScope (魔搭) 下载模型和依赖。

安装步骤

方案一：使用 HuggingFace Transformers（通用）

安装必要的 Python 库：

pip install torch transformers accelerate pillow

提示：若下载速度慢，可设置环境变量使用镜像： export HF_ENDPOINT=https://hf-mirror.com

方案二：使用 ModelScope（推荐国内用户）

ModelScope 提供了更稳定的国内下载链路和 snapshot_download 工具来解决大模型文件下载问题。

pip install torch modelscope transformers accelerate pillow

基本使用

以下示例展示如何加载 Bunny-v1.1-Llama-3-8B-V 模型并进行图文对话。请确保当前目录下有一张名为 example_2.png 的图片，或修改代码中的图片路径。

代码示例 (基于 HuggingFace/ModelScope 通用逻辑)

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image
import warnings

# 禁用部分警告以保持输出整洁
transformers.logging.set_verbosity_error()
transformers.logging.disable_progress_bar()
warnings.filterwarnings('ignore')

# 设置设备 (cuda 或 cpu)
device = 'cuda'
torch.set_default_device(device)

# 选择模型名称
# 可选模型: 
# 'BAAI/Bunny-v1_1-Llama-3-8B-V', 'BAAI/Bunny-v1_1-4B', 
# 'BAAI/Bunny-v1_0-4B', 'BAAI/Bunny-v1_0-3B-zh', 'BAAI/Bunny-v1_0-2B-zh'
model_name = 'BAAI/Bunny-v1_1-Llama-3-8B-V'

# 注意：不同版本的 offset_bos 设置不同
# v1.1-Llama-3-8B-V, v1.1-4B, v1.0-4B, v1.0-3B-zh 设置为 1
# v1.0-3B, v1.0-2B-zh 设置为 0
offset_bos = 1 

# 加载模型和分词器
# 国内用户若使用 ModelScope，可将 AutoModelForCausalLM 和 AutoTokenizer 替换为 modelscope 对应的导入
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16, # CPU 运行时请改为 float32
    device_map='auto',
    trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True)

# 构建提示词
prompt = 'Why is the image funny?'
text = f"A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: <image>\n{prompt} ASSISTANT:"

# 处理文本输入
text_chunks = [tokenizer(chunk).input_ids for chunk in text.split('<image>')]
input_ids = torch.tensor(text_chunks[0] + [-200] + text_chunks[1][offset_bos:], dtype=torch.long).unsqueeze(0).to(device)

# 加载并处理图像
# 示例图片可从模型主页下载: https://huggingface.co/BAAI/Bunny-v1_1-Llama-3-8B-V/tree/main/images
image = Image.open('example_2.png')
image_tensor = model.process_images([image], model.config).to(dtype=model.dtype, device=device)

# 生成回答
output_ids = model.generate(
    input_ids,
    images=image_tensor,
    max_new_tokens=100,
    use_cache=True,
    repetition_penalty=1.0 # 增大此值可减少重复啰嗦
)[0]

# 输出结果
print(tokenizer.decode(output_ids[input_ids.shape[1]:], skip_special_tokens=True).strip())

针对国内用户的 ModelScope 特别说明

如果您选择使用 ModelScope 加载模型，建议在代码开头添加以下下载逻辑以确保模型文件完整：

from modelscope.hub.snapshot_download import snapshot_download
# 预下载依赖的视觉编码器（如需）和主模型
# snapshot_download(model_id='thomas/siglip-so400m-patch14-384') 
# snapshot_download(model_id='BAAI/Bunny-v1_1-Llama-3-8B-V')

然后使用 modelscope 包中的 AutoTokenizer 和 AutoModelForCausalLM 替换上述代码中的 transformers 对应类即可，其余推理逻辑保持一致。