LLaVA++：借助 LLaMA-3 和 Phi-3 扩展视觉能力

Hanoona Rasheed*, Muhammad Maaz*, Salman Khan 和 Fahad Khan

* 共同贡献

穆罕默德·本·扎耶德人工智能大学（MBZUAI）

---

📢 最新动态

• 2024年4月30日 - LLaMA-3-V 和 Phi-3-V 的演示现已通过 Hugging Face Spaces 提供。请访问 LLaMA-3-V 和 Phi-3-V 查看！🔥🔥🔥
• 2024年4月28日 - Phi-3-V 和 LLaMA-3-V 的在线演示已发布，请访问 在线演示 查看！🔥🔥🔥
• 2024年4月28日 - 添加了 LoRA、全量微调以及 S² 微调模型和相关结果！🔥🔥🔥
• 2024年4月27日 - 发布了用于与 Phi-3-V-3.8B 模型对话的 Google Colab，请访问 Google Colab 查看！🔥🔥🔥
• 2024年4月26日 - Phi-3-V 和 LLaVA-3-V 正式发布：我们非常高兴地推出 LLaVA 与 Phi-3 Mini Instruct 及 LLaMA-3 Instruct 模型的全新集成！Hugging Face 🔥🔥🔥

---

💬 引言

本仓库增强了 LLaVA 1.5 模型的能力，整合了本周发布的最新大型语言模型🔥，包括 Phi-3 Mini Instruct 3.8B 和 LLaMA-3 Instruct 8B。

🏆 结果：Phi-3-V 和 LLaVA-3-V

遵循指令的多模态大模型及学术任务导向数据集上的基准对比：

• 均值计算时未包含 MME 数据集，次优结果已加下划线标注。

🤖 模型库

下表概述了我们模型库中可用的模型。对于每个模型，您都可以找到其 Hugging Face 页面链接。

模型名称	Hugging Face 链接	简介
LLaVA-Phi-3-mini-4k-instruct-pretrain	Hugging Face	在 LCS-558K 上预训练。
LLaVA-Phi-3-mini-4k-instruct-lora	Hugging Face	LoRA 权重在 LLaVA-Instruct-665K 上微调。
LLaVA-Phi-3-mini-4k-instruct	Hugging Face	已将 LoRA 权重合并为 Hugging Face 格式。
LLaVA-Phi-3-mini-4k-instruct-FT	Hugging Face	全量微调后的模型权重以 Hugging Face 格式提供。

模型名称	Hugging Face 链接	简介
LLaVA-Meta-Llama-3-8B-Instruct-pretrain	Hugging Face	在 LCS-558K 上预训练。
LLaVA-Meta-Llama-3-8B-Instruct-lora	Hugging Face	LoRA 权重在 LLaVA-Instruct-665K 上微调。
LLaVA-Meta-Llama-3-8B-Instruct	Hugging Face	已将权重合并为 Hugging Face 格式。
LLaVA-Meta-Llama-3-8B-Instruct-FT	Hugging Face	全量微调后的模型权重以 Hugging Face 格式提供。
LLaVA-Meta-Llama-3-8B-Instruct-FT-S2	Hugging Face	S2 微调后的模型权重以 Hugging Face 格式提供。

安装

git clone https://github.com/mbzuai-oryx/LLaVA-pp.git
cd LLaVA-pp
git submodule update --init --recursive

您需要从 LLAVA 更新的包：

pip install git+https://github.com/huggingface/transformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3

🚀 Phi-3-V

要将 Phi-3-V 与 LLaVA 集成，请按照以下步骤更新代码库：

# 复制必要文件
cp Phi-3-V/train.py LLaVA/llava/train/train.py
cp Phi-3-V/llava_phi3.py LLaVA/llava/model/language_model/llava_phi3.py
cp Phi-3-V/builder.py LLaVA/llava/model/builder.py
cp Phi-3-V/model__init__.py LLaVA/llava/model/__init__.py
cp Phi-3-V/main__init__.py LLaVA/llava/__init__.py
cp Phi-3-V/conversation.py LLaVA/llava/conversation.py

# 训练命令
cp scripts/Phi3-V_pretrain.sh LLaVA/Vi-phi3_pretrain.sh
cp scripts/Phi3-V_finetune_lora.sh LLaVA/Vi-phi3_finetune_lora.sh

训练 Phi-3-V

1. 预训练

cd LLaVA
bash Phi3-V_pretrain.sh

2. 微调

cd LLaVA
bash Phi3-V_finetune_lora.sh

🚀 LLaMA-3-V

要将 LLaMA-3-V 与 LLaVA 集成，请按照以下步骤更新代码库：

# 复制必要文件
cp LLaMA-3-V/train.py LLaVA/llava/train/train.py
cp LLaMA-3-V/conversation.py LLaVA/llava/conversation.py
cp LLaMA-3-V/builder.py LLaVA/llava/model/builder.py
cp LLaMA-3-V/llava_llama.py LLaVA/llava/model/language_model/llava_llama.py

# 训练命令
cp scripts/LLaMA3-V_pretrain.sh LLaVA/LLaMA3-V_pretrain.sh
cp scripts/LLaMA3-V_finetune_lora.sh LLaVA/LLaMA3-V_finetune_lora.sh

训练 LLaMA-3-V

1. 预训练

cd LLaVA
bash LLaMA3-V_pretrain.sh

2. 微调

cd LLaVA
bash LLaMA3-V_finetune_lora.sh

---

🙏 致谢

我们感谢 LLaVA、lmms-eval 和 S²-Wrapper 将其模型和代码以开源形式发布。

如果您遇到任何问题或有任何疑问，请随时创建 issue 或联系 hanoona.bangalath@mbzuai.ac.ae 和 muhammad.maaz@mbzuai.ac.ae。

📜 引用

  @misc{hanoona2024LLaVA++,
          title={LLaVA++: 使用 LLaMA-3 和 Phi-3 扩展视觉能力},
          author={Rasheed, Hanoona 和 Maaz, Muhammad 和 Khan, Salman 和 Khan, Fahad S.},
          url={https://github.com/mbzuai-oryx/LLaVA-pp},
          year={2024}
  }

---

LLaVA++ 快速上手指南

LLaVA++ 是一个增强版的多模态大语言模型项目，它将最新的 LLaMA-3 (8B) 和 Phi-3 Mini (3.8B) 大语言模型与 LLaVA 1.5 的视觉能力相结合，显著提升了视觉指令跟随和学术任务处理能力。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.10 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（训练建议显存 24GB+，推理可根据模型大小调整）
• 依赖管理: 推荐使用 conda 创建独立环境

前置依赖安装：

# 创建并激活 conda 环境
conda create -n llava-pp python=3.10 -y
conda activate llava-pp

# 安装 PyTorch (请根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

提示：国内用户可使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

2.1 克隆代码库

首先克隆 LLaVA++ 仓库并初始化子模块（依赖原始 LLaVA 代码）：

git clone https://github.com/mbzuai-oryx/LLaVA-pp.git
cd LLaVA-pp
git submodule update --init --recursive

2.2 安装核心依赖

该项目需要特定版本的 transformers 库，请严格执行以下命令：

pip install git+https://github.com/huggingface/transformers@a98c41798cf6ed99e1ff17e3792d6e06a2ff2ff3

其他通用依赖通常包含在原始 LLaVA 子模块中，如有缺失可参考原始 LLaVA 的 requirements.txt 进行补充。

3. 基本使用

LLaVA++ 提供了预训练好的模型权重，您可以直接下载并使用，无需从头训练。以下是基于 Phi-3-V 模型的快速体验流程（LLaMA-3-V 流程类似）。

3.1 获取模型权重

从 Hugging Face 下载合并后的完整模型权重（推荐直接使用 LLaVA-Phi-3-mini-4k-instruct）：

• Phi-3-V 模型地址: MBZUAI/LLaVA-Phi-3-mini-4k-instruct
• LLaMA-3-V 模型地址: MBZUAI/LLaVA-Meta-Llama-3-8B-Instruct

(注：国内网络访问 HF 较慢，建议使用镜像站如 hf-mirror.com 或手动下载后上传至服务器)

3.2 代码集成与推理

由于本项目是对 LLaVA 代码库的扩展，使用前需将特定的适配文件复制到主目录。

步骤 A: 集成 Phi-3-V 代码 在项目根目录执行以下命令，将 Phi-3 的适配层注入到 LLaVA 结构中：

# 复制核心逻辑文件
cp Phi-3-V/train.py LLaVA/llava/train/train.py
cp Phi-3-V/llava_phi3.py LLaVA/llava/model/language_model/llava_phi3.py
cp Phi-3-V/builder.py LLaVA/llava/model/builder.py
cp Phi-3-V/model__init__.py LLaVA/llava/model/__init__.py
cp Phi-3-V/main__init__.py LLaVA/llava/__init__.py
cp Phi-3-V/conversation.py LLaVA/llava/conversation.py

步骤 B: 运行推理脚本 集成完成后，您可以使用标准的 LLaVA 推理脚本加载下载好的模型。创建一个简单的 Python 脚本 demo.py：

import torch
from llava.model.builder import load_pretrained_model
from llava.mm_utils import get_model_name_from_path, process_images, tokenizer_image_token
from llava.conversation import conv_templates, SeparatorStyle
from PIL import Image

# 配置路径
model_path = "path/to/LLaVA-Phi-3-mini-4k-instruct" # 替换为您的本地模型路径
image_file = "example.jpg" # 替换为您的图片路径

# 加载模型
tokenizer, model, image_processor, context_len = load_pretrained_model(
    model_path=model_path,
    model_base=None,
    model_name=get_model_name_from_path(model_path),
    device="cuda",
    device_map={"": "cuda"},
    torch_dtype=torch.float16
)

# 准备输入
conv = conv_templates["phi3_chat"].copy() # 注意：根据具体模型选择正确的 template，phi3 或 llama3
qs = "Describe this image in detail."
conv.append_message(conv.roles[0], qs)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()

image = Image.open(image_file).convert('RGB')
image_tensor = process_images([image], image_processor, model.config)[0]
input_ids = tokenizer_image_token(prompt, tokenizer, return_tensors='pt').unsqueeze(0).cuda()

# 生成回答
with torch.inference_mode():
    output_ids = model.generate(
        input_ids,
        images=image_tensor.unsqueeze(0).half().cuda(),
        do_sample=True,
        temperature=0.2,
        top_p=None,
        num_beams=1,
        max_new_tokens=512,
        use_cache=True
    )

outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0]
print(outputs)

注意：对于 LLaMA-3-V 模型，请重复上述“代码集成”步骤，但使用 LLaMA-3-V/ 目录下的文件进行复制，并在推理时选择对应的 conv_templates（通常为 llama_3 相关模板）。

3.3 在线体验

如果您暂时不想配置本地环境，可以直接访问官方提供的演示页面：

• Phi-3-V Demo: Hugging Face Space
• LLaMA-3-V Demo: Hugging Face Space
• Google Colab: Phi-3-V Colab Notebook