🌋 LLaVA-Plus: 大型语言与视觉助手，即插即用，学会使用技能

学习如何使用工具来创建多模态智能体。

[项目页面] [Arxiv] [演示] [数据集] [模型库]

注：代码的部分内容正在准备和更新中，请持续关注。

发布

• [11月11日] 🔥 我们发布了 LLaVA-Plus：大型语言与视觉助手，即插即用，学会使用技能。让多模态大模型能够用于通用视觉任务！请查看 论文 和 演示。

使用与许可声明：该数据集和检查点仅用于研究目的，并受相关许可协议的约束，包括 LLaVA、LLaMA、Vicuna 和 GPT-4 的许可协议。数据集采用 CC BY NC 4.0 许可（仅允许非商业性使用），使用该数据集训练的模型也不得用于研究以外的用途。

目录

• 安装
• LLaVA-Plus 权重
• 演示
• 模型库
• 数据集
• 训练
• 评估

安装

如果您不使用 Linux，请勿继续操作。请参阅 LLaVA 提供的 macOS 和 Windows 指南。

1. 克隆本仓库并进入 LLaVA-Plus 文件夹

git clone https://github.com/LLaVA-VL/LLaVA-Plus-Codebase LLaVA-Plus
cd LLaVA-Plus

2. 安装软件包

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip  # 启用 PEP 660 支持
pip install -e .

3. 安装额外的训练相关包

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

LLaVA-Plus 权重

我们仍在准备这一部分，请持续关注！

请查看我们的 模型库，了解所有公开的 LLaVA-Plus 检查点以及如何使用这些权重的说明。

演示

• 演示：https://llavaplus.ngrok.io/

演示架构

运行我们的演示需要四个步骤。

1. 启动控制器：用于控制各个工作节点。
2. 启动模型工作节点：核心的 LLaVA-Plus 模型。
3. 启动工具工作节点：您希望调用的各种工具。
4. 启动 Gradio Web 服务器：为用户提供界面的前端页面。

1. 启动控制器

python -m llava.serve.controller --host 0.0.0.0 --port 20001

2. 启动模型工作节点

这是实际在 GPU 上执行推理的工作节点。每个工作节点负责 --model-path 中指定的单个模型。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:20001 --port 40000 --worker http://localhost:40000 --model-path <Hugging Face 或本地路径>

等待进程完成模型加载，直到看到“Uvicorn running on ...”字样。此时刷新您的 Gradio 界面，您将看到刚刚启动的模型出现在模型列表中。

如果您使用的是搭载 M1 或 M2 芯片的 Apple 设备，可以通过 --device 标志指定 mps 设备：--device mps。

CUDA_VISIBLE_DEVICES=0,1 python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:20001 --port 40000 --worker http://localhost:40000 --model-path <Hugging Face 或本地路径>

3. 启动工具工作节点

您需要打开不同的工具工作节点，如上图所示，这意味着您需要准备来自其他项目的代码。

我们提供了针对不同项目的详细 指南。

4. 启动 Gradio Web 服务器。

python -m llava.serve.gradio_web_server_llava_plus --controller http://localhost:20001 --model-list-mode reload

您已经成功启动了 Gradio Web 界面。现在，您可以使用屏幕上打印的 URL 打开该界面。

训练

LLaVA 的训练分为两个阶段：(1) 特征对齐阶段，以及 (2) 视觉指令微调阶段。

我们的 LLaVA-Plus 是基于 LLaVA 第一阶段预训练的投影器进行训练的。

第一阶段：预训练（特征对齐）

可以直接下载 预训练的投影器，就像我们所做的那样。

或者您也可以按照 LLaVA 中的 指南 来训练投影器。

第二阶段：工具增强型视觉指令微调

1. 准备数据

请下载训练数据，并从构成数据集的图像中下载：

• COCO: train2017
• VisualGenome: part1, part2
• infoseek
• hiertext

2. 开始训练！

使用 DeepSpeed ZeRO-2 的训练脚本：training_llava_plus_v0_7b.sh 或 training_llava_plus_v1.3_7b.sh

评估

请参阅 LLaVA 的指令 以了解模型评估方法。

引用

如果您发现 LLaVA 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用：

@article{liu2023llavaplus,
  title={LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents},
  author={Liu, Shilong and Cheng, Hao and Liu, Haotian and Zhang, Hao and Li, Feng and Ren, Tianhe and Zou, Xueyan and Yang, Jianwei and Su, Hang and Zhu, Jun and Zhang, Lei and Gao, Jianfeng and Li, Chunyuan},
  journal={arXiv:2311.05437},
  year={2023}
}

@misc{liu2023llava,
      title={Visual Instruction Tuning}, 
      author={Liu, Haotian and Li, Chunyuan and Wu, Qingyang and Lee, Yong Jae},
      publisher={arXiv:2304.08485},
      year={2023}
}

致谢

• LLaVA, Vicuna: 感谢他们出色的代码库。

相关项目

• LLaVA

包含的工具

• Grounding DINO
• Grounded-Segment-Anything
• Recognize Anythging
• Segment-Anything。
• SEEM: Segment Everything Everywhere All at Once
• Semantic-SAM
• Segment-Anything

如需未来项目创意，请查看：

• Instruction Tuning with GPT-4
• LLaVA-Med: 在一天内训练用于生物医学的大规模语言-视觉助手
• Otter: 基于上下文的多模态指令微调

LLaVA-Plus 快速上手指南

LLaVA-Plus 是一个能够学习并使用工具的多模态智能体框架，旨在让大型语言视觉模型（LMM）能够调用外部工具来完成通用的视觉任务。

1. 环境准备

系统要求：

• 操作系统：推荐 Linux。macOS 和 Windows 用户请参考 LLaVA 官方文档的特殊配置说明。
• GPU：建议显存 ≥ 24GB（如 RTX 3090/4090 或 A100）。若显存较小，需使用多卡并行或 LoRA 微调。
• Python：3.10

前置依赖：

• Conda 包管理器
• CUDA 环境（用于支持 flash-attn）

2. 安装步骤

2.1 克隆代码库

git clone https://github.com/LLaVA-VL/LLaVA-Plus-Codebase LLaVA-Plus
cd LLaVA-Plus

2.2 创建虚拟环境并安装基础包

conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip  # 启用 PEP 660 支持
pip install -e .

2.3 安装训练与推理额外依赖

若需进行训练或使用完整功能，请执行：

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

提示：国内用户若下载 flash-attn 较慢，可尝试指定清华源或寻找预编译 wheel 包。

3. 基本使用（启动 Demo）

LLaVA-Plus 采用分布式架构，运行 Demo 需依次启动四个组件：控制器、模型_worker、工具_workers 和 Web 服务器。

第一步：启动控制器 (Controller)

用于协调不同组件的工作。

python -m llava.serve.controller --host 0.0.0.0 --port 20001

第二步：启动模型 Worker (Model Worker)

加载核心 LLaVA-Plus 模型进行推理。请将 <huggingface or local path> 替换为实际的模型路径。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:20001 --port 40000 --worker http://localhost:40000 --model-path <huggingface or local path>

注：等待终端显示 "Uvicorn running on ..." 表示模型加载完成。

第三步：启动工具 Workers (Tool Workers)

LLaVA-Plus 需要调用外部工具（如 Grounding DINO, Segment Anything 等）。你需要根据项目提供的 工具指南 启动相应的工具服务。

注意：此步骤需预先准备好相关工具项目的代码和环境。

第四步：启动 Web 界面 (Gradio Server)

启动前端交互页面。

python -m llava.serve.gradio_web_server_llava_plus --controller http://localhost:20001 --model-list-mode reload

启动成功后，终端会输出一个本地 URL（通常是 http://localhost:xxxx），在浏览器中打开即可开始体验。

特别说明：

• 目前部分模型权重和代码段仍在整理更新中，请关注官方 Model Zoo 获取最新 checkpoints。
• 数据及模型仅限科研用途，遵循 CC BY NC 4.0 协议及相关基座模型（LLaMA, Vicuna 等）的许可协议。