LLaVA-Mini：仅用一个视觉令牌的高效图像与视频大型多模态模型

张绍磊、方庆凯、杨哲、冯洋*

LLaVA-Mini 是一款统一的大型多模态模型，能够以高效的方式支持对图像、高分辨率图像和视频的理解。在多模态大模型（LMM）可解释性的指导下，LLaVA-Mini 在确保视觉能力的同时显著提升了效率。LLaVA-Mini 的 模型 和 演示 现已开放！

[!Note] LLaVA-Mini 每张图像仅需 1 个令牌 来表示，从而提高了图像和视频理解的效率，具体体现在：

• 计算量：减少 77% 的 FLOPs
• 响应延迟：从 100 毫秒缩短至 40 毫秒
• 显存占用：从每张图像 360 MB 降至 0.6 MB，支持处理长达 3 小时的视频

💡亮点：

1. 性能优异：LLaVA-Mini 在仅使用 1 个视觉令牌（压缩率为 0.17%）的情况下，性能与 LLaVA-v1.5 相当。
2. 高效性：LLaVA-Mini 可将 FLOPs 减少 77%，实现 40 毫秒以内的低延迟响应，并在配备 24GB 显存的 GPU 硬件上处理超过 10,000 帧的视频。
3. 洞察：为了开发出在减少视觉令牌的同时仍能保持视觉理解能力的 LLaVA-Mini，我们进行了初步分析，探讨了多模态大模型（LMM）如何处理视觉令牌。详细分析及结论请参阅我们的 论文。

🖥 演示

• 从 这里 下载 LLaVA-Mini 模型。

• 运行以下脚本，在浏览器中与 LLaVA-Mini 互动：

  # 启动控制器
  python -m llavamini.serve.controller --host 0.0.0.0 --port 10000 &
  
  # 构建 LLaVA-Mini 的 API，若显存不足 20GB，请尝试使用 --load-8bit
  CUDA_VISIBLE_DEVICES=0  python -m llavamini.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ICTNLP/llava-mini-llama-3.1-8b --model-name llava-mini &
  
  # 启动交互界面
  python -m llavamini.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload  --port 7860
  

🔥 快速入门

需求

• 安装依赖包：

  conda create -n llavamini python=3.10 -y
  conda activate llavamini
  pip install -e .
  pip install -e ".[train]"
  pip install flash-attn --no-build-isolation
  

命令交互

• 图像理解，使用 --image-file。

• 若显存不足 20GB，请尝试使用 --load-8bit。

  # 图像理解
  CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
      --model-path  ICTNLP/llava-mini-llama-3.1-8b \
      --image-file llavamini/serve/examples/baby_cake.png \
      --conv-mode llava_llama_3_1 --model-name "llava-mini" \
      --query "蛋糕上的文字是什么？"
  

• 视频理解，使用 --video-file：

  # 视频理解
  CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
      --model-path  ICTNLP/llava-mini-llama-3.1-8b \
      --video-file llavamini/serve/examples/fifa.mp4 \
      --conv-mode llava_llama_3_1 --model-name "llava-mini" \
      --query "这段视频里发生了什么？"
  

复现与评估

• 关于 LLaVA-Mini 在图像/视频基准测试上的评估，请参阅 Evaluation.md。

案例

• LLaVA-Mini 能够实现高质量的图像理解和视频理解。

更多案例

• LLaVA-Mini 会动态压缩图像，以捕捉重要的视觉信息（压缩过程中亮度较高的区域权重更大）。

🤝 致谢

• LLaVA：LLaVA-Mini 基于 LLaVA 代码库构建，LLaVA 是一款大型语言与视觉助手。
• Video-ChatGPT：LLaVA-Mini 的训练使用了 Video-ChatGPT 提供的视频指令数据。
• LLaVA-OneVision：LLaVA-Mini 的训练还使用了 LLaVA-OneVision 提供的图像指令数据。

🖋 引用

若本仓库对您有所帮助，请按以下方式引用：

@misc{llavamini,
      title={LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token}, 
      author={Shaolei Zhang and Qingkai Fang and Zhe Yang and Yang Feng},
      year={2025},
      eprint={2501.03895},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.03895}, 
}

如有任何问题，请随时提交 issue 或联系 zhangshaolei20z@ict.ac.cn。

LLaVA-Mini 快速上手指南

LLaVA-Mini 是一个高效的多模态大模型，仅需 1 个视觉 Token 即可表示整张图像或视频帧。相比传统方法，它在保持同等理解能力的前提下，降低了 77% 的计算量，将响应延迟从 100ms 降至 40ms，并将显存占用从每张图 360MB 大幅降低至 0.6MB，支持长视频处理。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• GPU 要求: 支持 CUDA 的 NVIDIA 显卡
  • 基础推理：建议显存 ≥ 8GB
  • 完整功能/视频处理：建议显存 ≥ 24GB
  • 若显存 < 20GB，可使用 --load-8bit 参数进行量化加载
• 依赖库: flash-attn, torch, transformers 等

安装步骤

1. 创建并激活 Conda 环境

   conda create -n llavamini python=3.10 -y
   conda activate llavamini
   

2. 安装项目依赖

   pip install -e .
   pip install -e ".[train]"
   

3. 安装 Flash Attention

   注意：需确保已安装对应的 CUDA 版本和 PyTorch 版本

   pip install flash-attn --no-build-isolation
   

   (国内用户如遇下载慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华源)

基本使用

1. 命令行交互（图像理解）

以下示例演示如何对单张图片进行问答。若显存较小，请添加 --load-8bit 参数。

CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
    --model-path ICTNLP/llava-mini-llama-3.1-8b \
    --image-file llavamini/serve/examples/baby_cake.png \
    --conv-mode llava_llama_3_1 --model-name "llava-mini" \
    --query "What's the text on the cake?"

2. 命令行交互（视频理解）

LLaVA-Mini 支持直接输入视频文件进行分析。

CUDA_VISIBLE_DEVICES=0 python llavamini/eval/run_llava_mini.py \
    --model-path ICTNLP/llava-mini-llama-3.1-8b \
    --video-file llavamini/serve/examples/fifa.mp4 \
    --conv-mode llava_llama_3_1 --model-name "llava-mini" \
    --query "What happened in this video?"

3. 启动 Web 演示界面

如需在浏览器中进行交互式对话，可启动本地 Gradio 服务：

# 1. 启动控制器
python -m llavamini.serve.controller --host 0.0.0.0 --port 10000 &

# 2. 启动模型工作节点 (显存不足时添加 --load-8bit)
CUDA_VISIBLE_DEVICES=0 python -m llavamini.serve.model_worker \
    --host 0.0.0.0 --controller http://localhost:10000 \
    --port 40000 --worker http://localhost:40000 \
    --model-path ICTNLP/llava-mini-llama-3.1-8b \
    --model-name llava-mini &

# 3. 启动网页界面
python -m llavamini.serve.gradio_web_server \
    --controller http://localhost:10000 \
    --model-list-mode reload --port 7860

启动完成后，在浏览器访问 http://localhost:7860 即可使用。