LaVIT：赋能大型语言模型理解与生成视觉内容

这是多模态大型语言模型 LaVIT 和 Video-LaVIT 的官方仓库。LaVIT 项目旨在利用大型语言模型在处理视觉内容方面的卓越能力。我们提出的预训练策略通过一个统一的框架支持视觉理解和生成任务。

• 基于动态离散视觉分词的大型语言模型统一语言-视觉预训练，ICLR 2024，[arXiv] [BibTeX]

• Video-LaVIT：基于解耦视觉-运动分词的统一视频-语言预训练，ICML 2024 口头报告，[arXiv] [项目] [BibTeX]

新闻与更新

• 2024.06.01 👏👏👏 Video-LaVIT 已被 ICML 2024 接受为口头报告！

• 2024.04.21 🚀🚀🚀 我们已在 HuggingFace 上发布了 Video-LaVIT 的预训练权重，并提供了推理代码。

• 2024.02.05 🌟🌟🌟 我们提出了 Video-LaVIT：一种高效的多模态预训练方法，使大型语言模型能够在统一框架下理解和生成视频内容。

• 2024.01.15 👏👏👏 LaVIT 已被 ICLR 2024 接受！

• 2023.10.17 🚀🚀🚀 我们在 HuggingFace 上发布了 LaVIT 的预训练权重，并提供了用于多模态理解和生成的推理代码。

简介

LaVIT 和 Video-LaVIT 是通用的多模态基础模型，继承了大型语言模型的成功学习范式：以自回归方式预测下一个视觉/文本标记。LaVIT 系列的核心设计包括一个 视觉分词器 和一个 反分词器。视觉分词器旨在将非语言的视觉内容（如图像、视频）转换为一串离散的标记，就像一种大型语言模型能够理解的外语一样。反分词器则负责将大型语言模型生成的离散标记还原为连续的视觉信号。

经过预训练后，LaVIT 和 Video-LaVIT 可以支持：

• 阅读图像和视频内容、生成描述性文字以及回答问题。
• 文本到图像、文本到视频以及图像到视频的生成。
• 通过多模态提示进行内容生成。

引用

如果您觉得本项目对您的研究有所帮助，请为本仓库点赞，并在您的论文中引用 LaVIT。

@inproceedings{jin2024unified,
  title={Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization},
  author={Jin, Yang and Xu, Kun and Xu, Kun and Chen, Liwei and Liao, Chao and Tan, Jianchao and Mu, Yadong and others},
  booktitle={International Conference on Learning Representations},
  year={2024}
}

@inproceedings{jin2024video,
  title={Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization},
  author={Jin, Yang and Sun, Zhicheng and Xu, Kun and Chen, Liwei and Jiang, Hao and Huang, Quzhe and Song, Chengru and Liu, Yuliang and Zhang, Di and Song, Yang and Gai, Kun and Mu, Yadong},
  booktitle={International Conference on Machine Learning},
  pages={22185--22209},
  year={2024}
}

LaVIT 快速上手指南

LaVIT 和 Video-LaVIT 是通用的多模态基础模型，旨在利用大语言模型（LLM）的能力来理解和生成视觉内容（图像和视频）。该系列模型采用统一的自回归框架，支持视觉理解、图文/文视频生成等多种任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存 16GB 以上以运行推理)
• 前置依赖:
  • PyTorch (与您的 CUDA 版本匹配)
  • Transformers
  • Accelerate
  • Pillow
  • Decord (Video-LaVIT 必需)

提示：国内用户建议使用清华或阿里镜像源加速 Python 包安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/LaVIT-Lab/LaVIT.git
   cd LaVIT
   

2. 安装依赖 创建虚拟环境并安装所需库（推荐使用国内镜像源）：

   python -m venv lavit_env
   source lavit_env/bin/activate
   
   # 使用清华镜像源安装依赖
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 获取预训练权重 项目权重已托管在 Hugging Face。国内用户若访问受限，可使用镜像站或手动下载后放置到指定目录。

   • LaVIT (图像): YangJin/LaVIT
   • Video-LaVIT (视频): YangJin/Video-LaVIT

   手动下载示例（以 LaVIT 为例）：

   # 确保已安装 huggingface-cli
   pip install huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 下载模型权重到本地缓存
   huggingface-cli download YangJin/LaVIT --local-dir ./checkpoints/LaVIT
   

基本使用

以下示例展示如何使用 LaVIT 进行最简单的图像描述生成（Image Captioning）。

1. 图像理解示例 (Python)

创建一个名为 demo_image.py 的文件，填入以下代码：

import torch
from PIL import Image
from transformers import AutoTokenizer, AutoModelForCausalLM

# 配置模型路径 (替换为您本地下载的路径或 HuggingFace ID)
model_path = "./checkpoints/LaVIT" 
# 如果网络通畅，也可直接使用: model_path = "YangJin/LaVIT"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    trust_remote_code=True, 
    device_map="auto", 
    torch_dtype=torch.float16
)
model.eval()

# 准备输入
image_path = "assets/example.jpg"  # 替换为您的图片路径
image = Image.open(image_path).convert("RGB")

# 构建 Prompt (根据具体任务调整，此处为生成描述)
prompt = "<image>\nPlease describe this image in detail."

# 推理
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
# 注意：实际使用时需按照仓库提供的 preprocess 逻辑处理图像 token
# 以下为简化示意，具体图像编码请参考仓库内的 inference.py 脚本
with torch.no_grad():
    # 此处调用需参考官方 inference 脚本中的完整预处理流程
    # 因为 LaVIT 需要先将图像通过 Visual Tokenizer 转为离散 Token
    pass 

print("请参考仓库根目录下的 inference.py 脚本运行完整的图像/视频推理流程。")
print("命令示例: python inference.py --model_path ./checkpoints/LaVIT --image assets/example.jpg --task caption")

注意：由于多模态模型涉及复杂的图像 Tokenizer 预处理，最稳定的使用方式是直接运行官方提供的推理脚本。

2. 命令行推理 (推荐)

直接使用仓库提供的 inference.py 脚本是最快捷的上手方式。

图像描述生成：

python inference.py \
    --model_path ./checkpoints/LaVIT \
    --image assets/example.jpg \
    --task caption \
    --prompt "Please describe this image."

文生图 (Text-to-Image)：

python inference.py \
    --model_path ./checkpoints/LaVIT \
    --task text_to_image \
    --prompt "A cute cat playing with a ball in the garden, high quality, 4k" \
    --output_dir ./generated_images

视频理解 (Video-LaVIT)：

python inference.py \
    --model_path ./checkpoints/Video-LaVIT \
    --video assets/example.mp4 \
    --task video_caption \
    --prompt "Describe the video content."

通过以上步骤，您即可快速体验 LaVIT 系列模型在多模态理解和生成方面的强大能力。更多高级用法（如多轮对话、复杂指令遵循）请参阅仓库中的详细文档。