MiniGPT-5：基于生成式 voken 的视觉-语言交织生成

Kaizhi Zheng* , Xuehai He* , Xin Eric Wang

加州大学圣克鲁斯分校

大型语言模型（LLMs）在自然语言处理领域取得了显著进展，展现出无与伦比的文本理解和生成能力。然而，同时生成与文本叙述一致的图像仍是一个不断发展的前沿课题。为此，我们提出了一种创新的视觉-语言交织生成技术，其核心是“生成式 voken”概念，作为实现图像与文本和谐输出的桥梁。我们的方法采用独特的两阶段训练策略，专注于无描述的多模态生成，训练过程中无需对图像进行详尽的文字描述。为增强模型的稳定性，我们引入了无分类器指导机制，从而提升了 voken 在图像生成中的效果。我们的模型 MiniGPT-5 在 MMDialog 数据集上相较于基线模型 Divter 取得了显著提升，并且在 VIST 数据集的人工评估中始终能够产生优于或与现有方法相当的多模态输出，充分展示了其在不同基准测试中的有效性。

模型架构

快速入门

安装

1. 克隆仓库并创建环境

首先克隆我们的仓库，并创建一个新的 Python 环境。

git clone https://github.com/eric-ai-lab/MiniGPT-5.git
cd MiniGPT-5
conda create -n minigpt5 python=3.10
conda activate minigpt5
pip install -r requirements.txt

2. 准备预训练权重

我们的模型基于预训练的 MiniGPT-4（包括 Vicuna 和 BLIP-2）。请下载 Vicuna V0 7B 的权重，并将 Vicuna 权重的路径设置到 模型配置文件 的第 16 行。

由于预训练的 MiniGPT-4 对齐检查点体积较小，我们已将其下载至 config 文件夹中，模型路径已在 配置文件 的第 10 行设定。

3. 下载 MiniGPT-5 检查点

由于我们的模型采用两阶段训练方式——第一阶段：单模态对齐阶段；第二阶段：多模态学习阶段——我们在此提供了两个阶段的检查点：

第一阶段：CC3M	第二阶段：VIST	第二阶段：MMDialog
下载	下载	下载

请注意，第二阶段需要使用第一阶段的预训练权重，因此务必先下载第一阶段的权重。

请将这些权重下载到同一个文件夹中，后续我们将该文件夹称为 WEIGHT_FOLDER。

示例

我们提供了一个 Python 脚本，用于体验我们的模型。该脚本将根据 示例文件夹 中的双轮多模态输入生成多模态输出。

cd examples
export IS_STAGE2=True
python3 playground.py --stage1_weight WEIGHT_FOLDER/stage1_cc3m.ckpt 
                        --test_weight WEIGHT_FOLDER/stage2_vist.ckpt

评估

我们的模型在三个数据集上进行了评估：CC3M、VIST 和 MMDialog。受限于许可协议，我们仅在 datasets 文件夹中分享部分数据集示例。如需全面测试模型性能，请下载完整数据集，并按照相同的结构整理到 datasets 文件夹中。

1. 第一阶段：单模态对齐阶段（CC3M）评估

此阶段的目标是根据图像描述生成正确的图像。

生成（若有多块 GPU，可指定使用 0,1,2... 号 GPU）：

export IS_STAGE2=False
export WEIGHTFOLDER=WEIGHT_FOLDER
export DATAFOLDER=datasets/CC3M
export OUTPUT_FOLDER=outputs
python3 train_eval.py --test_data_path cc3m_val.tsv 
                        --test_weight stage1_cc3m.ckpt
                        --gpus 0

计算指标：

export CC3M_FOLDER=datasets/CC3M
python3 metric.py --test_weight stage1_cc3m.ckpt

2. 第二阶段：多模态学习阶段（VIST）评估

模型将接收先前的多模态故事序列，并生成单模态或多模态输出。默认代码针对多模态输入及图像生成。如需测试其他设置，请移除 dataloader.py#280 中的 not test 条件。

生成：

export IS_STAGE2=True
export WEIGHTFOLDER=WEIGHT_FOLDER
export DATAFOLDER=datasets/VIST
export OUTPUT_FOLDER=outputs
python3 train_eval.py --test_data_path val_cleaned.json 
                        --test_weight stage2_vist.ckpt
                        --stage1_weight stage1_cc3m.ckpt
                        --gpus 0

计算指标：

python3 metric.py --test_weight stage2_vist.ckpt

3. 第二阶段：多模态学习阶段（MMDialog）评估

模型将接收前一轮的多模态输入，并生成用于多模态对话的多模态响应。

生成：

export IS_STAGE2=True
export WEIGHTFOLDER=WEIGHT_FOLDER
export DATAFOLDER=datasets/MMDialog
export OUTPUT_FOLDER=outputs
python3 train_eval.py --test_data_path test/test_conversations.txt 
                        --test_weight stage2_mmdialog.ckpt
                        --stage1_weight stage1_cc3m.ckpt
                        --gpus 0

计算指标：

python3 metric.py --test_weight stage2_mmdialog.ckpt

训练

1. 第一阶段训练

下载 CC3M 数据集，并将其格式化为与 dataset 文件夹中相同的数据结构。

然后，我们以测试数据为例：

export IS_STAGE2=False
export WEIGHTFOLDER=WEIGHT_FOLDER
export DATAFOLDER=datasets/CC3M
python3 train_eval.py --is_training True
                        --train_data_path cc3m_val.tsv
                        --val_data_path cc3m_val.tsv
                        --model_save_name stage1_cc3m_{epoch}-{step}
                        --gpus 0

2. 第二阶段训练

下载 VIST 或 MMDialog 数据集，并将其格式化为与 dataset 文件夹中相同的数据结构。

这里我们以 VIST 测试数据为例：

export IS_STAGE2=True
export WEIGHTFOLDER=WEIGHT_FOLDER
export DATAFOLDER=datasets/VIST
python3 train_eval.py --is_training True
                        --train_data_path val_cleaned.json
                        --val_data_path val_cleaned.json
                        --stage1_weight stage1_cc3m.ckpt
                        --model_save_name stage2_vist_{epoch}-{step}
                        --gpus 0

如果您在研究或应用中使用了 MiniGPT-5，请按以下方式引用：

@misc{zheng2023minigpt5,
      title={MiniGPT-5：基于生成型 Voken 的视觉与语言交替生成}, 
      author={郑凯志、何学海、王新埃里克},
      year={2023},
      journal={arXiv 预印本 arXiv:2310.02239}
}

MiniGPT-5 快速上手指南

MiniGPT-5 是一个创新的交错式视觉 - 语言生成模型，通过“生成性词元（generative vokens）”实现图文协同输出。它采用两阶段训练策略，无需详细的图像描述即可进行多模态生成。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• 硬件要求: NVIDIA GPU (支持 CUDA)，建议显存 16GB 以上以运行 7B 模型
• 前置依赖:
  • Conda (用于环境管理)
  • Git
  • Hugging Face 账号 (用于下载 Vicuna 和 MiniGPT-5 权重)

提示: 国内用户下载 Hugging Face 资源较慢，建议配置镜像加速。

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆仓库并创建环境

git clone https://github.com/eric-ai-lab/MiniGPT-5.git
cd MiniGPT-5
conda create -n minigpt5 python=3.10
conda activate minigpt5
pip install -r requirements.txt

2. 准备预训练权重

MiniGPT-5 基于 MiniGPT-4 构建，需要下载以下权重：

1. Vicuna 7B 权重:

   • 下载地址：Vicuna V0 7B
   • 配置修改：下载后，打开 minigpt4/configs/models/minigpt4.yaml，在第 16 行设置 Vicuna 权重的路径。

2. MiniGPT-4 对齐检查点:

   • 该文件较小，通常已包含在代码库的 config 文件夹中。
   • 确认 config/minigpt4.yaml 第 10 行的路径设置正确。

3. MiniGPT-5 检查点 (两阶段):

   • 模型分为两个阶段，必须先下载 Stage 1 权重，因为 Stage 2 依赖 Stage 1。
   • 下载地址：HuggingFace - KZ-ucsc/MiniGPT5
   • 需下载的文件：
     • stage1_cc3m.ckpt (Stage 1: 单模态对齐)
     • stage2_vist.ckpt 或 stage2_mmdialog.ckpt (Stage 2: 多模态学习)
   • 将所有权重文件放入同一个文件夹，下文记为 WEIGHT_FOLDER。

基本使用

以下示例展示如何运行一个简单的多模态对话演示（Playground），输入两轮多模态内容并生成图文回复。

假设你的权重文件位于 /path/to/weights 文件夹：

cd examples
export IS_STAGE2=True
python3 playground.py --stage1_weight /path/to/weights/stage1_cc3m.ckpt \
                      --test_weight /path/to/weights/stage2_vist.ckpt

运行成功后，生成的多模态输出将保存在 examples/ 目录下。

---

注：如需进行完整的模型评估或重新训练，请参考原始 README 中的 Evaluation 和 Training 章节，并按要求准备 CC3M、VIST 或 MMDialog 数据集。