---

项目致谢：credits.md | 论文：Otter 论文 | OtterHD 论文 | MIMIC-IT 论文

检查点：

• luodian/OTTER-Image-MPT7B
• luodian/OTTER-Video-LLaMA7B-DenseCaption

适用于中国大陆用户： |

免责声明：代码可能尚未经过完美优化和重构，但所有开源代码均已测试并通过运行验证，因为我们也在使用这些代码来支持我们的研究。如果您有任何问题，请随时提交 issue。我们热切期待您的建议和 Pull Request，以进一步提升代码质量。

🦾 更新

[2023-11]: 支持 GPT4V 在 8 个基准上的评估；宣布推出基于 Fuyu-8B 改进的 OtterHD-8B。详情请参阅 OtterHD。

1. 🦦 新增了 OtterHD，它是基于 Fuyu-8B 进行多模态微调的模型，旨在无需显式视觉编码器模块的情况下，对高分辨率视觉输入进行细粒度解读。所有图像块都经过线性变换，并与文本标记一起处理。这是一项非常创新且优雅的探索。我们对此深感着迷，并以此为基础开源了 Fuyu-8B 的微调脚本，同时借助 Flash-Attention-2 将训练吞吐量提升了 4–5 倍。欢迎在 OtterHD 中尝试我们的微调脚本。
2. 🔍 新增了 MagnifierBench，这是一个专门用于评估模型能否识别极小物体信息（占图像大小的 1%）及其空间关系的评测基准。
3. 针对当前领先的 LMM 模型，优化了 预训练 | SFT | RLHF 的流程。
   1. 模型: Otter | OpenFlamingo | Idefics | Fuyu
   2. 训练数据集接口: (预训练) MMC4 | LAION2B | CC3M | CC12M, (SFT) MIMIC-IT | M3IT | LLAVAR | LRV | SVIT...
      • 我们使用 OpenFlamingo 和 Otter 测试了上述数据集的预训练和指令微调，并用 Idefics 和 Fuyu 测试了指令微调数据集。我们将逐步开源这些训练脚本。
   3. 基准测试接口: MagnifierBench/MMBench/MM-VET/MathVista/POPE/MME/SicenceQA/SeedBench。只需一键即可运行，详细信息请参阅 Benchmark。

       datasets:
       - name: magnifierbench
           split: test
           prompt: Answer with the option's letter from the given choices directly.
           api_key: [Your API Key] # GPT4 or GPT3.5 to evaluate the answers and ground truth.
           debug: true # put debug=true will save the model response in log file.
       - name: mme
           split: test
           debug: true
       - name: mmbench
           split: test
           debug: true
   
       models:
       - name: gpt4v
           api_key: [Your API Key] # to call GPT4V model.
   

   4. 代码重构，以 通过集成的 YAML 文件组织多组数据集，详情请参阅 管理 MIMIC-IT 格式的数据集。例如：

       IMAGE_TEXT: # 组名应为 [IMAGE_TEXT, TEXT_ONLY, IMAGE_TEXT_IN_CONTEXT]
           LADD: # 数据集名称可任意命名
               mimicit_path: azure_storage/json/LA/LADD_instructions.json # 指令 JSON 文件路径
               images_path: azure_storage/Parquets/LA.parquet # 图像 Parquet 文件路径
               num_samples: -1 # 要使用的样本数量，-1 表示使用全部样本，若未设置则默认为 -1。
           M3IT_CAPTIONING:
               mimicit_path: azure_storage/json/M3IT/captioning/coco/coco_instructions.json
               images_path: azure_storage/Parquets/coco.parquet
               num_samples: 20000
   

   这是一项重大变更，可能导致旧代码无法运行，请仔细查看相关说明。

[2023-08]

1. 新增支持使用 Azure、Anthropic、Palm、Cohere 等模型通过 Syphus 流程进行自指导训练。如需了解使用方法，请修改 此行，替换为您选择的模型，并在环境变量中设置您的 API 密钥。更多信息请参阅 LiteLLM。

[2023-07]: 宣布推出 MIMIC-IT 数据集，用于多模态上下文指令微调。

1. 🤗 请在 Huggingface 数据集上查看 MIMIC-IT。
2. 🥚 更新了 Eggs 部分，以便下载 MIMIC-IT 数据集。
3. 🥃 如果您希望针对特定场景开发 Otter（例如卫星图像或趣味视频），请联系我们。我们致力于支持和协助 Otter 的多样化应用场景。OpenFlamingo 和 Otter 是基于 Flamingo 卓越架构的强大模型，该架构能够接受多张图片、视频或其他模态输入。让我们携手打造更多有趣的模型。

[2023-06]

1. 🧨 下载 MIMIC-IT 数据集。有关数据集导航的更多详情，请参阅 MIMIC-IT 数据集 README。
2. 🏎️ 本地运行 Otter。您可以在至少配备 16G 显存的 GPU 上本地运行我们的模型，用于图像/视频标注、字幕生成以及有害内容识别等任务。我们修复了一个与视频推理相关的错误，即 frame tensors 被错误地解压缩成了不正确的 vision_x。

   请确保正确调整 sys.path.append("../..") 以访问 otter.modeling_otter，从而启动模型。

3. 🤗 请查阅我们的 论文，其中详细介绍了 MIMIC-IT。认识一下 MIMIC-IT——首个包含 280 万条指令的多模态上下文指令微调数据集！从通用场景理解到捕捉细微差异，再到增强 AR 头戴设备的自我中心视角理解，我们的 MIMIC-IT 数据集应有尽有。

🦦 为什么采用上下文指令微调？

大型语言模型（LLMs）凭借其在海量文本数据上的预训练，在众多任务中展现出卓越的零/少样本学习能力。在这些 LLMs 中，GPT-3 以其强大的能力脱颖而出。此外，GPT-3 的变体 InstructGPT 和 ChatGPT 通过指令微调，能够有效理解自然语言指令并完成复杂的现实世界任务。

受 Flamingo 模型上游交错格式预训练的启发，我们推出了 🦦 Otter，这是一款基于 OpenFlamingo（DeepMind Flamingo 的开源版本）的多模态模型。我们采用上下文指令微调的方式，在我们提出的 MI-Modal In-Context Instruction Tuning (MIMIC-IT) 数据集上训练 Otter。Otter 在图像和视频方面均表现出更强的指令遵循和上下文学习能力。

🗄 MIMIC-IT 数据集详情

MIMIC-IT 能够支持以第一视角为核心的视觉助手模型，该模型可以回答诸如“嘿，你觉得我把钥匙落在桌子上了吗？”之类的问题。借助 MIMIC-IT，您可以充分发挥 AI 驱动的视觉助手潜力，将交互式视觉-语言任务提升至全新高度。

我们还推出了 Syphus，这是一个用于生成多语言高质量指令-响应对的自动化流水线。基于 LLaVA 提出的框架，我们利用 ChatGPT 根据视觉内容生成指令-响应对。为确保生成的指令-响应对的质量，我们的流水线在提示中加入了系统消息、视觉标注以及上下文示例，以引导 ChatGPT 的生成。

更多详情，请参阅 MIMIC-IT 数据集。

🤖 Otter 模型详情

Otter 模型旨在支持基于 OpenFlamingo 模型的多模态上下文指令微调，即根据相应的媒体（如与字幕或指令-响应对对应的图像）来调整语言模型。

我们使用包含约 280 万个上下文指令-响应对的 MIMIC-IT 数据集对 Otter 进行了训练，这些数据被组织成一个连贯的模板，以方便执行各种任务。Otter 支持视频输入（帧的排列方式与原始 Flamingo 实现一致）以及作为上下文示例的多张图片输入，这使其成为 首个经过多模态指令微调的模型。

以下模板包含了图像、用户指令和模型生成的响应，并使用 User 和 GPT 角色标签来实现流畅的用户-助手交互：

prompt = f"<image>User: {instruction} GPT:<answer> {response}<endofchunk>"

通过在 MIMIC-IT 数据集上训练 Otter 模型，它能够获得不同的能力，这一点在 LA 和 SD 任务中得到了验证。在 LA 任务上训练后，该模型展现出卓越的场景理解能力、推理能力和多轮对话能力。

# 多轮对话
prompt = f"<image>User: {first_instruction} GPT:<answer> {first_response}<endofchunk>User: {second_instruction} GPT:<answer>"

关于组织视觉-语言上下文示例的概念，我们在 LA-T2T 任务上训练 Otter 模型后，展示了其遵循跨上下文指令的能力。组织后的输入数据格式如下：

# 包含相似指令的多个上下文示例
prompt = f"<image>User:{ict_first_instruction} GPT: <answer>{ict_first_response}<|endofchunk|><image>User:{ict_second_instruction} GPT: <answer>{ict_second_response}<|endofchunk|><image>User:{query_instruction} GPT: <answer>"

更多详情，请参阅我们的 论文 附录中的其他任务部分。

🗂️ 环境配置

1. 比较 nvidia-smi 和 nvcc --version 返回的 CUDA 版本，两者必须匹配。或者至少，nvcc --version 返回的版本应小于或等于 nvidia-smi 返回的版本。
2. 安装与您的 CUDA 版本匹配的 PyTorch。（例如，CUDA 11.7 对应 PyTorch 2.0.0）。我们已在 CUDA 11.1 + PyTorch 1.10.1 和 CUDA 11.7 + PyTorch 2.0.0 上成功运行此代码。您可以参考 PyTorch 的官方文档，最新版 或 历史版本。
3. 您可以通过 conda env create -f environment.yml 来安装环境。尤其要确保安装 transformers>=4.28.0 和 accelerate>=0.18.0。

环境配置完成后，您只需几行代码即可将 🦩 Flamingo 模型 / 🦦 Otter 模型作为 🤗 Hugging Face 模型使用！一键操作即可自动下载模型配置和权重。详细信息请参阅 Huggingface Otter/Flamingo。

☄️ 训练

Otter 是基于 OpenFlamingo 训练的。您可能需要使用位于 luodian/OTTER-9B-INIT 或 luodian/OTTER-MPT7B-Init 的转换权重。它们分别由 OpenFlamingo-LLaMA7B-v1 和 OpenFlamingo-MPT7B-v2 转换而来。为了便于 Otter 的下游指令微调，我们为其添加了一个 <answer> 标记。

您也可以使用任何已训练好的 Otter 权重，在我们的基础上继续训练，相关权重可在 Otter Weights 中找到。准备图像、指令和训练 JSON 文件时，可参考 MIMIC-IT。

export PYTHONPATH=.
RUN_NAME="Otter_MPT7B"
GPU=8
WORKERS=$((${GPU}*2))

echo "使用 ${GPU} 张 GPU 卡和 ${WORKERS} 个工作进程"
echo "正在运行 ${RUN_NAME}"

accelerate launch --config_file=./pipeline/accelerate_configs/accelerate_config_zero3.yaml \
    --num_processes=${GPU} \
    pipeline/train/instruction_following.py \
    --pretrained_model_name_or_path=luodian/OTTER-MPT7B-Init \
    --model_name=otter \
    --instruction_format=simple \
    --training_data_yaml=./shared_scripts/Demo_Data.yaml \
    --batch_size=8 \
    --num_epochs=3 \
    --report_to_wandb \
    --wandb_entity=ntu-slab \
    --external_save_dir=./checkpoints \
    --run_name=${RUN_NAME} \
    --wandb_project=Otter_MPTV \
    --workers=${WORKERS} \
    --lr_scheduler=cosine \
    --learning_rate=2e-5 \
    --warmup_steps_ratio=0.01 \
    --save_hf_model \
    --max_seq_len=1024 \

📑 引用

如果您觉得本仓库对您有所帮助，请考虑引用以下文献：

@article{li2023otter,
  title={Otter: 一种具有上下文指令微调能力的多模态模型},
  author={Li, Bo and Zhang, Yuanhan and Chen, Liangyu and Wang, Jinghao and Yang, Jingkang and Liu, Ziwei},
  journal={arXiv 预印本 arXiv:2305.03726},
  year={2023}
}

@article{li2023mimicit,
    title={MIMIC-IT：多模态上下文指令微调},
    author={Bo Li and Yuanhan Zhang and Liangyu Chen and Jinghao Wang and Fanyi Pu and Jingkang Yang and Chunyuan Li and Ziwei Liu},
    year={2023},
    eprint={2306.05425},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

👨‍🏫 致谢

我们感谢 Jack Hessel 的建议和支持，同时也感谢 OpenFlamingo 团队为开源社区所做的杰出贡献。

向 Flamingo 和 OpenFlamingo 团队致以崇高敬意，感谢他们在这项卓越架构上的辛勤工作。

📝 相关项目

• LLaVA: 视觉指令微调
• 基于 GPT4 的指令微调

Otter 快速上手指南

Otter 是一个基于 OpenFlamingo 架构的多模态大语言模型，支持图像和视频的上下文指令微调（In-Context Instruction Tuning）。它基于 MIMIC-IT 数据集训练，具备强大的多轮对话、场景理解及细粒度视觉识别能力。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 至少 16GB 显存（用于本地推理和微调）
• Python: 3.8 或更高版本
• CUDA: 建议 11.7+

前置依赖

确保已安装 git 和 conda（推荐）。Otter 依赖 litellm 支持多种后端模型，并使用了 Flash-Attention-2 加速训练。

2. 安装步骤

方案 A：使用国内镜像源（推荐中国大陆用户）

对于中国大陆开发者，推荐使用 OpenXLab 平台直接加载模型，或使用 Git 镜像加速克隆代码库。

1. 克隆代码库

   git clone https://gitee.com/mirrors/otter.git # 如有国内镜像请使用，否则使用官方源
   # 若无国内镜像，使用官方源：
   # git clone https://github.com/Luodian/otter.git
   cd otter
   

2. 创建虚拟环境并安装依赖

   conda create -n otter python=3.10 -y
   conda activate otter
   
   # 安装 PyTorch (根据实际 CUDA 版本调整)
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   
   # 安装 Flash-Attention-2 (可选但强烈推荐，提升训练速度 4-5 倍)
   pip install flash-attn --no-build-isolation
   
   # 安装项目依赖
   pip install -r requirements.txt
   

方案 B：模型获取

• Hugging Face:
  • 图像模型: luodian/OTTER-Image-MPT7B
  • 视频模型: luodian/OTTER-Video-LLaMA7B-DenseCaption
• OpenXLab (国内加速):
  • OTTER-Image-MPT7B
  • OTTER-Video-LLaMA7B-DenseCaption

3. 基本使用

本地推理示例

Otter 支持图像标注、视频描述生成及有害内容识别。运行前请确保正确设置路径以导入 otter.modeling_otter。

注意：在运行脚本前，需调整 sys.path。

import sys
import torch
from PIL import Image

# 关键步骤：修正路径以访问 otter 模块
sys.path.append("../..") 

from otter.modeling_otter import OtterForConditionalGeneration

# 加载模型 (示例：加载图像模型)
# 请替换为本地下载后的模型路径或 HuggingFace 模型 ID
model_path = "luodian/OTTER-Image-MPT7B" 

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 初始化模型 (具体加载方式需参考 pipeline/demo 中的实现)
# 此处为概念性代码，具体实例化请参考官方 demo 脚本
# model = OtterForConditionalGeneration.from_pretrained(model_path).to(device)

# 准备输入
image = Image.open("path/to/your/image.jpg").convert("RGB")
instruction = "Describe this image in detail."

# 构建 Prompt 模板
# 格式：<image>User: {instruction} GPT:<answer>
prompt = f"<image>User: {instruction} GPT:<answer>"

# 执行推理 (伪代码，具体 tensor 处理见 pipeline/demo)
# inputs = process_image_and_text(image, prompt)
# outputs = model.generate(**inputs)
# print(outputs)

提示：完整的本地运行脚本请参考 ./pipeline/demo 目录。该目录修复了视频推理中 frame tensors 的错误压缩问题。

使用 YAML 配置评估基准

Otter 支持一键运行多个基准测试（如 MMBench, MME, MagnifierBench 等）。创建一个 eval_config.yaml 文件：

datasets:
  - name: magnifierbench
    split: test
    prompt: Answer with the option's letter from the given choices directly.
    api_key: [Your API Key] # 用于 GPT4/GPT3.5 评估答案
    debug: true # 设为 true 将保存模型响应到日志
  - name: mme
    split: test
    debug: true
  - name: mmbench
    split: test
    debug: true

models:
  - name: gpt4v
    api_key: [Your API Key] # 调用 GPT4V 模型的密钥

运行评估脚本（具体脚本名请参考 docs/benchmark_eval.md）：

python pipeline/eval/run_benchmark.py --config eval_config.yaml

进阶：多模态上下文学习

Otter 的核心优势在于支持多轮对话和多图像上下文示例。

多轮对话示例：

prompt = f"<image>User: {first_instruction} GPT:<answer> {first_response}<endofchunk>User: {second_instruction} GPT:<answer>"

多图像上下文示例（In-Context Learning）：

prompt = f"<image>User:{ict_first_instruction} GPT: <answer>{ict_first_response}<|endofchunk|><image>User:{ict_second_instruction} GPT: <answer>{ict_second_response}<|endofchunk|><image>User: {target_instruction} GPT:<answer>"

---

注：本指南基于 Otter v0.3 及以上版本。代码仍在持续迭代中，如遇问题欢迎提交 Issue 或 PR。