VLMEvalKit（Python软件包名为 vlmeval）是一个针对 大型视觉-语言模型（LVLMs） 的 开源评估工具包。它能够在多个基准测试上实现对 LVLMs 的 一键式评估，而无需在多个代码库中进行繁琐的数据准备工作。在 VLMEvalKit 中，我们对所有 LVLMs 采用 基于生成的评估方法，并提供通过 精确匹配 和 基于 LLM 的答案提取 所获得的评估结果。

最近的代码库变更

• [2025-09-12] 重大更新：改进了对具有思考模式模型的处理

  在 PR 1229 中新增了一项功能，用于更好地支持具有思考模式的模型。VLMEvalKit 现在允许使用自定义的 split_thinking 函数。我们强烈建议具有思考模式的模型使用此功能，以确保评估的准确性。要使用此新功能，请启用环境变量：SPLIT_THINK=True。默认情况下，该函数会解析 <think>... </think> 标签内的内容，并将其存储在输出的 thinking 键中。如需更高级的自定义，您也可以为模型创建一个 split_think 函数。请参阅 InternVL 的实现作为示例。

• [2025-09-12] 重大更新：改进了对长响应（超过16k/32k）的处理

  在 PR 1229 中新增了一项功能，用于更好地支持具有长响应输出的模型。VLMEvalKit 现在可以将预测文件保存为 TSV 格式。由于 .xlsx 文件中的单个单元格最多只能容纳 32,767 个字符，因此我们强烈建议对于生成长响应的模型（例如超过 16k 或 32k 个标记）使用此功能，以防止数据截断。 要使用此新功能，请启用环境变量：PRED_FORMAT=tsv。

• [2025-08-04] 在 PR 1175 中，我们优化了 can_infer_option 和 can_infer_text，这使得评估更加倾向于使用 LLM 选项提取器，并且在多项选择题基准测试中带来了轻微的性能提升。

🆕 新闻

• [2026-04-08] 支持了 Video-MME-v2。Video-MME-v2 是面向视频理解评估下一阶段的权威基准测试。🔥🔥🔥
• [2025-07-07] 支持了 SeePhys，这是一个涵盖不同知识水平的物理推理评估的全谱多模态基准测试。感谢 Quinn777 🔥🔥🔥
• [2025-07-02] 支持了 OvisU1，感谢 liyang-7 🔥🔥🔥
• [2025-06-16] 支持了 PhyX，这是一个旨在评估视觉场景中基于物理学推理能力的基准测试。🔥🔥🔥
• [2025-05-24] 为了便于对大规模或具有思考模式的模型进行更快的评估，VLMEvalKit 支持使用 LMDeploy（支持 InternVL 系列、QwenVL 系列、LLaMa4）或 VLLM（支持 QwenVL 系列、LLaMa4）进行多节点分布式推理。您可以通过在 config.py 中的自定义模型配置中添加 use_lmdeploy 或 use_vllm 标志来激活此功能。利用这些工具可以显著加快您的评估流程 🔥🔥🔥
• [2025-05-24] 支持的模型：InternVL3 系列、Gemini-2.5-Pro、Kimi-VL、LLaMA4、NVILA、Qwen2.5-Omni、Phi4、SmolVLM2、Grok、SAIL-VL-1.5、WeThink-Qwen2.5VL-7B、Bailingmm、VLM-R1、Taichu-VLR。支持的基准测试：HLE-Bench、MMVP、MM-AlignBench、Creation-MMBench、MM-IFEval、OmniDocBench、OCR-Reasoning、EMMA、ChaXiv、MedXpertQA、Physics、MSEarthMCQ、MicroBench、MMSci、VGRP-Bench、wildDoc、TDBench、VisuLogic、CVBench、LEGO-Puzzles、Video-MMLU、QBench-Video、MME-CoT、VLM2Bench、VMCBench、MOAT、Spatial457 Benchmark。更多详情请参阅 VLMEvalKit 功能。感谢所有贡献者 🔥🔥🔥
• [2025-02-20] 支持的模型：InternVL2.5 系列、Qwen2.5VL 系列、QVQ-72B、Doubao-VL、Janus-Pro-7B、MiniCPM-o-2.6、InternVL2-MPO、LLaVA-CoT、Hunyuan-Standard-Vision、Ovis2、Valley、SAIL-VL、Ross、Long-VITA、EMU3、SmolVLM。支持的基准测试：MMMU-Pro、WeMath、3DSRBench、LogicVista、VL-RewardBench、CC-OCR、CG-Bench、CMMMU、WorldSense。感谢所有贡献者 🔥🔥🔥
• [2024-12-11] 支持了 NaturalBench，这是一个以视觉为中心的 VQA 基准测试（NeurIPS'24），它通过关于自然图像的简单问题来挑战视觉-语言模型。
• [2024-12-02] 支持了 VisOnlyQA，这是一个用于评估视觉感知能力的基准测试 🔥🔥🔥
• [2024-11-26] 支持了 Ovis1.6-Gemma2-27B，感谢 runninglsy 🔥🔥🔥
• [2024-11-25] 创建了一个新的标志 VLMEVALKIT_USE_MODELSCOPE。通过设置此环境变量，您可以从 modelscope 下载支持的视频基准测试 🔥🔥🔥

🏗️ 快速入门

有关快速入门指南，请参阅 [QuickStart | 快速开始]。

📊 数据集、模型和评估结果

评估结果

我们官方多模态排行榜上的性能数据可从此处下载！

OpenVLM 排行榜：下载所有详细结果。

请查看 VLMEvalKit 功能 中的“支持的基准”选项卡，以查看所有受支持的图像和视频基准（70+）。

请查看 VLMEvalKit 功能 中的“支持的 LMM”选项卡，以查看所有受支持的 LMM，包括商业 API、开源模型等（200+）。

Transformers 版本推荐：

请注意，某些 VLM 在特定版本的 Transformers 下可能无法运行。我们建议使用以下设置来评估每种 VLM：

• 请使用 transformers==4.33.0 用于：Qwen 系列、Monkey 系列、InternLM-XComposer 系列、mPLUG-Owl2、OpenFlamingo v2、IDEFICS 系列、VisualGLM、MMAlaya、ShareCaptioner、MiniGPT-4 系列、InstructBLIP 系列、PandaGPT、VXVERSE。
• 请使用 transformers==4.36.2 用于：Moondream1。
• 请使用 transformers==4.37.0 用于：LLaVA 系列、ShareGPT4V 系列、TransCore-M、LLaVA (XTuner)、CogVLM 系列、EMU2 系列、Yi-VL 系列、MiniCPM-[V1/V2]、OmniLMM-12B、DeepSeek-VL 系列、InternVL 系列、Cambrian 系列、VILA 系列、Llama-3-MixSenseV1_1、Parrot-7B、PLLaVA 系列。
• 请使用 transformers==4.40.0 用于：IDEFICS2、Bunny-Llama3、MiniCPM-Llama3-V2.5、360VL-70B、Phi-3-Vision、WeMM。
• 请使用 transformers==4.42.0 用于：AKI。
• 请使用 transformers==4.44.0 用于：Moondream2、H2OVL 系列。
• 请使用 transformers==4.45.0 用于：Aria。
• 请使用 transformers==4.48.0（或 4.46.0） 用于：LLaVA-Next 系列（例如 llava-hf/llava-v1.6-vicuna-7b-hf）。
• 请使用 transformers==latest 用于：PaliGemma-3B、Chameleon 系列、Video-LLaVA-7B-HF、Ovis 系列、Mantis 系列、MiniCPM-V2.6、OmChat-v2.0-13B-sinlge-beta、Idefics-3、GLM-4v-9B、VideoChat2-HD、RBDash_72b、Llama-3.2 系列、Kosmos 系列。
• 请使用 transformers==4.50.3（或 4.46.1、4.51 或 4.53） 用于：Molmo 系列。
• 请使用 transformers>=5.2.0 用于：Qwen3.5 系列。

Torchvision 版本推荐：

请注意，某些 VLM 在特定版本的 torchvision 下可能无法运行。我们建议使用以下设置来评估每种 VLM：

• 请使用 torchvision>=0.16 用于：Moondream 系列 和 Aria。

Flash-attn 版本推荐：

请注意，某些 VLM 在特定版本的 flash-attention 下可能无法运行。我们建议使用以下设置来评估每种 VLM：

• 请使用 pip install flash-attn --no-build-isolation 用于：Aria。

# 示例
from vlmeval.config import supported_VLM
model = supported_VLM['idefics_9b_instruct']()
# 单张图片推理
ret = model.generate(['assets/apple.jpg', '这张图片里有什么？'])
print(ret)  # 图片中有一颗带有叶子的红苹果。
# 多张图片推理
ret = model.generate(['assets/apple.jpg', 'assets/apple.jpg', '提供的图片中有几颗苹果？'])
print(ret)  # 提供的图片中有两颗苹果。

🛠️ 开发指南

如需开发自定义基准、VLM，或仅为 VLMEvalKit 贡献其他代码，请参阅 [Development_Guide | 开发指南]。

征集贡献

为鼓励社区贡献并分享相应荣誉（在下一次报告更新中）：

• 所有贡献都将在报告中被致谢。
• 拥有3项或以上重大贡献（实现一个 MLLM、基准或主要功能）的贡献者，可加入 ArXiv 上的 VLMEvalKit 技术报告 的作者名单。符合条件的贡献者可在 VLMEvalKit Discord 频道 中创建议题或私信 kennyutc。

我们根据记录整理了一份 贡献者列表。

🎯 VLMEvalKit 的目标

该代码库旨在：

1. 提供一个易于使用、开源的评估工具包，方便研究人员和开发者评估现有的 LVLM，并使评估结果易于复现。
2. 方便 VLM 开发者评估自己的模型。只需实现一个 generate_inner() 函数，即可在多个受支持的基准上评估 VLM；其余工作负载（数据下载、数据预处理、预测推理、指标计算）均由代码库自动处理。

该代码库并非旨在：

1. 复现所有第三方基准原始论文中报告的确切准确率。原因有两点：
   1. VLMEvalKit 对所有 VLM 采用基于生成的评估方法（并可选地结合基于 LLM 的答案提取）。而部分基准可能采用不同的评估方式（例如 SEEDBench 使用 PPL 评估）。对于这些基准，我们在相应结果中同时比较两种分数。我们鼓励开发者在代码库中支持其他评估范式。
   2. 默认情况下，我们对所有 VLM 在同一基准上使用相同的提示模板进行评估。然而，某些 VLM 可能有其特定的提示模板（目前代码库可能尚未覆盖）。我们鼓励 VLM 开发者在 VLMEvalKit 中实现他们自己的提示模板，若当前尚未支持的话。这将有助于提高结果的可重复性。

🖊️ 引用

如果您觉得这项工作对您有帮助，请考虑给本仓库加星🌟。感谢您的支持！

如果您在研究中使用了 VLMEvalKit，或希望引用已发布的开源评估结果，请使用以下 BibTeX 条目，以及您所使用的特定多模态大模型或基准测试对应的 BibTeX 条目。

@inproceedings{duan2024vlmevalkit,
  title={Vlmevalkit: 用于评估大型多模态模型的开源工具包},
  author={Duan, Haodong and Yang, Junming and Qiao, Yuxuan and Fang, Xinyu and Chen, Lin and Liu, Yuan and Dong, Xiaoyi and Zang, Yuhang and Zhang, Pan and Wang, Jiaqi and others},
  booktitle={第32届 ACM 国际多媒体会议论文集},
  pages={11198--11201},
  year={2024}
}

🔝返回顶部

git clone https://github.com/open-compass/VLMEvalKit.git
cd VLMEvalKit
pip install -e .

# 使用清华源安装依赖
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

# 启用 ModelScope 下载视频基准数据 (可选)
export VLMEVALKIT_USE_MODELSCOPE=1

from vlmeval.config import supported_VLM

# 1. 初始化模型 (以 idefics_9b_instruct 为例)
# 你可以在 supported_VLM 字典中查找其他已支持的模型名称
model = supported_VLM['idefics_9b_instruct']()

# 2. 单张图片推理
ret = model.generate(['assets/apple.jpg', 'What is in this image?'])
print(ret)  
# 输出示例：The image features a red apple with a leaf on it.

# 3. 多张图片推理
ret = model.generate([
    'assets/apple.jpg', 
    'assets/apple.jpg', 
    'How many apples are there in the provided images?'
])
print(ret)  
# 输出示例：There are two apples in the provided images.