多模态竞技场 🚀

多模态竞技场 是一个用于评估大型多模态模型的平台。仿照 Fastchat 的模式，两个匿名模型在视觉问答任务上进行并排比较。我们发布了 演示，并欢迎所有人参与这一评估活动。

🔥🔥🔥

大型多模态模型的全面评估

OmniMedVQA：面向医学领域的全新大规模综合性评估基准

• OmniMedVQA 数据集：包含 118,010 张图像和 127,995 个问答对，涵盖 12 种不同的模态，并涉及超过 20 个人体解剖部位。该数据集可从 这里 下载。
• 12 模型：8 个通用领域的大规模视觉语言模型和 4 个医学专用的大规模视觉语言模型。

Tiny LVLM-eHub：与 Bard 的早期多模态实验

• 小规模数据集：每个数据集仅随机选取 50 个样本，即 42 个与文本相关的视觉基准测试，总计 2,100 个样本，便于使用。
• 更多模型：新增 4 个模型，共计 12 个模型，其中包括 Google Bard。
• ChatGPT 集成评估：相比之前的基于词语匹配的方法，与人工评估的一致性有所提高。

LVLM-eHub：大型视觉语言模型的评估基准 🚀

LVLM-eHub 是一个针对公开可用的大型多模态模型（LVLM）的综合性评估基准。它通过 47 个数据集和 1 个在线竞技场平台，从 6 个多模态能力类别对 $8$ 个 LVLM 进行了全面评估。

LVLM 排行榜

LVLM 排行榜系统地将 Tiny LVLM 评估中的数据集按照其特定的目标能力进行分类，包括视觉感知、视觉推理、视觉常识、视觉知识获取以及对象幻觉等。该排行榜还包括近期发布的模型，以增强其全面性。

您可以从 这里 下载该基准，更多详细信息请参见 这里。

排名	模型	版本	分数
🏅️	InternVL	InternVL-Chat	327.61
🥈	InternLM-XComposer-VL	InternLM-XComposer-VL-7B	322.51
🥉	Bard	Bard	319.59
4	Qwen-VL-Chat	Qwen-VL-Chat	316.81
5	LLaVA-1.5	Vicuna-7B	307.17
6	InstructBLIP	Vicuna-7B	300.64
7	InternLM-XComposer	InternLM-XComposer-7B	288.89
8	BLIP2	FlanT5xl	284.72
9	BLIVA	Vicuna-7B	284.17
10	Lynx	Vicuna-7B	279.24
11	Cheetah	Vicuna-7B	258.91
12	LLaMA-Adapter-v2	LLaMA-7B	229.16
13	VPGTrans	Vicuna-7B	218.91
14	Otter-Image	Otter-9B-LA-InContext	216.43
15	VisualGLM-6B	VisualGLM-6B	211.98
16	mPLUG-Owl	LLaMA-7B	209.40
17	LLaVA	Vicuna-7B	200.93
18	MiniGPT-4	Vicuna-7B	192.62
19	Otter	Otter-9B	180.87
20	OFv2_4BI	RedPajama-INCITE-Instruct-3B-v1	176.37
21	PandaGPT	Vicuna-7B	174.25
22	LaVIN	LLaMA-7B	97.51
23	MIC	FlanT5xl	94.09

更新

• 🔥 2024年3月31日。我们发布了 OmniMedVQA，这是一个面向医学领域 LVLM 的大规模综合性评估基准。同时，我们评估了 8 个通用领域的大规模视觉语言模型和 4 个医学专用的大规模视觉语言模型。更多详情请访问 MedicalEval。
• 🔥 2023年10月16日。我们提出了基于 LVLM-eHub 的能力级别数据集划分，并补充纳入了八款近期发布的新模型。如需访问数据集划分、评估代码、模型推理结果及综合性能表格，请前往 tiny_lvlm_evaluation ✅。
• 2023年8月8日。我们发布了 [Tiny LVLM-eHub]。评估源代码和模型推理结果已在 tiny_lvlm_evaluation 中开源。
• 2023年6月15日。我们发布了 [LVLM-eHub]，这是一个用于评估大型视觉语言模型的基准。相关代码即将发布。
• 2023年6月8日。感谢 VPGTrans 的作者张博士提出的修正意见。VPGTrans 的主要作者来自新加坡国立大学和清华大学。我们在重新实现 VPGTrans 时曾遇到一些小问题，但后来发现其实际性能更好。如需了解更多关于其他模型作者的信息，请通过 邮箱 与我联系讨论。同时，请关注我们的模型排名列表，那里将提供更准确的结果。
• 2023年5月22日。感谢 mPLUG-Owl 的作者叶博士提出的修正意见。我们已修复了在实现 mPLIG-Owl 时的一些小问题。

支持的多模态模型

目前参与随机对抗赛的模型如下：

• KAUST/MiniGPT-4
• Salesforce/BLIP2
• Salesforce/InstructBLIP
• DAMO Academy/mPLUG-Owl
• NTU/Otter
• 威斯康星大学麦迪逊分校/LLaVA
• 上海人工智能实验室/llama_adapter_v2
• 新加坡国立大学/VPGTrans

关于这些模型的更多详细信息，请参阅 ./model_detail/.model.jpg。我们将会尽力安排计算资源，以在竞技场中支持更多多模态模型。

微信联系我们

如果您对我们的VLarena平台有任何兴趣，欢迎加入我们的微信群。

安装说明

1. 创建Conda环境

conda create -n arena python=3.10
conda activate arena

2. 安装运行控制器和服务器所需的包

pip install numpy gradio uvicorn fastapi

3. 由于每个模型可能需要不同版本的Python包，我们建议根据各自的GitHub仓库为每个模型创建专用的环境。

启动演示

要通过Web界面提供服务，您需要三个主要组件：与用户交互的Web服务器、承载两个或多个模型的模型工作节点，以及用于协调Web服务器和模型工作节点的控制器。

请在终端中按照以下步骤操作：

启动控制器

python controller.py

该控制器负责管理分布式的工作节点。

启动模型工作节点

python model_worker.py --model-name SELECTED_MODEL --device TARGET_DEVICE

等待进程完成模型加载，直到看到“Uvicorn running on ...”的提示。此时，模型工作节点将自动注册到控制器上。对于每个模型工作节点，您需要指定模型名称和目标设备。

启动Gradio Web服务器

python server_demo.py

这是用户与模型交互的界面。

按照上述步骤操作后，您就可以通过Web界面使用您的模型了。现在您可以打开浏览器，与模型进行对话。如果模型未显示出来，请尝试重启Gradio Web服务器。

贡献指南

我们非常重视所有旨在提升评估质量的贡献。本节分为两个部分：“LVLM评估贡献”和“LVLM竞技场贡献”。

参与LVLM评估

您可以在LVLM_evaluation文件夹中找到最新版本的评估代码。该目录包含完整的评估代码及所需的数据集。如果您希望参与评估工作，请随时通过电子邮件xupeng@pjlab.org.cn与我们分享您的评估结果或模型推理API。

参与LVLM竞技场

我们感谢您有意将自己的模型接入我们的LVLM竞技场！如需将您的模型整合进竞技场，请准备一个如下所示的模型测试器：

class ModelTester:
    def __init__(self, device=None) -> None:
        # TODO: 初始化模型及必要的预处理流程
    
    def move_to_device(self, device) -> None:
        # TODO: 此函数用于在CPU和GPU之间切换模型（可选）
    
    def generate(self, image, question) -> str:
       # TODO: 模型推理代码 

此外，我们也接受在线模型推理链接，例如由Gradio等平台提供的链接。我们衷心感谢您的贡献。

致谢

我们衷心感谢ChatBot Arena团队及其论文《Judging LLM-as-a-judge》（arXiv:2306.05685），他们的工作对我们开展LVLM评估提供了重要启发。同时，我们也向LVLM的提供者们致以诚挚的谢意，正是他们的宝贵贡献推动了大型视觉语言模型的发展与进步。最后，感谢为我们LVLM-eHub所用数据集提供方的支持。

使用条款

本项目仅为非商业用途的实验性研究工具。其安全防护措施有限，可能会生成不当内容。严禁将其用于任何非法、有害、暴力、种族歧视或色情相关的行为。

Multi-Modality Arena 快速上手指南

Multi-Modality Arena 是一个用于评估大型多模态模型（LVLM）的平台。它借鉴了 FastChat 的模式，通过并排对比两个匿名模型在视觉问答任务中的表现来进行评估。本指南将帮助您快速在本地部署该平台的演示环境。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL2)
• Python 版本: 3.10 (强烈推荐)
• 硬件: 具备 CUDA 支持的 NVIDIA GPU（用于运行模型推理），显存大小取决于您打算加载的模型参数量。
• 依赖管理: 已安装 conda 或 mamba。

提示：国内用户建议在创建环境和安装 pip 包时使用清华源或阿里源以加速下载。

安装步骤

1. 创建 Conda 环境

首先创建一个独立的 Python 3.10 环境并激活它：

conda create -n arena python=3.10
conda activate arena

2. 安装核心依赖

安装运行控制器（Controller）和服务器（Server）所需的基础包：

pip install numpy gradio uvicorn fastapi

3. 配置模型环境

由于不同的多模态模型（如 LLaVA, MiniGPT-4, BLIP2 等）往往依赖冲突的第三方库版本，强烈建议为每个需要运行的模型单独创建独立的 Conda 环境，并依据其官方 GitHub 仓库的说明安装特定依赖。

例如，若要运行 LLaVA，请在另一个终端窗口创建名为 llava_env 的环境并安装其依赖；若要运行 MiniGPT-4，则创建 minigpt4_env。

基本使用

启动演示平台需要三个主要组件协同工作：控制器（协调调度）、模型工作节点（加载并运行模型）和 Web 服务器（用户交互界面）。请按顺序在终端中执行以下步骤。

第一步：启动控制器

在一个终端窗口中运行以下命令，它将管理分布式的模型工作节点：

python controller.py

保持该窗口运行，不要关闭。

第二步：启动模型工作节点

打开新的终端窗口，激活您为目标模型配置好的独立环境，然后运行以下命令。请替换 SELECTED_MODEL 为您要加载的模型名称，TARGET_DEVICE 为您的设备（如 cuda:0）：

python model_worker.py --model-name SELECTED_MODEL --device TARGET_DEVICE

等待输出显示 "Uvicorn running on ..."，表示模型已成功加载并向控制器注册。您可以重复此步骤启动多个不同的模型工作节点以进行对比。

第三步：启动 Web 演示界面

打开第三个终端窗口（确保处于主 arena 环境中），运行以下命令启动用户交互界面：

python server_demo.py

开始体验

当上述三个组件均正常运行后，打开浏览器访问终端中显示的地址（通常为 http://localhost:7860 或类似端口）。您将看到类似 ChatBot Arena 的界面，可以上传图片并提出问题，系统会随机分配两个模型生成回答供您对比评分。

注意：如果界面上未显示模型，请尝试重启 Gradio Web 服务器（第三步）。