CogVLM & CogAgent

📗 中文版README

🌟 跳转至详细介绍：CogVLM 介绍， 🆕 CogAgent 介绍

📔 更多详细的使用信息，请参阅：CogVLM & CogAgent 的技术文档（中文）

CogVLM 📖 论文： CogVLM：预训练语言模型的视觉专家 CogVLM 是一款功能强大的开源视觉语言模型（VLM）。CogVLM-17B 拥有 100 亿个视觉参数和 70 亿个语言参数，支持分辨率为 490*490 的图像理解及多轮对话。 CogVLM-17B 在 10 个经典的跨模态基准测试中取得了最先进水平, 包括 NoCaps、Flicker30k 字幕生成、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC。	CogAgent 📖 论文： CogAgent：用于 GUI 代理的视觉语言模型 CogAgent 是在 CogVLM 基础上改进的开源视觉语言模型。CogAgent-18B 拥有 110 亿个视觉参数和 70 亿个语言参数，支持分辨率为 1120*1120 的图像理解。它在 CogVLM 能力的基础上，进一步具备 GUI 图像代理能力。 CogAgent-18B 在 9 个经典跨模态基准测试中达到了最先进的通用性能, 包括 VQAv2、OK-VQ、TextVQA、ST-VQA、ChartQA、infoVQA、DocVQA、MM-Vet 和 POPE。在 GUI 操作数据集上显著超越了现有模型, 包括 AITW 和 Mind2Web。
🌐 CogVLM2 的网页演示： 点击此处

目录

• CogVLM & CogAgent
  • 发布
  • 开始使用
    • 选项 1：使用网页演示进行推理。
    • 选项 2：自行部署 CogVLM / CogAgent
      • 情况 2.1 CLI（SAT 版本）
      • 情况 2.2 CLI（Huggingface 版本）
      • 情况 2.3 网页演示
    • 选项 3：微调 CogAgent / CogVLM
    • 选项 4：OpenAI Vision 格式
    • 硬件要求
    • 模型检查点
  • CogVLM 介绍
    • 示例
  • CogAgent 介绍
    • GUI 代理示例
  • 食谱
    • 任务提示
    • 使用哪个版本
    • 常见问题解答
  • 许可证
  • 引用与致谢

发布

• 🔥🔥🔥 新闻: 2024年5月20日: 我们发布了下一代模型，CogVLM2，该模型基于 llama3-8b，在大多数情况下与 GPT-4V 相当甚至更优！快来下载并体验吧！

• 🔥🔥 新闻: 2024年4月5日: CogAgent 被选为 CVPR 2024 的亮点之一！

• 🔥 新闻: 2023年12月26日: 我们发布了 CogVLM-SFT-311K 数据集， 其中包含超过 15 万条数据，这些数据仅用于 CogVLM v1.0 的训练。欢迎关注并使用。

• 新闻: 2023年12月18日: 全新 Web UI 上线！ 我们基于 Streamlit 推出了新的 Web UI， 用户可以在我们的界面中轻松地与 CogVLM、CogAgent 交流，获得更好的用户体验。

• 新闻: 2023年12月15日: CogAgent 正式发布！ CogAgent 是基于 CogVLM 开发的图像理解模型。它具有 基于视觉的 GUI 代理能力，并在图像理解方面进行了进一步增强。它支持分辨率为 1120*1120 的图像输入，并具备多种能力，包括与图像的多轮对话、GUI 代理、定位等。

• 新闻: 2023年12月8日 我们将 cogvlm-grounding-generalist 的检查点更新为 cogvlm-grounding-generalist-v1.1，训练过程中加入了图像增强，因此更加 robust。详情请参见 CogVLM 介绍。

• 新闻: 2023年12月7日 CogVLM 现在支持 4-bit 量化！您只需 11GB 的 GPU 内存即可进行推理！

• 新闻: 2023年11月20日 我们将 cogvlm-chat 的检查点更新为 cogvlm-chat-v1.1，统一了聊天和 VQA 的版本，并在多个数据集上刷新了 SOTA。详情请参见 CogVLM 介绍。

• 新闻: 2023年11月20日 我们在 🤗Huggingface 上发布了 cogvlm-chat、cogvlm-grounding-generalist/base、cogvlm-base-490/224。现在您可以使用 几行代码 通过 transformers 进行推理！

• 2023年10月27日 CogVLM 双语版本已上线 在线！欢迎试用！

• 2023年10月5日 CogVLM-17B 正式发布。

开始使用

选项 1：使用网页演示进行推理。

• 点击此处进入 CogVLM2 演示。

如果您需要使用 Agent 和 Grounding 功能，请参考 食谱 - 任务提示。

选项 2：自行部署 CogVLM / CogAgent

我们支持两种用于模型推理的 GUI，分别是 CLI 和 网页演示。如果您想在自己的 Python 代码中使用它，可以轻松修改 CLI 脚本来适应您的需求。

首先，我们需要安装依赖项。

# CUDA >= 11.8
pip install -r requirements.txt
python -m spacy download en_core_web_sm

所有推理相关的代码都位于 basic_demo/ 目录下。请先切换到该目录，再继续后续操作。

情况 2.1 CLI（SAT 版本）

通过以下命令运行 CLI 演示：

# CogAgent
python cli_demo_sat.py --from_pretrained cogagent-chat --version chat --bf16  --stream_chat
python cli_demo_sat.py --from_pretrained cogagent-vqa --version chat_old --bf16  --stream_chat

# CogVLM
python cli_demo_sat.py --from_pretrained cogvlm-chat --version chat_old --bf16  --stream_chat
python cli_demo_sat.py --from_pretrained cogvlm-grounding-generalist --version base --bf16  --stream_chat

程序会自动下载SAT模型，并在命令行中进行交互。您可以通过输入指令并按回车键来生成回复。 输入 clear 可以清除对话历史，输入 stop 则可停止程序。

我们还支持模型并行推理，可以将模型拆分到多张（2/4/8）GPU上运行。以下命令中的 --nproc-per-node=[n] 参数用于控制使用的GPU数量。

torchrun --standalone --nnodes=1 --nproc-per-node=2 cli_demo_sat.py --from_pretrained cogagent-chat --version chat --bf16

• 如果您希望手动下载权重，可以将 --from_pretrained 后的路径替换为模型路径。

• 我们的模型支持SAT的4位量化和8位量化。 您可以将 --bf16 改为 --fp16，或者使用 --fp16 --quant 4，或 --fp16 --quant 8。

例如：

```bash
python cli_demo_sat.py --from_pretrained cogagent-chat --fp16 --quant 8 --stream_chat
python cli_demo_sat.py --from_pretrained cogvlm-chat-v1.1 --fp16 --quant 4 --stream_chat
# 在SAT版本中，--quant 应与 --fp16 一起使用
```

• 程序提供了以下超参数来控制生成过程：

  usage: cli_demo_sat.py [-h] [--max_length MAX_LENGTH] [--top_p TOP_P] [--top_k TOP_K] [--temperature TEMPERATURE]
  
  optional arguments:
  -h, --help            显示此帮助信息并退出
  --max_length MAX_LENGTH
                          总序列的最大长度
  --top_p TOP_P         核采样的top p值
  --top_k TOP_K         top k采样的top k值
  --temperature TEMPERATURE
                          采样温度
  

• 点击这里查看不同模型与 --version 参数的对应关系。

情况2.2 CLI（Huggingface版本）

通过以下命令运行CLI演示：

# CogAgent
python cli_demo_hf.py --from_pretrained THUDM/cogagent-chat-hf --bf16
python cli_demo_hf.py --from_pretrained THUDM/cogagent-vqa-hf --bf16

# CogVLM
python cli_demo_hf.py --from_pretrained THUDM/cogvlm-chat-hf --bf16
python cli_demo_hf.py --from_pretrained THUDM/cogvlm-grounding-generalist-hf --bf16

• 如果您想手动下载权重，可以将 --from_pretrained 后的路径替换为模型路径。

• 您可以将 --bf16 改为 --fp16，或使用 --quant 4。例如，我们的模型支持Huggingface的4位量化：

  python cli_demo_hf.py --from_pretrained THUDM/cogvlm-chat-hf --quant 4
  

情况2.3 Web演示

我们还提供基于Gradio的本地Web演示。首先，通过运行 pip install gradio 安装Gradio。然后下载并进入该仓库，运行 web_demo.py。详细用法请参见下一节：

python web_demo.py --from_pretrained cogagent-chat --version chat --bf16
python web_demo.py --from_pretrained cogagent-vqa --version chat_old --bf16
python web_demo.py --from_pretrained cogvlm-chat-v1.1 --version chat_old --bf16
python web_demo.py --from_pretrained cogvlm-grounding-generalist --version base --bf16

Web演示的界面如下所示：

选项3：微调CogAgent / CogVLM

您可能希望在自己的任务中使用CogVLM，这需要不同的输出风格或领域知识。所有微调代码都位于 finetune_demo/ 目录下。

这里我们提供一个使用LoRA进行验证码识别的微调示例。

1. 首先下载Captcha Images数据集。下载完成后，解压ZIP文件。

2. 要按照80/5/15的比例划分训练/验证/测试集，执行以下命令：

   python utils/split_dataset.py
   

3. 使用以下命令开始微调过程：

   bash finetune_demo/finetune_(cogagent/cogvlm)_lora.sh
   

4. 将模型合并至 model_parallel_size=1：（将下面的4替换为您训练时的MP_SIZE）

   torchrun --standalone --nnodes=1 --nproc-per-node=4 utils/merge_model.py --version base --bf16 --from_pretrained ./checkpoints/merged_lora_(cogagent/cogvlm490/cogvlm224)
   

5. 评估您的模型性能。

   bash finetune_demo/evaluate_(cogagent/cogvlm).sh
   

选项4：OpenAI Vision格式

我们提供了与GPT-4V相同的API示例，您可以在openai_demo中查看。

1. 首先启动节点

python openai_demo/openai_api.py

2. 接着运行请求示例节点，这是一个连续对话的示例

python openai_demo/openai_api_request.py

3. 您将得到类似如下的输出

这张图片展示了一幅宁静的自然场景，一条木制小路穿过一片茂盛的绿草地。远处有树木和一些零星的建筑物，可能是房屋或小型建筑。天空晴朗，点缀着几朵白云，显示出阳光明媚的一天。

硬件要求

• 模型推理：

  对于INT4量化：1 * RTX 3090(24G) (CogAgent约占用12.6GB，CogVLM约占用11GB)

  对于FP16：1 * A100(80G) 或 2 * RTX 3090(24G)

• 微调：

  对于FP16：4 * A100(80G) [推荐] 或 8 * RTX 3090(24G)。

模型检查点

如果您运行代码仓库中的 basic_demo/cli_demo*.py，它会自动下载 SAT 或 Hugging Face 的权重。或者，您也可以选择手动下载所需的权重。

• CogAgent

  模型名称	输入分辨率	简介	Huggingface 模型	SAT 模型
  cogagent-chat	1120	CogAgent 的聊天版本。支持 GUI Agent、多轮对话和视觉定位。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接
  cogagent-vqa	1120	CogAgent 的 VQA 版本。在单轮视觉对话方面具有更强的能力。推荐用于 VQA 基准测试。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接
  c

• CogVLM

  模型名称	输入分辨率	简介	Huggingface 模型	SAT 模型
  cogvlm-chat-v1.1	490	同时支持多轮对话和 VQA，并可根据不同提示进行操作。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接
  cogvlm-base-224	224	文本-图像预训练后的原始检查点。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接
  cogvlm-base-490	490	通过从 cogvlm-base-224 进行位置编码插值，将分辨率提升至 490。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接
  cogvlm-grounding-generalist	490	该检查点支持多种视觉定位任务，例如 REC、Grounding Captioning 等。	HF 链接 OpenXLab 链接	HF 链接 OpenXLab 链接

CogVLM 简介

• CogVLM 是一款强大的 开源视觉语言模型（VLM）。CogVLM-17B 拥有 100 亿个视觉参数和 70 亿个语言参数。

• CogVLM-17B 在 10 个经典的跨模态基准测试中取得了最先进的性能，包括 NoCaps、Flicker30k 图像描述生成、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC，并在 VQAv2、OKVQA、TextVQA、COCO 图像描述生成等任务上排名第二，超越或媲美 PaLI-X 55B。CogVLM 还可以与您就图像进行对话。

点击查看 MM-VET、POPE、TouchStone 的结果。

方法	LLM	MM-VET	POPE（对抗性）	TouchStone
BLIP-2	Vicuna-13B	22.4	-	-
Otter	MPT-7B	24.7	-	-
MiniGPT4	Vicuna-13B	24.4	70.4	531.7
InstructBLIP	Vicuna-13B	25.6	77.3	552.4
LLaMA-Adapter v2	LLaMA-7B	31.4	-	590.1
LLaVA	LLaMA2-7B	28.1	66.3	602.7
mPLUG-Owl	LLaMA-7B	-	66.8	605.4
LLaVA-1.5	Vicuna-13B	36.3	84.5	-
Emu	LLaMA-13B	36.3	-	-
Qwen-VL-Chat	-	-	-	645.2
DreamLLM	Vicuna-7B	35.9	76.5	-
CogVLM	Vicuna-7B	52.8	87.6	742.0

点击查看 cogvlm-grounding-generalist-v1.1 的结果。

	RefCOCO			RefCOCO+			RefCOCOg		Visual7W
	val	testA	testB	val	testA	testB	val	test	test
cogvim-grounding-generalist	92.51	93.95	88.73	87.52	91.81	81.43	89.46	90.09	90.96
cogvim-grounding-generalist-v1.1	92.76	94.75	88.99	88.68	92.91	83.39	89.75	90.79	91.05

示例

• CogVLM 能够以极低的幻觉率准确地对图像进行详细描述。

  点击查看与 LLAVA-1.5 和 MiniGPT-4 的对比。

  
  
  

• CogVLM 能够理解和回答各种类型的问题，并且有一个带有 视觉定位 功能的版本。

• CogVLM 有时能捕捉到比 GPT-4V(ision) 更为细节的内容。

点击查看更多示例。

CogAgent 简介

CogAgent 是一款基于 CogVLM 改进的开源视觉语言模型。CogAgent-18B 拥有 110 亿个视觉参数和 70 亿个语言参数。

CogAgent-18B 在 9 个经典的跨模态基准测试中取得了最先进的通用性能，包括 VQAv2、OK-VQ、TextVQA、ST-VQA、ChartQA、infoVQA、DocVQA、MM-Vet 和 POPE。它在 AITW 和 Mind2Web 等 GUI 操作数据集上显著超越了现有模型。

除了 CogVLM 已有的所有功能（视觉多轮对话、视觉定位）之外，CogAgent 还具备以下特点：

1. 支持更高分辨率的视觉输入和对话式问答。它支持 1120x1120 的超高清图像输入。

2. 具备视觉 Agent 的能力，能够针对任何给定的任务和任意 GUI 截图，返回计划、下一步行动以及包含坐标的具体操作步骤。

3. 增强了 GUI 相关的问答能力，使其能够处理关于任何 GUI 截图的问题，例如网页、PC 应用程序、移动应用程序等。

4. 通过改进的预训练和微调，提升了 OCR 相关任务的能力。

GUI Agent 示例

食谱

任务提示

1. 通用多轮对话：随意发言即可。

2. GUI 代理任务：使用 Agent 模板，并将 <TASK> 替换为用双引号括起来的任务指令。此查询可使 CogAgent 推断出计划和下一步行动。若在查询末尾添加 (with grounding)，模型将返回包含坐标信息的规范化动作表示。

   例如，要询问模型如何在当前 GUI 截图上完成“搜索 CogVLM”任务，可按以下步骤操作：

   1. 从 Agent 模板 中随机选择一个模板。此处我们选择 What steps do I need to take to <TASK>?。

   2. 将 替换为用双引号括起来的任务指令，例如 What steps do I need to take to "Search for CogVLM"?。输入该内容后，模型将输出：

      计划：1. 在 Google 搜索栏中输入“CogVLM”。2. 查看出现的搜索结果。3. 点击相关结果以了解更多关于 CogVLM 的信息或访问更多资源。

      下一步行动：将光标移动到 Google 搜索栏，并在其中输入“CogVLM”。

   3. 若在末尾添加 (with grounding)，即改为输入 What steps do I need to take to "Search for CogVLM"?(with grounding)，CogAgent 的输出将是：

      计划：1. 在 Google 搜索栏中输入“CogVLM”。2. 查看出现的搜索结果。3. 点击相关结果以了解更多关于 CogVLM 的信息或访问更多资源。

      下一步行动：将光标移动到 Google 搜索栏，并在其中输入“CogVLM”。 基于场景的操作：[下拉框] 搜索 -> 输入：CogVLM，位置 [[212,498,787,564]]

      提示：对于 GUI 代理任务，建议每张图像仅进行单轮对话，以获得更好的效果。

3. 视觉定位。支持三种定位模式：

   • 带有定位坐标（边界框）的图像描述。使用 caption_with_box 模板 中的任意模板作为模型输入。例如：

     你能对这张图片进行描述，并为每个提到的对象提供坐标 [[x0,y0,x1,y1]] 吗？

   • 根据对象描述返回定位坐标（边界框）。使用 caption2box 模板 中的任意模板，将 <expr> 替换为对象的描述。例如：

     你能指出图片中的 穿蓝色 T 恤的孩子，并给出他们所在位置的边界框吗？

   • 根据边界框坐标提供描述。使用 box2caption 模板，将 <objs> 替换为位置坐标。例如：

     请告诉我你在图片中指定区域 [[086,540,400,760]] 内看到了什么。

   坐标格式：模型输入和输出中的边界框坐标采用 [[x1, y1, x2, y2]] 格式，原点位于左上角，x 轴向右，y 轴向下。（x1, y1）和（x2, y2）分别为左上角和右下角，数值为相对坐标，乘以 1000 后表示（前缀补零至三位数）。

使用哪个 --version

由于模型功能的不同，不同版本的模型可能具有不同的文本处理器 --version 规格，这意味着所使用的提示格式也会有所不同。

模型名称	--version
cogagent-chat	chat
cogagent-vqa	chat_old
cogvlm-chat	chat_old
cogvlm-chat-v1.1	chat_old
cogvlm-grounding-generalist	base
cogvlm-base-224	base
cogvlm-base-490	base

常见问题解答

• 如果无法访问 huggingface.co，可以添加 --local_tokenizer /path/to/vicuna-7b-v1.5 来加载分词器。
• 如果使用 🔨SAT 自动下载模型时遇到问题，可尝试手动从 🤖modelscope、🤗huggingface 或 💡wisemodel 下载。
• 使用 🔨SAT 下载模型时，模型将保存到默认路径 ~/.sat_models。可通过设置环境变量 SAT_HOME 更改默认路径。例如，若希望将模型保存到 /path/to/my/models，可在运行 Python 命令前执行 export SAT_HOME=/path/to/my/models。

许可证

本仓库中的代码根据 Apache-2.0 许可证 开源，而 CogVLM 模型权重的使用需遵守 模型许可证。

引用与致谢

若您认为我们的工作有所帮助，请考虑引用以下论文：

@misc{wang2023cogvlm,
      title={CogVLM: 预训练语言模型的视觉专家}, 
      author={王伟瀚、吕庆松、于文猛、洪文义、齐继、王燕、季俊辉、杨卓毅、赵磊、宋锡轩、徐家政、许斌、李娟子、董宇晓、丁明、唐杰},
      year={2023},
      eprint={2311.03079},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{hong2023cogagent,
      title={CogAgent：用于 GUI 代理的视觉语言模型}, 
      author={洪文义、王伟瀚、吕庆松、徐家政、于文猛、季俊辉、王燕、王子涵、董宇晓、丁明、唐杰},
      year={2023},
      eprint={2312.08914},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

在 CogVLM 的指令微调阶段，使用了来自 MiniGPT-4、LLAVA、LRV-Instruction、LLaVAR 和 Shikra 等项目的部分英文图文数据，以及许多经典的跨模态数据集。我们衷心感谢他们的贡献。

CogVLM & CogAgent 快速上手指南

CogVLM 是一款强大的开源视觉语言模型（VLM），支持图像理解与多轮对话；CogAgent 是其进阶版本，额外具备图形用户界面（GUI）操作代理能力，支持更高分辨率图像输入。

环境准备

系统要求

• GPU: 推荐 NVIDIA GPU，显存需求视量化等级而定（4-bit 量化仅需约 11GB 显存）。
• CUDA: 版本需 >= 11.8。
• Python: 建议 Python 3.8+。

前置依赖

安装项目所需依赖及 spaCy 语言模型：

# CUDA >= 11.8
pip install -r requirements.txt
python -m spacy download en_core_web_sm

提示：若下载依赖较慢，可配置国内镜像源（如清华源、阿里源）加速 pip 安装。

安装步骤

所有推理代码位于 basic_demo/ 目录下，请先切换至该目录：

cd basic_demo

无需额外编译安装，确保依赖安装完成后即可直接运行脚本。模型权重将在首次运行时自动从 Hugging Face 或 SAT 仓库下载（也可手动下载后指定本地路径）。

基本使用

您可以选择命令行（CLI）或 Web 界面进行交互。以下提供最简单的命令行启动示例。

方式一：使用 Hugging Face 版本（推荐）

此方式基于 transformers 库，调用简洁。

启动 CogVLM 对话模型：

python cli_demo_hf.py --from_pretrained THUDM/cogvlm-chat-hf --bf16

启动 CogAgent 对话模型：

python cli_demo_hf.py --from_pretrained THUDM/cogagent-chat-hf --bf16

低显存方案（4-bit 量化）： 若显存有限，可启用 4-bit 量化（仅需约 11GB 显存）：

python cli_demo_hf.py --from_pretrained THUDM/cogvlm-chat-hf --quant 4

方式二：使用 SAT 版本

SAT 版本支持更灵活的量化配置（4-bit/8-bit）及模型并行。

启动 CogVLM 对话（FP16 + 4-bit 量化）：

python cli_demo_sat.py --from_pretrained cogvlm-chat --version chat_old --fp16 --quant 4 --stream_chat

启动 CogAgent 对话：

python cli_demo_sat.py --from_pretrained cogagent-chat --version chat --bf16 --stream_chat

操作说明：

• 输入指令后按回车生成回复。
• 输入 clear 清空对话历史。
• 输入 stop 退出程序。

方式三：本地 Web Demo

若偏好图形界面，可启动本地 Web Demo（基于 Gradio）：

1. 安装 Gradio：

   pip install gradio
   

2. 运行演示脚本（以 CogAgent 为例）：

   python web_demo.py --from_pretrained cogagent-chat --version chat --bf16
   

启动后在浏览器访问显示的本地地址即可进行可视化交互。

在线体验

无需本地部署，可直接访问官方 Web Demo 体验：

• CogVLM2 在线演示