GLM-V

中文阅读。

👋 加入我们的 微信 和 Discord 社区。
📖 查看 GLM-4.6V 博客 以及 GLM-4.5V & GLM-4.1V 论文。
📍 尝试 在线版 或使用 API。

简介

视觉语言模型（Vision-Language Models, VLMs）已成为智能系统的关键基石。随着现实世界 AI 任务日益复杂，VLMs 迫切需要增强超越基本多模态感知的推理能力——提高准确性、全面性和智能性——以实现复杂问题解决、长上下文理解和多模态智能体。

通过我们的开源工作，我们旨在与社区共同探索技术前沿，同时赋能更多开发者创建令人兴奋且创新的应用。

本开源仓库包含我们的 GLM-4.6V、GLM-4.5V 和 GLM-4.1V 系列模型。 有关性能和详细信息，请参阅 模型概览。有关已知问题，请参阅 已知问题与待解决问题。

项目更新

• 新闻: 2026/03/28: 我们发布了多个 GLM-V 相关技能，涵盖多个专业领域，如 GLM-V-Grounding 和 GLM-V-Prompt-Gen。欢迎在此尝试 这里。
• 新闻: 2025/11/10: 我们发布了 UI2Code^N，这是一个具有 UI 转代码、UI 润色和 UI 编辑能力的强化学习增强（RL-enhanced）UI 编码模型。该模型基于 GLM-4.1V-Base 训练。请在此查看 这里。
• 新闻: 2025/10/27: 我们发布了 Glyph，这是一个通过图文压缩扩展上下文长度的框架，glyph 模型基于 GLM-4.1V-Base 训练。请在此查看 这里。
• 新闻: 2025/08/11: 我们发布了 GLM-4.5V，在多个基准测试中均有显著提升。我们还开源了用于调试的手制 桌面助手应用。连接到 GLM-4.5V 后，它可以通过截图或屏幕录制捕获您 PC 屏幕上的视觉信息。欢迎试用或将其定制为您自己的多模态助手。点击 这里 下载安装程序，或 从源码构建!
• 新闻: 2025/07/16: 我们开源了用于训练 GLM-4.1V-Thinking 的 VLM 奖励系统。查看 代码仓库 并在本地运行：python examples/reward_system_demo.py。
• 新闻: 2025/07/01: 我们发布了 GLM-4.1V-9B-Thinking 及其 技术报告。

模型实现代码

• GLM-4.5V 和 GLM-4.6V 模型算法：参见 transformers 中的完整实现。
• GLM-4.1V-9B-Thinking 模型算法：参见 transformers 中的完整实现。
• 两个模型共享相同的多模态预处理，但使用不同的对话模板——请仔细区分。

模型下载

模型	下载链接	类型
GLM-4.6V	🤗 Hugging Face 🤖 ModelScope	混合推理
GLM-4.6V-FP8	🤗 Hugging Face 🤖 ModelScope	混合推理
GLM-4.6V-Flash	🤗 Hugging Face 🤖 ModelScope	混合推理
GLM-4.5V	🤗 Hugging Face 🤖 ModelScope	混合推理
GLM-4.5V-FP8	🤗 Hugging Face 🤖 ModelScope	混合推理
GLM-4.1V-9B-Thinking	🤗 Hugging Face 🤖 ModelScope	推理
GLM-4.1V-9B-Base	🤗 Hugging Face 🤖 ModelScope	基础

• Hugging Face 提供 GGUF 格式的模型权重。您可以从 这里 下载 GLM-V 的 GGUF 格式模型。

使用案例

定位 (Grounding)

GLM-4.5V / GLM-4.6V / GLM-4.1V 具备精确的定位能力。给定一个请求特定对象位置的提示，模型能够逐步推理并识别目标对象的边界框。查询提示支持对目标对象的复杂描述以及指定的输出格式，例如：

• Help me to locate in the image and give me its bounding boxes.
• Please pinpoint the bounding box [[x1,y1,x2,y2], …] in the image as per the given description.

此处，<expr> 是目标对象的描述。输出的边界框是一个四元组 $$[x_1,y_1,x_2,y_2]$$，由左上角和右下角的坐标组成，其中每个值分别由图像宽度（对于 x）或高度（对于 y）归一化并乘以 1000。

在响应中，特殊标记 <|begin_of_box|> 和 <|end_of_box|> 用于在答案中标记图像边界框。括号样式可能有所不同（[], [[]], (), <> 等），但含义相同：即包围框的坐标。

GUI 智能体 (GUI Agent)

• examples/gui-agent: 演示了 GUI 智能体的提示构建和输出处理，包括针对移动、PC 和 Web 的策略。GLM-4.1V 和 GLM-4.5V 之间的提示模板不同。

快速演示

• examples/vlm-helper: 一个用于 GLM 多模态模型（主要是 GLM-4.5V，兼容 GLM-4.1V）的桌面助手，支持文本、图像、视频、PDF、PPT 等。连接到 GLM 多模态 API（应用程序接口）以提供跨场景的智能服务。下载 安装程序 或 从源代码构建。

快速开始

环境安装

pip install -r requirements.txt

• vLLM 和 SGLang 依赖可能冲突，因此建议每个环境中只安装其中之一。
• 请注意，安装后应验证 transformers 的版本，并确保其升级到 5.2.0 或更高版本。

transformers

• trans_infer_cli.py: 用于使用 transformers 后端进行连续对话的 CLI（命令行界面）。
• trans_infer_gradio.py: 使用 transformers 后端的多模态输入（图像、视频、PDF、PPT）Gradio Web 界面。
• trans_infer_bench: GLM-4.1V-9B-Thinking 的学术复现脚本。它在长度 8192 处强制截断推理并随后请求直接答案。包含视频输入示例；其他情况请修改。

vLLM

vllm serve zai-org/GLM-4.6V \
     --tensor-parallel-size 4 \
     --tool-call-parser glm45 \
     --reasoning-parser glm45 \
     --enable-auto-tool-choice \
     --served-model-name glm-4.6v \
     --allowed-local-media-path / \
     --mm-encoder-tp-mode data \
     --mm-processor-cache-type shm

更多详情，请查看 vLLM Recipes。

SGLang

sglang serve --model-path zai-org/GLM-4.6V \
     --tp-size 4 \
     --tool-call-parser glm45 \
     --reasoning-parser glm45 \
     --served-model-name glm-4.6v \
     --mm-enable-dp-encoder \
     --port 8000 \
     --host 0.0.0.0

注意：

• 我们建议增加 SGLANG_VLM_CACHE_SIZE_MB（例如 1024），以为视频理解提供足够的缓存空间。
• 当使用 vLLM 和 SGLang 时，思考模式默认启用。要禁用思考开关，添加：extra_body={"chat_template_kwargs": {"enable_thinking": False}}
• 您可以配置思考预算以限制模型的最大推理跨度。添加

  from sglang.srt.sampling.custom_logit_processor import Glm4MoeThinkingBudgetLogitProcessor
  

  以及

  extra_body={
          "custom_logit_processor": Glm4MoeThinkingBudgetLogitProcessor().to_str(),
          "custom_params": {
              "thinking_budget": 8192, # max reasoning length in tokens
          },
      },
  

xLLM

详细指令请查看 此处。

与其他自动化工具集成

Midscene.js

Midscene.js 是一个由视觉模型驱动的开源 UI 自动化 SDK（软件开发工具包），支持通过 JavaScript 或 Yaml 格式的过程语法实现多平台自动化。

Midscene.js 已完成与 GLM-V 模型的集成。您可以通过 Midscene.js 集成指南 快速体验 GLM-V。

以下是两个帮助您快速入门的示例：

• 通过 TypeScript 脚本调用 Midscene.js
• 通过 Yaml 脚本体验 Midscene.js

模型微调

LLaMA-Factory 已支持对 GLM-4.5V 及 GLM-4.1V-9B-Thinking 模型进行微调。下面是使用两张图片构建数据集的示例。您应将数据集组织为以下格式的 finetune.json，这是针对 GLM-4.1V-9B 微调的示例。

[
  {
    "messages": [
      {
        "content": "<image>Who are they?",
        "role": "user"
      },
      {
        "content": "ynchroneg>\nUser asked me to observe the image and find the answer. I know they are Kane and Goretzka from Bayern Munich.ost switching>\n<answer>They're Kane and Goretzka from Bayern Munich.</answer>",
        "role": "assistant"
      },
      {
        "content": "<image>What are they doing?",
        "role": "user"
      },
      {
        "content": "ynchroneg>\nI need to observe what these people are doing. Oh, they are celebrating on the soccer field.ost switching>\n<answer>They are celebrating on the soccer field.</answer>",
        "role": "assistant"
      }
    ],
    "images": [
      "mllm_demo_data/1.jpg",
      "mllm_demo_data/2.jpg"
    ]
  }
]

1. synchronneg> ... ost switching> 内部的内容不会作为对话历史或微调数据保存。
2. <image> 标签将被替换为相应的图像信息。
3. 对于 GLM-4.5V 模型，应移除 <answer> 和 </answer> 标签。

然后，您可以按照标准的 LLaMA-Factory 流程进行微调。

模型概览

GLM-4.6V

GLM-4.6V 系列模型包含两个版本：GLM-4.6V（106B），这是一个专为云端和高性能集群场景设计的基础模型；以及 GLM-4.6V-Flash（9B），这是一个针对本地部署和低延迟应用优化的轻量级模型。GLM-4.6V 在训练中将其上下文窗口扩展至 128k tokens，并在相似参数规模的模型中实现了视觉理解领域的 SoTA（最先进）性能。关键的是，我们首次集成了原生的 Function Calling（函数调用）能力。这有效地弥合了“视觉感知”与“可执行操作”之间的差距，为现实世界业务场景中的多模态智能体（agents）提供了统一的技术基础。

此外，在可比模型规模下，它在主要多模态基准测试中也达到了 SoTA 性能。GLM-4.6V 引入了几个关键特性：

• 原生多模态函数调用 支持原生的视觉驱动工具使用。图像、截图和文档页面可以直接作为工具输入传递，无需转换为文本，同时视觉输出（图表、搜索图片、渲染页面）会被解析并整合到推理链中。这实现了从感知到理解再到执行的闭环。

• 图文交错内容生成 支持从复杂的多模态输入进行高质量混合媒体创作。GLM-4.6V 接收涵盖文档、用户输入和工具检索图像的多模态上下文，并合成适合任务的连贯的、交错的图文内容。在生成过程中，它可以主动调用搜索和检索工具来收集和整理额外的文本和视觉内容，生成丰富且基于视觉的内容。

• 多模态文档理解 GLM-4.6V 可以处理多达 128K tokens 的多文档或长文档输入，直接将格式丰富的页面作为图像进行解析。它联合理解文本、布局、图表、表格和图片，能够准确理解复杂的、以图像为主的文档，而无需预先转换为纯文本。

• 前端复制与视觉编辑 从 UI 截图重建像素级精确的 HTML/CSS，并支持自然语言驱动的编辑。它通过视觉检测布局、组件和样式，生成干净的代码，并通过简单的用户指令应用迭代视觉修改。

GLM-4.5V

GLM-4.5V 基于智谱 AI 的 GLM-4.5-Air。它延续了 GLM-4.1V-Thinking 的技术路线，在 42 个公开视觉 - 语言基准测试中，在同规模模型中取得了 SOTA 性能。它涵盖了常见任务，如图像、视频和文档理解，以及 GUI 智能体操作。

除了基准性能外，GLM-4.5V 还注重实际可用性。通过高效的混合训练，它能够处理多种类型的视觉内容，实现全谱系的视觉推理，包括：

• 图像推理（场景理解、复杂多图分析、空间识别）
• 视频理解（长视频分割与事件识别）
• GUI 任务（屏幕阅读、图标识别、桌面操作辅助）
• 复杂图表与长文档解析（研究报告分析、信息提取）
• Grounding（视觉定位）（精确视觉元素定位）

该模型还引入了一个 Thinking Mode（思考模式）开关，允许用户在快速响应和深度推理之间进行平衡。此开关的工作方式与 GLM-4.5 语言模型相同。

GLM-4.1V-9B

基于 GLM-4-9B-0414 基础模型构建的 GLM-4.1V-9B-Thinking 模型引入了一种推理范式，并使用 RLCS（课程采样强化学习）全面增强模型能力。它在 10B 级别的 VLM（视觉语言模型）中实现了最强的性能，并在 18 项基准任务中与更大的 Qwen-2.5-VL-72B 持平或超越。

我们还开源了基础模型 GLM-4.1V-9B-Base，以支持研究人员探索视觉语言模型能力的极限。

与上一代 CogVLM2 和 GLM-4V 系列相比，GLM-4.1V-Thinking 带来了：

1. 该系列首个专注于推理的模型，在数学之外的多个领域表现出色。
2. 支持 64k 上下文长度。
3. 支持 任意宽高比 和高达 4k 图像分辨率。
4. 提供双语（中文/英文）开源版本。

GLM-4.1V-9B-Thinking 集成了 Chain-of-Thought（思维链）推理机制，提高了准确性、丰富性和可解释性。在 10B 参数规模下，它在 28 项基准任务中的 23 项上领先，尽管体积更小，但在 18 项任务上优于 Qwen-2.5-VL-72B。

遗留问题

自 GLM-4.1V 开源以来，我们收到了社区的广泛反馈，并且清楚地意识到该模型仍存在许多不足。在后续迭代中，我们尝试解决了一些常见问题——例如重复的思考输出和格式错误——这些问题在新版本中得到了一定程度的缓解。

然而，该模型仍有一些局限性和问题，我们将尽快修复：

1. 纯文本问答能力仍有很大提升空间。在本开发周期中，我们的主要重点是视觉多模态场景，我们将在未来的更新中增强纯文本能力。
2. 在某些情况下，模型可能仍然会过度思考甚至重复自己，尤其是在处理复杂提示时。
3. 在某些情况下，模型可能会在结尾处再次重述答案。
4. 仍然存在某些感知局限性，例如计数准确性和识别特定个人，这些仍需改进。

感谢您的耐心和理解。我们也欢迎在 Issue 部分提供反馈和建议——我们将尽可能回应和改进！

引用

如果您使用了本模型，请引用以下论文：

@misc{vteam2025glm45vglm41vthinkingversatilemultimodal,
      title={GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning},
      author={V Team and Wenyi Hong and Wenmeng Yu and Xiaotao Gu and Guo Wang and Guobing Gan and Haomiao Tang and Jiale Cheng and Ji Qi and Junhui Ji and Lihang Pan and Shuaiqi Duan and Weihan Wang and Yan Wang and Yean Cheng and Zehai He and Zhe Su and Zhen Yang and Ziyang Pan and Aohan Zeng and Baoxu Wang and Bin Chen and Boyan Shi and Changyu Pang and Chenhui Zhang and Da Yin and Fan Yang and Guoqing Chen and Jiazheng Xu and Jiale Zhu and Jiali Chen and Jing Chen and Jinhao Chen and Jinghao Lin and Jinjiang Wang and Junjie Chen and Leqi Lei and Letian Gong and Leyi Pan and Mingdao Liu and Mingde Xu and Mingzhi Zhang and Qinkai Zheng and Sheng Yang and Shi Zhong and Shiyu Huang and Shuyuan Zhao and Siyan Xue and Shangqin Tu and Shengbiao Meng and Tianshu Zhang and Tianwei Luo and Tianxiang Hao and Tianyu Tong and Wenkai Li and Wei Jia and Xiao Liu and Xiaohan Zhang and Xin Lyu and Xinyue Fan and Xuancheng Huang and Yanling Wang and Yadong Xue and Yanfeng Wang and Yanzi Wang and Yifan An and Yifan Du and Yiming Shi and Yiheng Huang and Yilin Niu and Yuan Wang and Yuanchang Yue and Yuchen Li and Yutao Zhang and Yuting Wang and Yu Wang and Yuxuan Zhang and Zhao Xue and Zhenyu Hou and Zhengxiao Du and Zihan Wang and Peng Zhang and Debing Liu and Bin Xu and Juanzi Li and Minlie Huang and Yuxiao Dong and Jie Tang},
      year={2025},
      eprint={2507.01006},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2507.01006},
}

GLM-V 快速上手指南

GLM-V 是智谱 AI 开源的视觉语言模型（VLM）系列，包含 GLM-4.6V、GLM-4.5V 和 GLM-4.1V 等版本，具备强大的多模态感知与推理能力。本指南将帮助您快速完成环境搭建与模型部署。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 系统要求：建议配备 NVIDIA GPU（显存根据模型大小而定）。
• Python 版本：推荐 Python 3.8 及以上。
• 依赖库：
  • 必须安装 transformers，且版本需升级至 5.2.0 或更高。
  • 推理引擎二选一：vLLM 或 SGLang（两者依赖可能冲突，请勿同时安装）。

2. 安装步骤

2.1 克隆仓库并安装基础依赖

git clone https://github.com/THUDM/GLM-V.git
cd GLM-V
pip install -r requirements.txt

注意：安装完成后，请检查 transformers 版本是否满足要求。

2.2 下载模型权重

推荐使用国内镜像源加速下载。以 GLM-4.6V 为例：

• Hugging Face: 链接
• ModelScope (推荐): 链接

其他版本（如 GLM-4.5V、GLM-4.1V）也可在 ModelScope 上找到对应资源。

3. 基本使用

3.1 本地快速测试 (Transformers)

如果您希望快速体验模型效果，可使用内置的 Gradio 界面或命令行工具。

启动 Web 界面：

python trans_infer_gradio.py

该脚本支持文本、图片、视频、PDF 等多模态输入。

启动命令行交互：

python trans_infer_cli.py

3.2 高性能服务部署 (vLLM)

如需通过 API 提供服务，建议使用 vLLM 进行部署。以下为启动示例：

vllm serve zai-org/GLM-4.6V \
     --tensor-parallel-size 4 \
     --tool-call-parser glm45 \
     --reasoning-parser glm45 \
     --enable-auto-tool-choice \
     --served-model-name glm-4.6v \
     --allowed-local-media-path / \
     --mm-encoder-tp-mode data \
     --mm_processor_cache_type shm

提示：更多详细配置可参考 vLLM Recipes。

3.3 高性能服务部署 (SGLang)

若选择 SGLang 作为推理后端，请使用以下命令：

sglang serve --model-path zai-org/GLM-4.6V \
     --tp-size 4 \
     --tool-call-parser glm45 \
     --reasoning-parser glm45 \
     --served-model-name glm-4.6v \
     --mm-enable-dp-encoder \
     --port 8000 \
     --host 0.0.0.0

注意：

• 建议增加环境变量 SGLANG_VLM_CACHE_SIZE_MB（例如设置为 1024）以优化视频理解缓存。
• 默认开启思考模式，如需关闭可在请求中添加 extra_body={"chat_template_kwargs": {"enable_thinking": False}}。