【English | 中文】

概述 • 快速入门 • 模型 • 评估数据 • 技术报告

新闻

• [2025-06-03] 📄📄📄 我们发布了 AgentCPM-GUI 的 技术报告！请在此处查看：https://arxiv.org/abs/2506.01391。
• [2025-05-13] 🚀🚀🚀 我们开源了 AgentCPM-GUI，这是一款能够在设备端运行的 GUI 智能体，能够操作中英文应用，并具备 RFT 增强的推理能力。

概述

AgentCPM-GUI 是由 THUNLP、中国人民大学和 ModelBest 联合开发的开源设备端 LLM 智能体模型。它基于拥有 80 亿参数的 MiniCPM-V，以智能手机截图作为输入，能够自主执行用户指定的任务。

其主要特点包括：

• 高质量的 GUI 定位 — 在大规模双语 Android 数据集上进行预训练，显著提升了对常见 GUI 控件（按钮、输入框、标签、图标等）的本地化理解和识别能力。
• 中文应用操作 — 首个针对中文应用进行微调的开源 GUI 智能体，覆盖高德地图、大众点评、哔哩哔哩、小红书等 30 多款热门应用。
• 增强的规划与推理能力 — 通过强化微调（RFT），模型在输出操作之前会先“思考”，从而大幅提升复杂任务的成功率。
• 紧凑的动作空间设计 — 优化后的动作空间和简洁的 JSON 格式将平均动作长度缩短至 9.7 个 token，从而提高设备端推理效率。

演示案例（1倍速）：

https://github.com/user-attachments/assets/694d3c2c-12ce-4084-8feb-4937ca9ad247

快速入门

安装依赖

git clone https://github.com/OpenBMB/AgentCPM-GUI
cd AgentCPM-GUI
conda create -n gui_agent python=3.11
conda activate gui_agent
pip install -r requirements.txt

下载模型

从 Hugging Face 下载 AgentCPM-GUI，并将其放置在 model/AgentCPM-GUI 目录下。

Hugging Face 推理

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image
import json

# 1. 加载模型和分词器
model_path = "model/AgentCPM-GUI"  # 模型路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16)
model = model.to("cuda:0") 

# 2. 构建输入
instruction = "请点击屏幕上的‘会员’按钮"
image_path = "assets/test.jpeg"
image = Image.open(image_path).convert("RGB")

# 3. 将较长的一边调整为 1120 像素，以节省计算和内存资源
def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img
image = __resize__(image)

# 4. 构建消息格式
messages = [{
    "role": "user",
    "content": [
        f"<Question>{instruction}</Question>\n当前屏幕截图：",
        image
    ]
}]

# 5. 推理
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 通过设置为“required”或“optional”来启用或禁用“thought”
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# 角色
你是一名熟悉安卓系统触屏 GUI 操作的智能体，将根据用户的问题，分析当前界面的 GUI 元素和布局，生成相应的操作。

# 任务
针对用户问题，根据输入的当前屏幕截图，输出下一步的操作。

# 规则
- 以紧凑 JSON 格式输出
- 输出的操作必须遵循 Schema 约束

# Schema
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

outputs = model.chat(
    image=None,
    msgs=messages,
    system_prompt=SYSTEM_PROMPT,
    tokenizer=tokenizer,
    temperature=0.1,
    top_p=0.3,
    n=1,
)

# 6. 输出
print(outputs)

预期输出：

{"thought":"任务目标是点击屏幕上的‘会员’按钮。当前界面显示了应用的推荐页面，顶部有一个导航栏。点击‘会员’按钮可以访问应用的会员相关内容。","POINT":[729,69]}

注意：AgentCPM-GUI 输出的是范围为 0-1000 的相对坐标。转换公式如下：

rel_x, rel_y = [int(abs_x / width * 1000), int(abs_y / height * 1000)]
abs_x, abs_y = [int(rel_x / 1000 * width), int(rel_y / 1000 * height)]

其中，width 和 height 分别指原始图像的宽度和高度。

vLLM 推理

# 启动 vLLM 服务器
# 如果显存不足，可尝试添加 --max_model_len 2048
vllm serve model/AgentCPM-GUI --served-model-name AgentCPM-GUI --tensor_parallel_size 1 --trust-remote-code --limit-mm-per-prompt image=10

import base64
import io
import json
import requests
from PIL import Image

END_POINT = "http://localhost:8000/v1/chat/completions"  # 替换为实际端点

# 系统提示
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 通过设置为“required”或“optional”来启用或禁用“thought”
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# 角色
你是一名熟悉安卓系统触屏 GUI 操作的智能体，将根据用户的问题，分析当前界面的 GUI 元素和布局，生成相应的操作。

# 任务
针对用户问题，根据输入的当前屏幕截图，输出下一步的操作。

# 规则
- 以紧凑 JSON 格式输出
- 输出的操作必须遵循 Schema 约束

# 模式
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

def encode_image(image: Image.Image) -> str:
    """将PIL图像转换为base64编码的字符串。"""
    with io.BytesIO() as in_mem_file:
        image.save(in_mem_file, format="JPEG")
        in_mem_file.seek(0)
        return base64.b64encode(in_mem_file.read()).decode("utf-8")

def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img

def predict(text_prompt: str, image: Image.Image):
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": [
            {"type": "text", "text": f"<Question>{text_prompt}</Question>\n当前屏幕截图：(<image>./</image>)"},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(image)}"}}
        ]}
    ]

    payload = {
        "model": "AgentCPM-GUI",  # 您的模型名称
        "temperature": 0.1,
        "messages": messages,
        "max_tokens": 2048,
    }

    headers = {
        "Content-Type": "application/json",
    }

    response = requests.post(END_POINT, headers=headers, json=payload)
    assistant_msg = response.json()["choices"][0]["message"]["content"]
    return assistant_msg

image = __resize__(Image.open("assets/test.jpeg"))
instruction = "请点击屏幕上的‘会员’按钮"
response = predict(instruction, image)
print(response)

行动空间

在每一步中，智能体输出的是一个单一的JSON对象，其中包含：

• 一个（且仅一个）基本动作，从下面的列表中选择；
• 可选的修饰符（duration、thought）和/或任务级别的标志（STATUS）。

请注意，所有关键字都是区分大小写的，并且我们使用紧凑的JSON格式（即没有多余的空格），这会影响分词器的行为。

动作	必需字段	可选字段	目的	示例
点击	POINT:[x,y]	duration,thought,STATUS	在归一化的屏幕坐标上进行单次点击（0–1000，原点为左上角）。	{"POINT":[480,320]}
长按	POINT:[x,y] duration:1000	duration,thought,STATUS	在坐标处触摸并保持（设置较长的持续时间，例如超过200毫秒）。	{"POINT":[480,320],"duration":1000}
滑动	POINT:[x,y] to:"up" | "down" | "left" | "right" 或 to:[x,y]	duration,thought,STATUS	从起始点向某个方向 或 另一个坐标滑动。	{"POINT":[500,200],"to":"down"}
按键	PRESS:"HOME" | "BACK" | "ENTER"	duration,thought,STATUS	触发硬件或导航按钮。	{"PRESS":"HOME"}
输入文本	TYPE:"<text>"	duration,thought,STATUS	在当前输入焦点处插入给定文本。	{"TYPE":"Hello, world!"}
等待	duration	thought,STATUS	在不执行任何其他动作的情况下空闲指定的时间。	{"duration":500}
任务级状态	STATUS:"start" | "continue" | "finish" | "satisfied" | "impossible" | "interrupt" | "need_feedback"	duration,thought	报告任务进度；可以单独出现，也可以与基本动作一起出现。	{"STATUS":"finish"}

微调

提供了SFT和RFT训练的源代码——请参阅SFT和RFT。

性能评估

接地基准测试

模型	Fun2Point	Text2Point	Bbox2text	平均
AgentCPM-GUI-8B	79.1	76.5	58.2	71.3
Qwen2.5-VL-7B	59.8	59.3	50.0	56.4
Intern2.5-VL-8B	17.2	24.2	45.9	29.1
Intern2.5-VL-26B	14.8	16.6	36.3	22.6
OS-Genesis-7B	8.3	5.8	4.0	6.0
UI-TARS-7B	56.8	66.7	1.4	41.6
OS-Atlas-7B	53.6	60.7	0.4	38.2
Aguvis-7B	60.8	76.5	0.2	45.8
GPT-4o	22.1	19.9	14.3	18.8
带接地功能的GPT-4o	44.3	44.0	14.3	44.2

代理基准测试

数据集	Android 控制-低 TM	Android 控制-低 EM	Android 控制-高 TM	Android 控制-高 EM	GUI-Odyssey TM	GUI-Odyssey EM	AITZ TM	AITZ EM	中文 APP (CAGUI) TM	中文 APP (CAGUI) EM
AgentCPM-GUI-8B	94.39	90.20	77.70	69.17	90.85	74.96	85.71	76.38	96.86	91.28
Qwen2.5-VL-7B	94.14	84.96	75.10	62.90	59.54	46.28	78.41	54.61	74.18	55.16
UI-TARS-7B	95.24	91.79	81.63	74.43	86.06	67.90	80.42	65.77	88.62	70.26
OS-Genesis-7B	90.74	74.22	65.92	44.43	11.67	3.63	19.98	8.45	38.10	14.50
OS-Atlas-7B	73.03	67.25	70.36	56.53	91.83*	76.76*	74.13	58.45	81.53	55.89
Aguvis-7B	93.85	89.40	65.56	54.18	26.71	13.54	35.71	18.99	67.43	38.20
OdysseyAgent-7B	65.10	39.16	58.80	32.74	90.83	73.67	59.17	31.60	67.56	25.44
GPT-4o	-	19.49	-	20.80	-	20.39	70.00	35.30	3.67	3.67
Gemini 2.0	-	28.50	-	60.20	-	3.27	-	-	-	-
Claude	-	19.40	-	12.50	60.90	-	-	-	-	-

*不同的训练/测试划分

TM 和 EM 分别代表 类型匹配 和 完全匹配。所有评估数据和代码均已开源——详情请参见 这里。

评估数据

我们提供了 CAGUI，这是一个针对中文应用的评估基准，涵盖 定位 和 代理 任务。 可在 Hugging Face 上查看该数据集。

常见问题解答

点击此处查看 常见问题解答。

趋势

许可证

• 本仓库中的代码根据 Apache-2.0 许可证发布。

探索更多

                &nbsp.

引用

若 AgentCPM-GUI 对您的研究有所帮助，请引用以下内容：

@inproceedings{zhang-etal-2025-agentcpm,
      title={Agent{CPM}-{GUI}: Building Mobile-Use Agents with Reinforcement Fine-Tuning}, 
      author={Zhong Zhang and Yaxi Lu and Yikun Fu and Yupeng Huo and Shenzhi Yang and Yesai Wu and Han Si and Xin Cong and Haotian Chen and Yankai Lin and Jie Xie and Wei Zhou and Wang Xu and Yuanheng Zhang and Zhou Su and Zhongwu Zhai and Xiaoming Liu and Yudong Mei and Jianming Xu and Hongyan Tian and Chongyi Wang and Chi Chen and Yuan Yao and Zhiyuan Liu and Maosong Sun},
      year={2025},
      booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
}

AgentCPM-GUI 快速上手指南

AgentCPM-GUI 是一款由清华 NLP、中国人民大学和 ModelBest 联合开源的端侧 GUI 智能体模型。基于 MiniCPM-V (8B) 构建，支持中英文应用操作，具备强大的界面定位与推理规划能力。

1. 环境准备

• 系统要求：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.11
• 硬件要求：支持 CUDA 的 NVIDIA GPU (推荐显存 ≥ 16GB 以运行 bfloat16 精度)
• 前置依赖：Conda (推荐用于环境管理)

2. 安装步骤

2.1 克隆代码库并创建环境

git clone https://github.com/OpenBMB/AgentCPM-GUI
cd AgentCPM-GUI
conda create -n gui_agent python=3.11
conda activate gui_agent
pip install -r requirements.txt

提示：国内用户若下载依赖较慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 下载模型

从 Hugging Face 下载 AgentCPM-GUI 模型权重，并将其放置于项目根目录下的 model/AgentCPM-GUI 文件夹中。

国内加速：建议使用 ModelScope (魔搭社区) 镜像站下载，或配置 Hugging Face 镜像代理。

3. 基本使用

以下示例展示如何使用 Transformers 库加载模型并进行单次推理。

3.1 编写推理脚本

创建文件 infer.py，填入以下代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image
import json

# 1. 加载模型和分词器
model_path = "model/AgentCPM-GUI"  # 模型本地路径
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16)
model = model.to("cuda:0") 

# 2. 构建输入
instruction = "请点击屏幕上的‘会员’按钮"
image_path = "assets/test.jpeg" # 请确保该图片存在，或替换为你的截图路径
image = Image.open(image_path).convert("RGB")

# 3. 图像预处理：将长边缩放至 1120px 以节省显存
def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img
image = __resize__(image)

# 4. 构建消息格式
messages = [{
    "role": "user",
    "content": [
        f"<Question>{instruction}</Question>\n当前屏幕截图：",
        image
    ]
}]

# 5. 配置 Schema 与系统提示词
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
# 设置 "thought" 为必填项，启用推理能力
items.insert(insert_index, ("required", ["thought"])) 
ACTION_SCHEMA = dict(items)

SYSTEM_PROMPT = f'''# Role
你是一名熟悉安卓系统触屏 GUI 操作的智能体，将根据用户的问题，分析当前界面的 GUI 元素和布局，生成相应的操作。

# Task
针对用户问题，根据输入的当前屏幕截图，输出下一步的操作。

# Rule
- 以紧凑 JSON 格式输出
- 输出操作必须遵循 Schema 约束

# Schema
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

# 6. 执行推理
outputs = model.chat(
    image=None,
    msgs=messages,
    system_prompt=SYSTEM_PROMPT,
    tokenizer=tokenizer,
    temperature=0.1,
    top_p=0.3,
    n=1,
)

# 7. 输出结果
print(outputs)

3.2 运行与结果解析

运行脚本：

python infer.py

预期输出示例：

{"thought":"任务目标是点击屏幕上的‘会员’按钮。当前界面显示了应用的推荐页面，顶部有一个导航栏。点击‘会员’按钮可以访问应用的会员相关内容。","POINT":[729,69]}

坐标说明： 模型输出的坐标 POINT:[x, y] 为 相对坐标 (0-1000)。需根据原始图片分辨率转换为绝对像素坐标：

# rel_x, rel_y 为模型输出的 0-1000 坐标
# width, height 为原始图片的宽和高
abs_x = int(rel_x / 1000 * width)
abs_y = int(rel_y / 1000 * height)

3.3 支持的操作类型

模型输出的 JSON 中包含以下原子操作之一：

动作类型	关键字段示例	说明
点击	{"POINT":[480,320]}	在指定相对坐标处单击
长按	{"POINT":[480,320],"duration":1000}	长按指定时长 (毫秒)
滑动	{"POINT":[500,200],"to":"down"}	向指定方向滑动 (up/down/left/right) 或滑向特定坐标
按键	{"PRESS":"HOME"}	触发系统键 (HOME/BACK/ENTER)
输入文本	{"TYPE":"Hello"}	在当前焦点输入文本
等待	{"duration":500}	暂停指定时长
状态标记	{"STATUS":"finish"}	标记任务完成、不可能完成等状态