👋 大家好！我们自豪地推出首个完全开源的 GUI 代理，它同时包含了模型和基础设施。我们的解决方案采用即插即用的设计，无需任何云端依赖，让您完全掌控数据隐私。

English | 简体中文

📰 新闻

• 🎁 [2025-12-18] 我们在 arXiv 上发布了 Step-GUI 技术报告！
• 🎁 [2025-12-18] 我们发布了一个功能更强大的 API，用于 GUI 自动化任务。在此申请 API 访问权限！
• 🎁 [2025-12-12] 我们推出了支持多设备管理和任务分配的 MCP-Server。请参阅 安装与快速入门 和 MCP-Server 设置 获取设置说明。
• 🎁 [2025-12-1] 我们感谢以下项目和作者提供的量化工具及教程：GGUF_v1、GGUF_v2、EXL3、教程_CN、教程_EN
• 🎁 [2025-11-31] 我们在 Hugging Face 和 Model Scope 上发布了轻量级的 4B 模型 GELab-Zero-4B-preview。
• 🎁 [2025-11-31] 我们发布了来自 AndroidDaily 基准测试的任务。
• 🎁 [2025-11-30] 我们发布了当前的 GELab-Zero 工程基础设施。
• 🎁 [2025-10] 我们的关于 GELab-Engine 的 研究 论文已被 NeurIPS 2025 接受。

📑 目录

• 📖 背景
• 🎥 应用演示
• 🏆 开放式基准测试
• 🚀 安装与快速入门
• 📝 引用

📧 联系方式

您可以通过加入我们的微信群与我们联系和交流：

微信群

📖 背景

随着人工智能在消费级设备中的应用日益普及，移动 Agent 研究正处于一个关键转折点：从 “可行性验证” 向 “大规模应用” 过渡。尽管基于 GUI 的解决方案具有普遍兼容性，但移动生态系统的碎片化却带来了沉重的工程负担，阻碍了创新。GELab-Zero 的设计正是为了打破这些壁垒。

• ⚡️ 开箱即用的全栈基础设施
  通过统一的一键推理流程，解决了移动生态系统的碎片化问题。它能够自动处理多设备的 ADB 连接、依赖项和权限，使开发者可以专注于战略创新，而非工程基础设施。

• 🖥️ 消费级本地部署
  内置一个针对 Mac (M系列) 和 NVIDIA RTX 4060 完全优化的 4B GUI 代理模型。支持完全本地运行，确保在标准消费级硬件上实现数据隐私和低延迟。

• 📱 灵活的任务分配与编排
  支持跨多个设备分配任务，并记录交互轨迹。提供 ReAct 循环、多智能体协作和定时任务三种灵活模式，以应对复杂的现实业务场景。

• 🚀 加速从原型到生产
  赋能开发者快速验证交互策略，同时允许企业直接复用底层基础设施进行零成本的 MCP 集成，从而弥合“可行性验证”与“大规模应用”之间的关键鸿沟。

🎥 应用演示

推荐 - 科幻电影

任务：帮我找一些最近上映的好看的科幻电影

📹 点击查看演示视频

推荐 - 旅行目的地

任务：帮我找个周末可以带孩子去的地方

📹 点击查看演示视频

实用任务 - 领取补贴

任务：在企业福利平台上领取餐券

📹 点击查看演示视频

实用任务 - 地铁线路查询

任务：查询地铁1号线是否正常运营，然后导航到最近的1号线地铁站入口

📹 点击查看演示视频

复杂任务 - 多商品购物

任务：前往饿了么上最近的盒马鲜生门店，购买以下商品：红色草莓300克、秘鲁比安卡蓝莓125克（直径18毫米）、当季新鲜黄土豆500克、甜味小南瓜750克、盒马大粒虾滑、盒马纯黑豆浆2瓶（每瓶300毫升）、小王子夏威夷果可可脆饼120克、盒马菠菜面、盒马五香牛肉、好欢螺螺蛳粉5袋（重辣特臭口味，每袋400克）、m&m's牛奶巧克力豆100克。

📹 点击查看演示视频

复杂任务 - 信息检索

任务：在知乎上搜索“如何学习财务管理”，并查看第一个点赞数超过1万的回答。

📹 点击查看演示视频

复杂任务 - 条件搜索

任务：在淘宝上找到一双白色帆布鞋，尺码为37码，价格低于100元，然后将符合条件的第一件商品加入收藏夹。

📹 点击查看演示视频

复杂任务 - 在线答题

任务：前往百词斩，帮我完成词汇学习任务。

📹 点击查看演示视频

🏆 开放基准测试

我们在多个开源基准测试中对GELab-Zero-4B-preview模型进行了全面评估，涵盖了GUI理解、本地化和交互等多个维度。与其他开源模型的对比结果如下：

基准测试结果显示，GELab-Zero-4B-preview在多个开源基准测试中表现出色，尤其在真实移动场景（Android世界）中表现尤为突出，证明了其在实际应用中的强大能力。

🚀 安装与快速入门

端到端推理只需几个简单步骤：

1. 搭建LLM推理环境（ollama或vllm）
2. 搭建安卓设备执行环境（adb配置）并开启开发者模式
3. 搭建Agent运行环境（gelab-zero一键部署脚本）
4. 搭建轨迹可视化环境（可选） 上述第三方基础设施依赖非常成熟，无需担心。

我们假设您已安装Python 3.12及以上版本，并具备一定的命令行操作基础。如果您尚未安装Python环境，请参考步骤0进行安装。

步骤0：Python环境搭建

如果您尚未安装Python 3.12及以上版本，可以参考以下步骤进行安装： 为了商业友好性和跨平台支持，我们推荐使用miniforge来安装和管理Python环境。官方网站：https://github.com/conda-forge/miniforge

• Windows用户：必须使用powershell

1. 直接下载并手动安装Miniforge。请参考：https://github.com/conda-forge/miniforge中的“Install”部分。安装时，请务必勾选将Conda添加到**PATH**环境变量的选项，以确保Conda能够正确激活。

2. 安装完成后，激活Conda。打开PowerShell并输入以下命令：

# 在PowerShell中激活Conda
conda init powershell

# 允许Conda脚本在PowerShell启动时运行
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

成功激活的标志是终端最新一行开头显示“(base)”。

3. 建议使用VS Code进行代码执行和调试。请从官方网站下载并安装：https://code.visualstudio.com/

• MAC和Linux用户：

1. 使用命令行下载并安装miniforge：

curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

安装完成后，创建并激活一个新的Python环境：

conda create -n gelab-zero python=3.12 -y
conda activate gelab-zero

步骤1：LLM推理环境搭建

我们验证了两种主流的LLM本地推理部署方法：ollama和vllm。建议个人用户使用ollama方法，而企业用户及有一定技术背景的用户可以选择vllm方法，以获得更稳定的推理服务。

步骤1.1：Ollama搭建（推荐个人用户）

对于进行本地推理的个人用户，我们强烈建议使用Ollama进行本地部署，因为它具有安装简单、使用方便的优点。

• Windows和Mac用户：可以直接从官方网站下载并安装图形界面版本：https://ollama.com/。

• Linux用户：请参考官方文档进行安装：https://ollama.com/download/linux。Linux用户的一键安装命令如下：

# 下载并安装最新版Linux Ollama AppImage
curl -fsSL https://ollama.com/install.sh | sh

步骤1.2：GELab-Zero-4B-preview模型搭建

完成Ollama的安装后，您需要使用以下命令下载并部署gelab-zero-4b-preview模型：

# 如果尚未安装huggingface cli，先执行此命令
pip install huggingface_hub

# 如果在中国下载速度较慢，可以尝试使用镜像加速“https://hf-mirror.com”

# WINDOWS用户可以使用以下命令：
# $env:HF_ENDPOINT = "https://hf-mirror.com"

# LINUX和MAC用户可以使用以下命令：
# export HF_ENDPOINT="https://hf-mirror.com"

# 从huggingface下载gelab-zero-4b-preview模型权重
hf download --no-force-download stepfun-ai/GELab-Zero-4B-preview --local-dir gelab-zero-4b-preview

# 将模型导入 ollama
cd gelab-zero-4b-preview
ollama create gelab-zero-4b-preview -f Modelfile
# 如果 Windows 用户遇到错误，需要指定安装路径，例如：
# C:\Users\admin\AppData\Local\Programs\Ollama\ollama.exe create gelab-zero-4b-preview -f Modelfile

# 如果您的电脑配置较低，可以考虑对模型进行量化以提高推理速度。请注意，量化可能会导致模型性能的一定程度下降。
# 详细文档请参阅：https://docs.ollama.com/import#quantizing-a-model

# 使用 int8 精度对模型进行量化（精度损失较小，模型大小变为 4.4G）：
ollama create -q q8_0 gelab-zero-4b-preview 

# 使用 int4 精度对模型进行量化（精度损失较大，模型大小变为 2.2G）：
ollama create -q Q4_K_M gelab-zero-4b-preview

# 恢复到原始精度：
ollama create -q f16 gelab-zero-4b-preview

• Windows 用户：您可以打开 Ollama 应用程序，选择 gelab-zero-4b-preview 模型，并发送一条消息来测试该模型是否能够正确回复。

• Mac 和 Linux 用户：您可以通过以下命令测试模型是否已成功安装：

curl -X POST http://localhost:11434/v1/chat/completions \
 -H "Content-Type: application/json" \
 -d '{
       "model": "gelab-zero-4b-preview",
       "messages": [{"role": "user", "content": "Hello, GELab-Zero!"}]
     }'

预期输出应包含模型的回复内容，表明模型已成功安装并运行。例如：

{"id":"chatcmpl-174","object":"chat.completion","created":1764405566,"model":"gelab-zero-4b-preview","system_fingerprint":"fp_ollama","choices":[{"index":0,"message":{"role":"assistant","content":"Hello! I'm here to help with any questions or information you might need. How can I assist you today?"},"finish_reason":"stop"}],"usage":{"prompt_tokens":16,"completion_tokens":24,"total_tokens":40}}

完成上述步骤后，说明您的 ollama 环境和 gelab-zero-4b-preview 模型已成功安装，您可以继续下一步的移动执行环境配置。

第二步：Android 设备执行环境设置

为了让 GELab-Zero 能够控制手机执行任务，您需要完成以下步骤来配置移动执行环境：

1. 在手机上启用开发者模式和 USB 调试。
2. 安装 ADB 工具，并确保计算机可以通过 ADB 连接到手机。（如果您已经安装了 adb 工具，可以跳过此步骤）
3. 使用 USB 数据线将手机连接到计算机，并通过 adb devices 命令确认连接是否成功。

步骤 2.1：启用开发者模式和 USB 调试

通常，您可以通过以下步骤在 Android 手机上启用开发者模式和 USB 调试：

1. 打开手机上的“设置”应用。
2. 找到“关于手机”或“系统”选项，连续点击“版本号”10 次以上，直到出现“您现在是开发者”的提示。
3. 返回主“设置”菜单，找到“开发者选项”。【重要，必须启用】
4. 在“开发者选项”中，找到并启用“USB 调试”功能。按照屏幕上的指示启用 USB 调试。【重要，必须启用】

不同品牌的手机可能会有一些细微差异，请根据您的具体情况调整。一般来说，搜索“<手机品牌> 如何启用开发者模式”即可找到相关教程。 完成设置后，界面应如下图所示：

步骤 2.2：安装 ADB 工具

ADB（Android Debug Bridge）是用于 Android 设备与计算机之间通信的桥梁工具。您可以通过以下步骤安装 ADB 工具：

• Windows 用户：
  1. 下载 ADB 工具包：https://dl.google.com/android/repository/platform-tools-latest-windows.zip，并将其解压到合适的位置。
  2. 将解压后的文件夹路径添加到系统环境变量中，以便在命令行中直接使用 adb 命令。详细步骤请参阅：https://learn.microsoft.com/en-us/previous-versions/office/developer/sharepoint-2010/ee537574(v=office.14) 。具体步骤包括：

1. 在“开始”菜单中右键单击“计算机”，选择“属性”。
2. 单击“高级系统设置”。
3. 在“系统属性”对话框中，单击“环境变量”按钮。
4. 在“系统变量”部分，找到并选择“Path”变量，然后单击“编辑”按钮。
5. 在“编辑环境变量”对话框中，单击“新建”，然后输入 ADB 工具包的解压路径。
6. 单击“确定”保存更改，并关闭所有对话框。

• MAC 和 Linux 用户：

1. 您可以通过 Homebrew（Mac）或包管理器（Linux）安装 ADB 工具。如果尚未安装 Homebrew，需先使用以下命令进行安装：

ruby -e $(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)

2. 然后使用以下命令安装 ADB 工具：

brew cask install android-platform-tools

步骤 2.3：将 Android 设备连接到计算机

使用 USB 数据线将手机连接到计算机后，打开终端或命令提示符，并输入以下命令：

adb devices

如果连接成功，您将看到类似以下的输出，显示已连接的设备列表：

List of devices attached
AN2CVB4C28000731        device

如果没有看到任何设备，请检查 USB 数据线以及手机上的 USB 调试设置是否已正确启用。首次连接时，手机可能会弹出授权提示，只需选择“允许”即可。如图所示：

如果安装失败，您可以参考第三方文档：https://github.com/quickappcn/issues/issues/120 进行进一步排查。

第三步：GELab-Zero 代理运行环境设置

完成上述步骤后，您可以通过以下命令部署 GELab-Zero 的运行环境：

# 克隆仓库
git clone https://github.com/stepfun-ai/gelab-zero
cd gelab-zero

# 安装依赖
pip install -r requirements.txt

# 进行单任务推理
python examples/run_single_task.py

（可选）步骤4：轨迹可视化环境搭建

轨迹默认会保存在 running_log/server_log/os-copilot-local-eval-logs/ 目录下。你可以使用 streamlit 来可视化轨迹：

# 如果希望局域网内的其他设备也能访问，使用 --server.address 0.0.0.0
streamlit run --server.address 0.0.0.0 visualization/main_page.py --server.port 33503

# 如果只希望在本机访问，使用以下命令：
streamlit run --server.address 127.0.0.1 visualization/main_page.py --server.port 33503

然后打开浏览器，访问 http://localhost:33503 即可进入可视化界面。

每次任务执行都会生成一个唯一的会话ID，你可以在可视化界面中通过该ID查询并展示对应的轨迹。

对于点击、滑动等带有位置信息的操作，会在截图上标注出来，以便更好地理解智能体的行为。

---

（可选）使用 llama.cpp 部署

请确保你已经将 GELab-Zero-4B-preview 模型下载到本地。

步骤1：使用 llama.cpp 将模型转换为 GGUF 格式

克隆官方的 llama.cpp 仓库：

git clone https://github.com/ggerganov/llama.cpp.git 
cd llama.cpp
pip install -r requirements.txt
# 如果存在依赖冲突，请创建一个 Conda 虚拟环境。

将模型转换为 GGUF 格式。命令行参数说明如下：

1. 第一个路径指向你从 Hugging Face 下载的本地 GELab-Zero-4B-preview 模型。
2. --outtype 指定量化精度。
3. --outfile 是输出文件名，你可以自定义路径。

# 不进行量化，保持模型完整质量
python convert_hf_to_gguf.py /PATH/TO/gelab-zero-4b-preview --outtype f16 --verbose --outfile gelab-zero-4b-preview_f16.gguf

# 量化版本（速度更快但会有一定损失；已知问题：`<THINK>` 可能会变成 `<THIN>`）
python convert_hf_to_gguf.py /PATH/TO/gelab-zero-4b-preview --outtype q8_0 --verbose --outfile gelab-zero-4b-preview_q8_0.gguf

供参考，INT8 量化的 GGUF 文件大小约为 4.28 GB。

由于 GELab-Zero-4B-preview 是视觉模型，还需要导出一个 mmproj 文件：

# 对 mmproj 进行 INT8 量化
python convert_hf_to_gguf.py /PATH/TO/gelab-zero-4b-preview --outtype q8_0 --verbose --outfile gelab-zero-4b-preview_q8_0_mmproj.gguf --mmproj

供参考，INT8 量化的 mmproj GGUF 文件大小约为 454 MB。

步骤2：使用 Jan 在本地提供服务

你可以使用任何兼容 llama.cpp 的客户端来启动本地 API 服务；这里以 Jan 为例：

下载 Jan 客户端并安装。

进入设置 → 模型提供商 → 选择 llama.cpp，然后导入模型：

选择刚刚转换好的两个 GGUF 文件：

回到模型界面，点击“开始”。

创建一个聊天对话以验证模型是否正常运行：

当 token 流正常时，启动本地 API 服务器。

进入设置 → 本地 API 服务器，在服务器配置中创建一个 API 密钥，然后启动服务：

步骤3：调整 GELab-Zero Agent 的模型配置

llama.cpp 的服务与 Ollama 略有不同，因此你需要在 GELab-Zero Agent 中修改模型配置。具体有两个地方：

1. 在 model_config.yaml 中，更新端口和 API 密钥（使用你刚刚创建的密钥）：

local:
    api_base: "http://localhost:1337/v1"
    api_key: "YOUR_KEY"

2. 在 examples/run_single_task.py 中，移除模型名称中的任何后缀参数（第21行）：

local_model_config = {
    "task_type": "parser_0922_summary",
    "model_config": {
        "model_name": "gelab-zero",
        "model_provider": "local",
        "args": {
            "temperature": 0.1,
            "top_p": 0.95,
            "frequency_penalty": 0.0,
            "max_tokens": 4096,
        },

---

（可选）MCP-Server 搭建

步骤1：启动 MCP 服务器以支持多设备管理和任务分发

# 启动 mcp 服务器
python mcp_server/detailed_gelab_mcp_server.py

步骤2：在 Chatbox 中导入 MCP 工具

📝 引用

如果您在研究中使用了 GELab-Zero，请考虑引用我们的工作 :)

@misc{yan2025stepguitechnicalreport,
      title={Step-GUI 技术报告}, 
      author={Haolong Yan 和 Jia Wang 和 Xin Huang 和 Yeqing Shen 和 Ziyang Meng 和 Zhimin Fan 和 Kaijun Tan 和 Jin Gao 和 Lieyu Shi 和 Mi Yang 和 Shiliang Yang 和 Zhirui Wang 和 Brian Li 和 Kang An 和 Chenyang Li 和 Lei Lei 和 Mengmeng Duan 和 Danxun Liang 和 Guodong Liu 和 Hang Cheng 和 Hao Wu 和 Jie Dong 和 Junhao Huang 和 Mei Chen 和 Renjie Yu 和 Shunshan Li 和 Xu Zhou 和 Yiting Dai 和 Yineng Deng 和 Yingdan Liang 和 Zelin Chen 和 Wen Sun 和 Chengxu Yan 和 Chunqin Xu 和 Dong Li 和 Fengqiong Xiao 和 Guanghao Fan 和 Guopeng Li 和 Guozhen Peng 和 Hongbing Li 和 Hang Li 和 Hongming Chen 和 Jingjing Xie 和 Jianyong Li 和 Jingyang Zhang 和 Jiaju Ren 和 Jiayu Yuan 和 Jianpeng Yin 和 Kai Cao 和 Liang Zhao 和 Liguo Tan 和 Liying Shi 和 Mengqiang Ren 和 Min Xu 和 Manjiao Liu 和 Mao Luo 和 Mingxin Wan 和 Na Wang 和 Nan Wu 和 Ning Wang 和 Peiyao Ma 和 Qingzhou Zhang 和 Qiao Wang 和 Qinlin Zeng 和 Qiong Gao 和 Qiongyao Li 和 Shangwu Zhong 和 Shuli Gao 和 Shaofan Liu 和 Shisi Gao 和 Shuang Luo 和 Xingbin Liu 和 Xiaojia Liu 和 Xiaojie Hou 和 Xin Liu 和 Xuanti Feng 和 Xuedan Cai 和 Xuan Wen 和 Xianwei Zhu 和 Xin Liang 和 Xin Liu 和 Xin Zhou 和 Yingxiu Zhao 和 Yukang Shi 和 Yunfang Xu 和 Yuqing Zeng 和 Yixun Zhang 和 Zejia Weng 和 Zhonghao Yan 和 Zhiguo Huang 和 Zhuoyu Wang 和 Zheng Ge 和 Jing Li 和 Yibo Zhu 和 Binxing Jiao 和 Xiangyu Zhang 和 Daxin Jiang},
      year={2025},
      eprint={2512.15431},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2512.15431}, 
}

@software{gelab_zero_2025,
  title={GELab-Zero：先进的移动代理推理系统},
  author={GELab 团队},
  year={2025},
  url={https://github.com/stepfun-ai/gelab-zero}
}

@misc{gelab_engine,
      title={GUI 探索实验室：通过多轮强化学习提升智能体的屏幕导航能力}, 
      author={Haolong Yan 和 Yeqing Shen 和 Xin Huang 和 Jia Wang 和 Kaijun Tan 和 Zhixuan Liang 和 Hongxin Li 和 Zheng Ge 和 Osamu Yoshie 和 Si Li 和 Xiangyu Zhang 和 Daxin Jiang},
      year={2025},
      eprint={2512.02423},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2512.02423}, 
}

⭐ 星标历史

GELab-Zero 快速上手指南

环境准备

系统要求

• Python 3.12+ 环境
• 支持 ADB 的 Android 设备（需开启开发者模式）
• macOS (M系列芯片) 或 NVIDIA RTX 4060 及以上显卡（推荐）

前置依赖

1. Python 环境（推荐使用 Miniforge 管理）

   • Windows: Miniforge 安装包
   • macOS/Linux: 使用命令行安装

     curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
     bash Miniforge3-$(uname)-$(uname -m).sh
     

2. ADB 环境

   • 安装 Android SDK 平台工具（推荐使用 华为云镜像）
   • 开启手机开发者模式并连接设备

3. 依赖库（通过国内源加速）

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

---

安装步骤

1. 创建 Python 环境

   conda create -n gelab-zero python=3.12 -y
   conda activate gelab-zero
   

2. 克隆项目仓库

   git clone https://github.com/stepfun-ai/gelab-zero.git
   cd gelab-zero
   

3. 一键部署 Agent

   bash install.sh
   

4. 安装 LLM 推理框架（可选）

   # Ollama 安装（国内用户可使用镜像）
   curl -fsSL https://ollama.com/install.sh | sh
   
   # 或 vLLM 安装
   pip install vllm
   

---

基本使用

启动 GUI 代理

gelab-zero gui

启动后自动连接已连接的 Android 设备

运行示例任务

gelab-zero run task.json

task.json 示例：

{
  "task": "查找最近的 Hema Fresh 门店并购买指定商品",
  "device": "auto"
}

查看轨迹记录

gelab-zero visualize --task-id 12345

📌 注意：首次使用需通过 gelab-zero config 配置 ADB 路径和模型参数