我们提出了 MAI-UI，这是一个涵盖全尺寸范围的 GUI 代理基础模型家族，包括 2B、8B、32B 和 235B-A22B 等不同规模的变体。我们的核心贡献包括：

• 🔧 代理与用户交互及 MCP 增强：使代理能够与用户互动，并利用 MCP 工具完成任务。
• ☁️ 设备—云端协同系统：根据任务执行状态和数据敏感性，动态选择在设备端或云端执行。
• 📈 动态强化学习扩展：大规模强化学习，支持并行环境扩展（最高可达 512 个）和上下文长度扩展（最高可达 50）。
• 🏆 最先进的性能：MAI-UI 在 GUI 对齐和导航任务中树立了新的 SOTA 基准。

MAI-UI 性能概览

📰 新闻

• [2026-03-20] 📄 博客文章：我们的 对齐 和 导航 博客文章现已发布！
• [2026-01-15] 🥇 AndroidWorld 新纪录：MAI-UI-235B 以 76.7% 的成功率，在纯视觉、端到端模型的 AndroidWorld 排行榜 上夺得第一名。
• [2026-01-13] 🥇 MAI-UI 横扫 ScreenSpot-Pro：MAI-UI（32B、8B、2B）目前在 ScreenSpot-Pro 排行榜 的所有规模类别中均位居第一。我们分别取得了 67.9%、65.7% 和 57.4% 的创纪录成绩——值得注意的是，这些成绩是在 未使用任何放大技巧 的情况下达成的。
• [2026-01-04] 🤝 我们正在招聘！我们诚邀研究科学家、工程师和实习生加入，共同致力于 GUI 基础代理及其应用的研究。有意者请将简历发送至：yue.w@alibaba-inc.com
• [2025-12-29] 🏆 新排行榜纪录：MAI-UI 在 MobileWorld 基准测试中取得了 41.7% 的成功率，创下端到端模型性能的新纪录！
• [2025-12-29] 📄 技术报告与官网：我们的技术报告现已在 arXiv 上发布，官方项目 网站 也已上线。
• [2025-12-29] 🤗 模型发布：我们很高兴在 Hugging Face 上发布了 MAI-UI-8B 和 MAI-UI-2B 的权重。

📑 目录

• 🎥 演示
• 🚀 快速入门
• 📝 引用
• 📧 联系方式
• 📄 许可证

🎥 演示

演示 1 - 日常生活场景

触发 ask_user 以获取更多信息来完成任务。

用户指令：去盒马买菜，买一份雪花牛肉卷、一份娃娃菜、一份金针菇，再随便买一个豆制品。对了，去日历中待办里检查下我老婆有什么要在盒马买的，我确认下要不要一起买。

演示 2 - 导航

使用 mcp_call 调用高德地图工具进行导航。

用户指令：我现在在阿里巴巴云谷园区，我要先去招商银行取钱，再去城西银泰城。帮我规划公交地铁出行的路线，选一家在4公里以内的、用时最短的招商银行，两段行程总时间不要超过2小时，把规划行程记在笔记中我一会看，标题为下午行程，内容为两段行程细节。

演示 3 - 购物

跨应用协作完成任务。

用户指令：在小红书上搜索“timeless earth 2026”，将其中一张商品图片保存到相册，然后使用保存的图片在淘宝上搜索同款商品，并将其加入我的购物车。

演示 4 - 工作

跨应用协作完成任务。

用户指令：我需要紧急出差上海，帮我去12306查询现在最早从杭州西站去上海虹桥、有二等座票的班次，在钉钉前沿技术研讨群里把到达时间同步给大家，再把我和水番的会议日程改到明天同一时间，在群里发消息@他，礼貌解释因为临时出差调整会议时间，询问他明天是否有空

演示 5 - 仅设备端

设备与云端协作完成简单任务，无需调用云端模型。

用户指令：去飞猪查询12月25日去，28日回，杭州到三亚的往返机票

演示 6 - 设备-云端协作

设备与云端协作完成复杂任务，当任务超出设备端模型能力时，需调用云端模型。

用户指令：去淘票票给我买一张25号下午的疯狂动物城2的电影票，选亲橙里的电影院，中间的座位，加一份可乐和爆米花的单人餐，停在最后的订单界面

🚀 安装与快速入门

第一步：克隆仓库

git clone https://github.com/Tongyi-MAI/MAI-UI.git
cd MAI-UI

第二步：使用 vLLM 启动模型 API 服务

从 HuggingFace 下载模型，并使用 vLLM 部署 API 服务：

HuggingFace 模型路径：

• MAI-UI-2B
• MAI-UI-8B

使用 vLLM 部署模型：

# 安装 vLLM
pip install vllm==0.11.0  # vllm==0.11.0 和 transformers>=4.57.0

# 启动 vLLM API 服务器（将 MODEL_PATH 替换为本地模型路径或 HuggingFace 模型 ID）
python -m vllm.entrypoints.openai.api_server \
    --model <huggingface_model_path> \
    --served-model-name MAI-UI-8B \
    --host 0.0.0.0 \
    --port 8000 \
    --tensor-parallel-size 1 \
    --trust-remote-code

💡 提示：

• 重要提示：必须使用 VLLM=0.11.0
• 根据您的 GPU 数量调整 --tensor-parallel-size 以进行多 GPU 推理
• 模型将在 http://localhost:8000/v1 提供服务

第三步：安装依赖

pip install -r requirements.txt

第四步：运行 cookbook 笔记本

我们在 cookbook/ 目录中提供了两个笔记本：

4.1 接地演示

grounding.ipynb 演示如何使用 MAI 接地智能体定位 UI 元素：

cd cookbook
jupyter notebook grounding.ipynb

在运行之前，请更新笔记本中的 API 端点：

agent = MAIGroundingAgent(
    llm_base_url="http://localhost:8000/v1",  # 更新为您的 vLLM 服务器地址
    model_name="MAI-UI-8B",                   # 使用已部署的模型名称
    runtime_conf={
        "history_n": 3,
        "temperature": 0.0,
        "top_k": -1,
        "top_p": 1.0,
        "max_tokens": 2048,
    },
)

4.2 导航智能体演示

run_agent.ipynb 演示完整的 UI 导航智能体：

cd cookbook
jupyter notebook run_agent.ipynb

同样，更新 API 端点配置：

agent = MAIUINaivigationAgent(
    llm_base_url="http://localhost:8000/v1",  # 更新为您的 vLLM 服务器地址
    model_name="MAI-UI-8B",                   # 使用已部署的模型名称
    runtime_conf={
        "history_n": 3,
        "temperature": 0.0,
        "top_k": -1,
        "top_p": 1.0,
        "max_tokens": 2048,
    },
)

---

📝 引用

如果您觉得本项目对您的研究有所帮助，请考虑引用我们的工作：

@misc{zhou2025maiuitechnicalreportrealworld,
      title={MAI-UI 技术报告：以现实世界为中心的基础 GUI 智能体}, 
      author={周汉章、张旭、童攀荣、张佳楠、陈亮宇、孔秋雨、蔡承霖、刘晨、王悦、周景仁、史蒂文·霍伊},
      year={2025},
      eprint={2512.22047},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2512.22047}, 
}
@misc{chen2025uiinsenhancingguigrounding,
      title={UI-Ins：通过多视角指令推理增强 GUI 接地能力}, 
      author={陈亮宇、周汉章、蔡承霖、张佳楠、童攀荣、孔秋雨、张旭、刘晨、刘宇奇、王文轩、王悦、金琴、史蒂文·霍伊},
      year={2025},
      eprint={2510.20286},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2510.20286}, 
}
@misc{kong2025mobileworldbenchmarkingautonomousmobile,
      title={MobileWorld：在智能体-用户交互及 MCP 增强环境中评估自主移动智能体}, 
      author={孔秋雨、张旭、杨振宇、高诺兰、刘晨、童攀荣、蔡承霖、周汉章、张佳楠、陈亮宇、刘志丹、史蒂文·霍伊、王悦},
      year={2025},
      eprint={2512.19432},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2512.19432}, 
}

📧 联系方式

如有任何问题或需要支持，请联系：

• 周汉章
  邮箱：hanzhang.zhou@alibaba-inc.com

• 张旭
  邮箱：hanguang.zx@alibaba-inc.com

• 王悦
  邮箱：yue.w@alibaba-inc.com

📄 许可证

MAI-UI Mobile 是由阿里云开发的基础 GUI 智能体，采用 Apache 许可证（版本 2.0）授权。

本产品包含多种受其他开源许可证保护的第三方组件。 更多信息请参阅 NOTICE 文件。

MAI-UI 快速上手指南

MAI-UI 是通义千问团队推出的一系列 GUI 智能体基础模型（包含 2B、8B、32B 及 235B 等版本），支持端云协同、MCP 工具调用及动态强化学习，在屏幕定位（Grounding）和移动导航任务上达到业界领先水平。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.10 或更高
• GPU 要求:
  • 运行 2B/8B 模型建议至少配备一张显存充足的 NVIDIA GPU (如 A10/A100/RTX 4090 等)。
  • 多卡推理需配置好 NVLink 或 PCIe 通信。
• 前置依赖:
  • git
  • pip
  • jupyter notebook (用于运行示例)

💡 国内加速建议： 推荐使用 ModelScope（魔搭社区）下载模型，速度更快且稳定。

• MAI-UI-2B (ModelScope)
• MAI-UI-8B (ModelScope)

安装步骤

1. 克隆项目代码

git clone https://github.com/Tongyi-MAI/MAI-UI.git
cd MAI-UI

2. 部署模型服务 (使用 vLLM)

MAI-UI 需要通过 API 服务进行调用，官方推荐使用 vLLM 进行部署。

安装指定版本的 vLLM：

pip install vllm==0.11.0
# 注意：需同时确保 transformers>=4.57.0

启动 API 服务： 请将 <model_path> 替换为您本地下载的模型路径（或 HuggingFace/ModelScope 的模型 ID）。

python -m vllm.entrypoints.openai.api_server \
    --model <model_path> \
    --served-model-name MAI-UI-8B \
    --host 0.0.0.0 \
    --port 8000 \
    --tensor-parallel-size 1 \
    --trust-remote-code

参数说明：

• --tensor-parallel-size: 根据您的 GPU 数量调整（例如双卡设为 2），单卡设为 1。
• 服务启动后，API 地址默认为 http://localhost:8000/v1。

3. 安装项目依赖

返回项目根目录，安装运行脚本所需的依赖包：

pip install -r requirements.txt

基本使用

项目提供了两个 Jupyter Notebook 示例，分别演示界面元素定位 (Grounding) 和 完整导航代理 (Navigation) 功能。

场景一：界面元素定位 (Grounding)

该示例展示如何让 Agent 识别并定位屏幕上的 UI 元素。

1. 进入示例目录并启动 Notebook：

   cd cookbook
   jupyter notebook grounding.ipynb
   

2. 在 Notebook 中配置 API 连接信息：

   agent = MAIGroundingAgent(
       llm_base_url="http://localhost:8000/v1",  # 指向刚才启动的 vLLM 服务
       model_name="MAI-UI-8B",                   # 与服务启动时的 served-model-name 一致
       runtime_conf={
           "history_n": 3,
           "temperature": 0.0,
           "top_k": -1,
           "top_p": 1.0,
           "max_tokens": 2048,
       },
   )
   

场景二：完整导航代理 (Navigation)

该示例展示 Agent 如何结合 MCP 工具、用户交互完成复杂的跨应用任务（如购物、出行规划）。

1. 启动导航示例 Notebook：

   cd cookbook
   jupyter notebook run_agent.ipynb
   

2. 同样需要更新 API 配置以连接本地服务：

   agent = MAIUINaivigationAgent(
       llm_base_url="http://localhost:8000/v1",  # 指向刚才启动的 vLLM 服务
       model_name="MAI-UI-8B",                   # 与服务启动时的 served-model-name 一致
       runtime_conf={
           "history_n": 3,
           "temperature": 0.0,
           "top_k": -1,
           "top_p": 1.0,
           "max_tokens": 2048,
       },
   )
   

配置完成后，即可在 Notebook 中运行单元格，观察 MAI-UI 对指令的理解与执行过程。