UI-Venus 1.5

UI-Venus 1.5 是一款面向稳健真实世界应用的统一端到端 GUI 智能体。该模型家族包含两个密集型（2B/8B）和一个 MoE 型（30B-A3B）变体，以满足各类下游场景需求。

UI-Venus 1.0 的升级点：

• 🔹 训练中期阶段：在 30 多个数据集上进行了 100 亿 token 的预训练，用于构建基础的 GUI 语义理解能力。
• 🔹 在线强化学习：支持全轨迹回放，实现长时程动态导航。
• 🔹 模型融合：整合了视觉定位、网页和移动端专长，形成统一的智能体。

结果： 在 ScreenSpot-Pro（69.6%）、VenusBench-GD（75.0%）、AndroidWorld（77.6%）等基准测试中达到 SOTA 水平，并在 40 多款中国主流移动应用中表现出稳健的导航能力。

---

📈 UI-Venus 基准性能

图示： UI-Venus 1.5 在多个基准上的表现。该模型在关键的视觉定位基准（ScreenSpot-Pro、VenusBench-GD、OSWorld-G、UI-Vision）以及智能体基准（AndroidWorld、AndroidLab、VenusBench-Mobile）上均取得了 SOTA 成绩。

---

🚀 新闻

• [2026年2月] 我们发布了 UI-Venus 1.5，这是一款专为稳健真实世界应用设计的端到端 GUI 智能体。
• [2026年2月] 我们推出了 VenusBench-Mobile，这是一个针对移动端 GUI 智能体的高难度在线基准测试。详情请见分支 VenusBench-Mobile。
• [2025年12月] 我们发布了 VenusBench-GD，这是一个全面的跨平台 GUI 视觉定位基准测试。详情请见分支 VenusBench-GD。
• [2025年8月] 我们发布了 UI-Venus 1.0，这是我们首款 GUI 智能体模型。

---

概述

• 演示
• Venus 框架
• 快速入门
• 基准测试结果
• 联系方式
• 引用

---

✨ 演示

中文应用演示视频 / 中文应用演示视频

Ximalaya - 喜马拉雅

打开喜马拉雅，帮我播放疯狂动物城2，设置列表循环播放。
打开喜马拉雅，播放“Zootopia 2”，并设置为列表循环模式。

---

Qimao Novel - 七猫免费小说

打开七猫免费小说，将小说脑洞榜前三名都加入书架。
打开七猫免费小说，把“脑洞榜”前三名的小说添加到书架上。

---

Weibo - 微博

打开微博，搜索杭州天气，并根据天气进行评论。
打开微博，搜索“杭州天气”，然后根据当前天气状况发表评论。

---

Xiaohongshu - 小红书

打开小红书，搜索烘焙教程，找到播放量大于1w的视频进行播放。
打开小红书，搜索“烘焙教程”，然后播放一条播放量超过1万次的视频。

---

Toutiao - 今日头条

打开今日头条，点击进入热榜第1名，查看事件速览。
打开今日头条，点击进入热门榜单的第一条新闻，查看事件摘要。

---

Venus 框架

我们提供了一个完整的 Android 自动化框架，用于将 UI-Venus 1.5 部署为自主移动智能体。

功能：

• 🎯 支持自然语言单任务执行
• 🔄 多设备并行批量处理
• 📊 轨迹记录与回放
• 🔁 智能循环检测

👉 文档 → | 中文文档 →

支持的应用： 包括微博、小红书、淘宝、美团、哔哩哔哩、支付宝等在内的 40 多款中国主流应用。

---

🚀 快速入门

安装

pip install -r requirements.txt

视觉定位评估

编辑 scripts/run_gd_auto.sh 或 scripts/run_gd_ddp.sh 进行配置：

# GPU 配置
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 模型配置
MODEL_PATH="/path/to/UI-Venus-1.5"  # 您的模型检查点路径

# 数据集配置（选择其一）
# ScreenSpot-Pro
IMGS_PATH="/path/to/Screenspot-pro/images"
TEST_PATH="/path/to/Screenspot-pro/annotations"

运行评估：

# 单/多 GPU，使用 device_map="auto"
bash scripts/run_gd_auto.sh

# 多 GPU，使用 DDP（适合大规模数据集，速度更快）
bash scripts/run_gd_ddp.sh

导航评估

编辑 scripts/run_navi.sh 进行配置：

# GPU 配置
CUDA_DEVICES="0,1,2,3"

# 模型配置
MODEL_PATH="/path/to/UI-Venus-1.5"

# 输入输出
INPUT_FILE="examples/trace/trace.json"   # 导航任务文件
OUTPUT_FILE="./results/navi/output.json"

# 提示类型配置（非常重要！）
PROMPT_TYPE="mobile"      # 选项：“web”用于网页任务，“mobile”用于移动端任务（默认为 mobile）

# vLLM 配置
TENSOR_PARALLEL_SIZE=4    # 应与 GPU 数量一致
GPU_MEMORY_UTIL=0.8       # 如出现 OOM，请降低
MAX_MODEL_LEN=16192

提示类型选择：

• PROMPT_TYPE="mobile" - 使用移动端专用提示，适用于 Android/iOS 应用导航任务。
• PROMPT_TYPE="web" - 使用网页专用提示，适用于浏览器或网页导航任务。

运行评估：

# 默认使用移动端提示
bash scripts/run_navi.sh

---

详细基准测试结果

视觉定位基准

模型	VenusBench-GD	ScreenSpot-Pro	OSworld-G	UI-Vision
Qwen3-VL-30B-A3B	52.4	53.7	69.3	61.2
Step-GUI-8B	-	62.6	-	-
MAI-UI-8B	65.2	65.8	60.1	40.7
MAI-UI-32B	-	67.9	67.6	47.1
UI-Venus-1.0-7B	49.0	50.8	54.6	26.5
UI-Venus-1.0-72B	70.2	61.9	62.2	36.8
UI-Venus-1.5-2B	67.3	57.7	59.4	44.8
+ ZoomIn	67.9	64.6	61.4	46.8
UI-Venus-1.5-8B	72.3	68.4	69.7	46.5
+ ZoomIn	72.6	73.9	70.6	51.7
UI-Venus-1.5-30B-A3B	75.0	69.6	70.6	54.7
+ ZoomIn	74.3	74.8	72.2	57.8

导航基准测试

模型	参数量	AndroidWorld	AndroidLab	VenusBench-Mobile	WebVoyager
通用多模态模型
GPT-4o	-	-	31.2	-	55.5
Claude-3.7	-	-	-	-	84.1
Qwen3-VL-30B-A3B	30B	54.3	42.0*	8.7	47.5*
GLM-4.6V	106B	57.0	-	-	-
Gemini-2.5-Pro	-	69.7	-	-	-
Seed1.8	-	70.7	-	-	-
GUI专用模型
UI-TARS-72B	72B	46.6	-	-	-
UI-TARS-1.5	-	-	-	-	84.8
Step-GUI-8B	8B	67.7	47.8*	8.0	-
Holo2-30B-A3B	30B	71.6	-	-	83.0
MAI-UI-8B	8B	70.7	-	12.7	-
MAI-UI-32B	32B	73.3	-	-	-
OpenAI-CUA	-	-	-	-	87.0
AutoGLM-Mobile	9B	-	46.8	-	-
我们的模型
UI-Venus-1.0-7B	7B	49.1	41.3	8.1	-
UI-Venus-1.0-72B	72B	65.9	49.3	15.4	-
UI-Venus-1.5-2B	2B	55.6	36.2 / 44.2†	8.7	56.4
UI-Venus-1.5-8B	8B	73.7	55.1 / 68.1†	16.1	70.8
UI-Venus-1.5-30B-A3B	30B	77.6	52.9 / 68.1†	21.5	76.0

* 由我们评估的结果。 † 由人工评估者手动验证的结果。

---

联系方式

如有任何问题或合作意向，请联系：

• 邮箱: 联系维护人员
• 微信群: 扫描加入我们的讨论群

---

引用

如果您觉得我们的工作有所帮助，请引用以下内容：

# UI-Venus 1.5
@misc{venusteam2026uivenus15technicalreport,
      title={UI-Venus-1.5 技术报告}, 
      author={金星团队及高长龙、顾章轩、刘宇林、邱欣宇、沈书恒、温岳、夏天宇、许振宇、曾正文、周贝彤、周兴然、陈伟志、戴孙浩、窦静雅、龚一辰、郭源、郭振林、李峰、李倩、林金震、周宇琪、朱林超、陈亮、郭振宇、孟昌华、王伟强},
      year={2026},
      eprint={2602.09082},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2602.09082}, 
}

# UI-Venus 1.0
@misc{gu2025uivenustechnicalreportbuilding,
      title={UI-Venus 技术报告：使用 RFT 构建高性能 UI 代理}, 
      author={顾章轩、曾正文、许振宇等},
      year={2025},
      eprint={2508.10833},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.10833}, 
}

---

许可协议

本项目仅用于研究和教育目的。

UI-Venus 1.5 快速上手指南

UI-Venus 1.5 是一个统一的端到端 GUI 智能体，专为鲁棒的现实世界应用设计。模型家族包含两个稠密模型（2B/8B）和一个混合专家模型（30B-A3B），支持网页和移动端（Android/iOS）的复杂导航与操作任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.10 或更高版本
• GPU:
  • 推理/评估：建议至少 1 张 NVIDIA GPU (显存需求视模型大小而定，2B 模型约需 6GB+，30B MoE 模型建议多卡或多显存)
  • 驱动：已安装兼容的 CUDA 驱动
• 依赖管理: pip

提示：国内开发者建议使用国内镜像源加速依赖下载（如清华源、阿里源）。

安装步骤

1. 克隆仓库

   git clone https://github.com/inclusionAI/UI-Venus.git
   cd UI-Venus
   

2. 安装依赖 推荐使用国内镜像源安装 Python 依赖：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载模型权重 从 Hugging Face 或 ModelScope（魔搭社区，国内加速推荐）下载 UI-Venus 1.5 模型权重。

   假设您已将模型下载至本地路径 /path/to/UI-Venus-1.5。

基本使用

UI-Venus 主要支持两类核心任务：界面元素定位 (Grounding) 和 任务导航 (Navigation)。以下是基于官方脚本的最简运行示例。

1. 界面元素定位评估 (Grounding Evaluation)

此步骤用于测试模型在截图中标识特定 UI 元素的能力（如 ScreenSpot-Pro 数据集）。

配置脚本 编辑 scripts/run_gd_auto.sh，设置 GPU 和模型路径：

# 设置可见 GPU (例如使用 0 号卡)
export CUDA_VISIBLE_DEVICES=0

# 设置模型本地路径
MODEL_PATH="/path/to/UI-Venus-1.5"

# 设置数据集路径 (以 ScreenSpot-Pro 为例)
IMGS_PATH="/path/to/Screenspot-pro/images"
TEST_PATH="/path/to/Screenspot-pro/annotations"

运行评估

# 单卡或多卡自动分配模式
bash scripts/run_gd_auto.sh

# 或者使用 DDP 模式加速大规模数据集评估
# bash scripts/run_gd_ddp.sh

2. 任务导航评估 (Navigation Evaluation)

此步骤用于测试模型执行多步操作任务的能力（如“打开微信并发送消息”）。

配置脚本 编辑 scripts/run_navi.sh，关键配置如下：

# 设置 GPU 设备
CUDA_DEVICES="0"

# 设置模型本地路径
MODEL_PATH="/path/to/UI-Venus-1.5"

# 输入输出文件
INPUT_FILE="examples/trace/trace.json"   # 包含导航任务的 JSON 文件
OUTPUT_FILE="./results/navi/output.json"

# 【重要】提示词类型选择
# "mobile": 针对 Android/iOS App 任务 (默认)
# "web": 针对浏览器/网页任务
PROMPT_TYPE="mobile"

# vLLM 配置 (根据显存调整)
TENSOR_PARALLEL_SIZE=1    # 若使用多卡并行，此处设为显卡数量
GPU_MEMORY_UTIL=0.8       # 显存利用率，若报 OOM 错误请调低此值
MAX_MODEL_LEN=16192

运行评估

# 执行导航任务评估
bash scripts/run_navi.sh

3. 部署为自主移动智能体 (可选)

若需在真实 Android 设备上运行自动化任务，请参考项目中的 Venus_framework 目录。该框架支持：

• 自然语言单任务执行
• 多设备并行批处理
• 轨迹记录与回放

详细部署文档请查看：Venus_framework/README_CN.md