MobiAgent：可定制移动智能体的系统化框架

| MobiAgent论文 | MobiMem论文 | Huggingface | App |

English | 中文

---

关于

MobiAgent 是一个功能强大且可定制的移动智能体系统，包含：

• 智能体模型家族：MobiMind
• 智能体加速框架：AgentRR
• 智能体基准测试：MobiFlow

系统架构：

新闻

• [2026.3.14] 🔥 我们很高兴地宣布发布 MobiClaw，这是我们首个基于GUI的移动“爪子”工具，以及新的GUI模型：MobiMind-1.5-4B。
• [2025.12.26] 📱 现已支持在智能手机上进行纯设备端推理！ 请参阅 phone_runner/README.md 开始使用。
• [2025.12.25] 🛠️ 我们发布了 统一GUI智能体运行器，支持一键配置多种模型（MobiAgent、UI-TARS、AutoGLM、Qwen-VL、Gemini 等）。请参阅 Unify Runner README 开始使用。
• [2025.12.08] 我们发布了 MobiMind-Reasoning-4B 及其量化版本 MobiMind-Reasoning-4B-AWQ。
• [2025.11.03] 增加了多任务执行支持。详情请参阅 Multi-task README。
• [2025.11.03] 引入了用户画像记忆系统，可通过 --user_profile on 启用。详情请参阅 User Profile README。

完整新闻

• [2025.10.31] 我们基于 Qwen3-VL-4B-Instruct 更新了 MobiMind-Mixed 模型！请前往 MobiMind-Mixed-4B-1031 下载。
• [2025.9.30] 增加了经验记忆模块。
• [2025.9.29] 我们开源了 MobiMind 的混合版本，能够同时完成决策和接地任务！请前往 MobiMind-Mixed-7B 下载。

• [2025.8.30] 我们开源了 MobiAgent！

评估结果

演示

移动端演示：

AgentRR 演示（左：首次任务；右：后续任务）

多任务演示

任务：在小红书查找2025年性价比最高的单反相机推荐，然后在淘宝搜索该相机，并将淘宝中的相机品牌、名称和价格通过微信发送给小赵。

项目结构

• agent_rr/ - 智能体记录与回放框架
• collect/ - 数据收集、标注、处理和导出工具
• runner/ - 智能体执行器，通过 ADB 连接到手机，执行任务并记录执行轨迹
• MobiFlow/ - 基于里程碑DAG的智能体评估基准
• app/ - MobiAgent 安卓应用
• deployment/ - MobiAgent 移动应用的服务部署

快速入门

使用 MobiAgent 应用

如果您想直接通过我们的APP体验MobiAgent，请在 下载链接 下载并尽情享受吧！

使用 Python 脚本

如果您希望通过利用 Android Debug Bridge (ADB) 控制手机的 Python 脚本来尝试 MobiAgent，请按照以下步骤操作：

1. 环境设置

创建虚拟环境，例如使用 conda：

conda create -n MobiMind python=3.10
conda activate MobiMind

最简单的环境设置（如果您只想单独运行智能体运行器）：

# 安装最简依赖
pip install -r requirements_simple.txt

完整的环境设置（如果您想运行整个流程）：

pip install -r requirements.txt

# 下载 OmniParser 模型权重
for f in icon_detect/{train_args.yaml,model.pt,model.yaml} ; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done

# 下载嵌入模型工具
huggingface-cli download BAAI/bge-small-zh --local-dir ./utils/experience/BAAI/bge-small-zh

# 安装 OCR 工具（可选）
sudo apt install tesseract-ocr tesseract-ocr-chi-sim

# 如果需要 GPU 加速 OCR，请根据您的 CUDA 版本安装 paddlepaddle-gpu
# 详情请参考 https://www.paddlepaddle.org.cn/install/quick，以 CUDA 11.8 为例：
python -m pip install paddlepaddle-gpu>=3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/

2. 移动设备设置

• 在您的安卓设备上下载并安装 ADBKeyboard
• 在您的安卓设备上启用开发者选项并允许 USB 调试
• 使用 USB 数据线将您的手机连接到电脑

3. 模型部署

下载模型检查点后，使用 vLLM 部署模型推理服务：

下载链接：

• MobiMind-1.5-4B：
  • huggingface
  • modelscope

vllm serve MobiMind-Reasoning-4B --port <decider/grounder port>
vllm serve Qwen/Qwen3-4B-Instruct --port <planner port>

4. 智能体记忆设置（可选）

MobiAgent 支持三种记忆系统来提升智能体性能：

4.1 用户画像记忆

用户偏好记忆系统（Mem0）为规划提供个性化上下文。要启用它，请设置后端存储：

Milvus（向量数据库）——用于向量搜索：

# 下载安装脚本
curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.sh

# 启动 Docker 容器
bash standalone_embed.sh start

将以下内容添加到你的 .env 文件中：

MILVUS_URL=http://localhost:19530
EMBEDDING_MODEL=BAAI/bge-small-zh
EMBEDDING_MODEL_DIMS=384
OPENAI_API_KEY=your_key_here
OPENAI_BASE_URL=your_llm_endpoint_here

Neo4j（GraphRAG）——基于图的检索功能为可选：

docker run -d --name neo4j \
  -p 7474:7474 -p 7687:7687 \
  -e NEO4J_AUTH=neo4j/testpassword \
  neo4j:5.23.0

将以下内容添加到你的 .env 文件中：

NEO4J_URL=neo4j://localhost:7687
NEO4J_USERNAME=neo4j
NEO4J_PASSWORD=testpassword

有关详细配置，请参阅 runner README。

4.2 经验记忆

经验记忆使规划器能够检索并使用类似的过往任务执行经验。在启动代理运行程序时，通过添加 --use_experience 标志来启用该功能。

4.3 行动记忆

行动记忆（AgentRR）会缓存并重用成功的动作序列，以加速任务执行。有关 ActTree 的复现和评估，请参阅 AgentRR README (ActTree)。对于正在作为实验性功能集成到 Agent Runner 中的 ActChain（基于经验的动作记忆），请参阅 #49。

5. 启动代理运行程序

将你想要测试的任务列表写入 runner/mobiagent/task.json，然后启动代理运行程序：

基本启动：

python -m runner.mobiagent.mobiagent \
  --service_ip <服务IP> \
  --decider_port <决策者服务端口> \
  --planner_port <规划者服务端口>
  # grounder_port 在 MobiMind-1.5-4B-0313 之后已被弃用

带用户画像记忆：

python -m runner.mobiagent.mobiagent \
  --service_ip <服务IP> \
  --decider_port <决策者服务端口> \
  --planner_port <规划者服务端口> \
  --user_profile on \
  --use_graphrag off  # 使用 'on' 表示启用 GraphRAG（Neo4j），使用 'off' 表示启用向量检索（Milvus）
  # grounder_port 在 MobiMind-1.5-4B-0313 之后已被弃用

常用参数：

• --service_ip：服务 IP 地址（默认值：localhost）
• --decider_port：决策者服务端口（默认值：8000）
• --grounder_port：分组者服务端口（默认值：8001）
• --planner_port：规划者服务端口（默认值：8002）
• --e2e：使用端到端模型并消除分组调用以加速执行（默认值：false）
• --device：设备类型，Android 或 Harmony（默认值：Android）
• --user_profile：启用用户画像记忆，on 或 off（默认值：off）
• --use_graphrag：是否使用 GraphRAG（Neo4j）进行检索，on 或 off（默认值：off）
• --use_experience：启用基于经验的任务重写功能（默认值：False）
• --data_dir：保存结果数据的目录（默认值：runner/mobiagent/data/）
• --task_file：任务列表文件的路径（默认值：runner/mobiagent/task.json）

运行程序会自动控制设备，并调用代理模型来完成预定义的任务。

重要提示：如果你部署了 MobiMind-Reasoning-4B 模型推理，则需将决策者和分组者的端口都设置为 <决策者/分组者端口>。

有关所有可用参数，请参阅 runner README。

多任务执行：

对于需要与多个应用交互的复杂任务，可以使用多任务执行器：

python -m runner.mobiagent.multi_task.mobiagent_refactored \
  --service_ip <服务IP> \
  --decider_port <决策者服务端口> \
  --grounder_port <分组者服务端口> \
  --planner_port <规划者服务端口> \
  --task "你的多步骤任务描述"

有关详细配置、多截图支持、OCR 设置以及经验记忆集成等内容，请参阅 多任务 README。

子模块详细使用说明

有关详细的使用说明，请参阅各个子模块目录中的 README.md 文件。

引用

如果你在研究中发现 MobiAgent 非常有用，请随时引用我们的论文：

@misc{zhang2025mobiagentsystematicframeworkcustomizable,
  title={MobiAgent：一种用于可定制移动代理的系统化框架}, 
  author={Cheng Zhang 和 Erhu Feng、Xi Zhao、Yisheng Zhao、Wangbo Gong、Jiahui Sun、Dong Du、Zhichao Hua、Yubin Xia 和 Haibo Chen},
  year={2025},
  eprint={2509.00531},
  archivePrefix={arXiv},
  primaryClass={cs.MA},
  url={https://arxiv.org/abs/2509.00531}, 
}
@misc{liu2025trainingenablingselfevolutionagents,
  title={超越训练：利用 MOBIMEM 实现代理的自我进化}, 
  author={Zibin Liu、Cheng Zhang、Xi Zhao、Yunfei Feng、Bingyu Bai、Dahu Feng、Erhu Feng、Yubin Xia 和 Haibo Chen},
  year={2025},
  eprint={2512.15784},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2512.15784}, 
}

致谢

我们衷心感谢 MobileAgent、UI-TARS、Qwen-VL 等开源项目。同时，我们也感谢国家高端智能家电创新研究院对本项目的大力支持。

星标历史

MobiAgent 快速上手指南

MobiAgent 是一个可定制的移动智能体系统，包含模型家族 (MobiMind)、加速框架 (AgentRR) 和评测基准 (MobiFlow)。本指南将帮助您快速在本地部署并运行基于 Python 脚本的 MobiAgent。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu) 或 macOS
• Python 版本: 3.10+
• 移动设备: Android 手机 (需开启 USB 调试) 或 鸿蒙设备
• 硬件: 建议配备 NVIDIA GPU 以加速模型推理和 OCR 处理

前置依赖

• ADB (Android Debug Bridge): 用于电脑与手机通信
• Git: 代码克隆
• Docker: 可选，用于部署记忆模块所需的向量数据库 (Milvus) 或图数据库 (Neo4j)

2. 安装步骤

2.1 创建虚拟环境

推荐使用 Conda 管理环境：

conda create -n MobiMind python=3.10
conda activate MobiMind

2.2 安装依赖

方案 A：最小化安装 (仅运行 Agent Runner)

pip install -r requirements_simple.txt

方案 B：完整安装 (包含数据处理、OCR 及完整流程)

pip install -r requirements.txt

# 下载 OmniParser 模型权重
for f in icon_detect/{train_args.yaml,model.pt,model.yaml} ; do huggingface-cli download microsoft/OmniParser-v2.0 "$f" --local-dir weights; done

# 下载嵌入模型工具 (国内用户若访问 HuggingFace 困难，可自行替换为 ModelScope 下载)
huggingface-cli download BAAI/bge-small-zh --local-dir ./utils/experience/BAAI/bge-small-zh

# 安装 OCR 工具 (Linux)
sudo apt install tesseract-ocr tesseract-ocr-chi-sim

# [可选] 安装 PaddlePaddle GPU 版本以加速 OCR (根据 CUDA 版本选择，例如 CUDA 11.8)
python -m pip install paddlepaddle-gpu>=3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/

2.3 移动端设置

1. 在 Android 手机上下载并安装 ADBKeyboard。
2. 进入手机「开发者选项」，开启「USB 调试」。
3. 使用 USB 数据线将手机连接至电脑，并确保 adb devices 能识别到设备。

2.4 部署模型服务

下载模型检查点并使用 vLLM 启动推理服务。 推荐国内用户使用 ModelScope 下载模型。

模型下载地址:

• MobiMind-1.5-4B: ModelScope | HuggingFace

启动命令示例:

# 启动决策/定位模型 (Decider/Grounder)
vllm serve MobiMind-Reasoning-4B --port 8000

# 启动规划模型 (Planner)
vllm serve Qwen/Qwen3-4B-Instruct --port 8002

注意: 如果使用 MobiMind-Reasoning-4B 端到端模型，只需启动一个服务端口，并在运行脚本时指定相同端口。

2.5 配置记忆模块 (可选)

若需启用用户画像记忆功能，需部署后端存储：

启动 Milvus (向量数据库):

curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.sh
bash standalone_embed.sh start

在项目根目录创建 .env 文件并配置：

MILVUS_URL=http://localhost:19530
EMBEDDING_MODEL=BAAI/bge-small-zh
EMBEDDING_MODEL_DIMS=384
OPENAI_API_KEY=your_key_here
OPENAI_BASE_URL=your_llm_endpoint_here

3. 基本使用

3.1 准备任务

编辑 runner/mobiagent/task.json 文件，填入您想要测试的任务列表。

3.2 启动 Agent

运行以下命令启动智能体执行器：

基础模式:

python -m runner.mobiagent.mobiagent \
  --service_ip localhost \
  --decider_port 8000 \
  --planner_port 8002

启用用户画像记忆模式:

python -m runner.mobiagent.mobiagent \
  --service_ip localhost \
  --decider_port 8000 \
  --planner_port 8002 \
  --user_profile on \
  --use_graphrag off

多任务复杂场景示例:

python -m runner.mobiagent.multi_task.mobiagent_refactored \
  --service_ip localhost \
  --decider_port 8000 \
  --grounder_port 8000 \
  --planner_port 8002 \
  --task "在小红书查找 2025 年性价比最高的单反相机推荐，然后在淘宝搜索该相机，并将淘宝中的相机品牌、名称和价格通过微信发送给小赵。"

常用参数说明

• --service_ip: 服务 IP 地址 (默认 localhost)
• --decider_port: 决策模型服务端口
• --planner_port: 规划模型服务端口
• --e2e: 是否使用端到端模型 (设为 true 可跳过 Grounder 调用)
• --device: 设备类型 (Android 或 Harmony)
• --user_profile: 是否开启用户画像记忆 (on/off)
• --task: 直接传入单条任务描述 (用于多任务模式)

运行后，MobiAgent 将自动控制连接的移动设备，调用模型完成指定任务，并记录执行轨迹。