✨OpenPhone✨：面向 AI 手机的移动智能体基础模型

🎯 什么是 OpenPhone？

问题所在：大多数 AI 智能体依赖于昂贵的云端 API 和大模型，这对于现实世界的设备端部署来说是不切实际的。当用户的手机需要为每次交互调用外部服务时，他们面临着隐私问题、延迟问题和高昂成本。

我们的解决方案：OpenPhone 推出了首个专为设备端智能手机交互设计的开源、30亿参数智能体基础模型。这个紧凑的视觉语言模型完全在本地运行 —— 这意味着没有隐私顾虑、不依赖云端，以及零 API 成本。

🤔 为什么是 30亿参数？

我们相信移动 AI 的未来不仅在于让模型变得更大，更在于让它们在现实世界的限制下变得更智能、更高效。我们的 30亿参数模型是：

• ⚡ 边缘优化：效率足以在商用 GPU 和下一代移动 NPU 上运行。
• 🔒 隐私优先：所有计算都保留在你的设备上。
• 💰 完全免费：无需云端推理，没有持续的 API 费用。
• 🎯 高性能：通过先进的训练，达到与 70亿–90亿参数模型相当的性能。

💡 研究亮点

🔍 OpenPhone‑3B：轻量级智能体模型

考虑到当前边缘设备的计算限制，参数 ≤ 3B 的模型在能力与可部署性之间取得了实用的平衡。基于此洞察，我们推出了 OpenPhone‑3B，一个轻量级但功能强大的端侧智能体模型。

• 模型规模与架构：专为在严格的移动计算限制下进行高效端侧推理而设计的视觉语言模型。
• 原生边缘设计：主要作为本地智能体，兼容消费级 GPU 和移动 NPU，消除了对云端的持续依赖。
• GUI 感知的操作能力：经过训练，可在真实的移动任务中进行视觉理解、指令跟随和结构化操作生成。
• 开源发布：完整的模型权重、配置和推理栈，支持社区部署和开发。
• 实用最佳点：3B 规模提供了最佳平衡——性能显著强于微型模型，同时仍可在大型模型无法部署的场景下运行。

为什么 3B 是手机智能体的最佳选择

• 硬件适配：3B 参数完美契合消费级 GPU 内存（8-12GB）和新兴移动 NPU 的计算预算。
• 速度优势：与 7B 模型相比，3B 模型的推理速度快 3-5 倍，同时为亚秒级 GUI 响应保持了有竞争力的准确性。
• 能效优势：更小的模型占用延长了电池续航——这对于功耗影响用户体验的移动部署至关重要。
• 隐私优先：使手机任务完全在设备上运行，保护用户隐私，同时消除网络依赖。
• 成本节约：本地处理消除了昂贵的云端 API 和按请求计费，实现可持续运营。

🦾 PhoneClaw：您的 iPhone 自主 AI 管家

一个基于 Ralph Loop 构建的自主 iOS 手机管家——这是一种闭环执行方法，会一直运行直到每个子任务都通过其成功标准。其关键区别在于 双层自学习记忆，使得管家在每次会话后都能明显变得更智能：

• 用户记忆 —— 维护一个持久的用户档案（推断出的姓名、城市、应用习惯、任务历史），并注入到每个规划提示中，因此智能体从一开始就能做出符合上下文的智能决策。重复的问题会直接从记忆中回答，无需任何设备交互。
• 经验日志 —— 记录每次会话中特定于应用的导航知识：成功的点击坐标、失败模式、UI 时序特性。经验教训会进行语义去重，在确认后得到强化，并且当一个应用积累了 ≥ 20 条记录时会自动压缩——保持知识库的精简和高质量。
• 智能规划：视觉语言模型将每个任务分解为具有明确成功标准的子任务，从而实现精确的逐步骤评估和有针对性的重试，而非盲目重复。
• 交互式守护进程模式：连接一次，即可无限期接受不限量的任务——在整个会话期间，设备屏幕会自动保持开启。
• 学习模式：只需正常使用您的手机，PhoneClaw 会在一旁观察。它以约 8 fps 的速度捕获屏幕截图，通过计算机视觉（HoughCircles + 像素差异后备方案）检测点击位置，注释每一帧，并将您的操作提炼成可重用的导航经验，直接添加到经验日志中——无需手动标注。

➜ 完整的 PhoneClaw 文档

🚀 模型发布与资源

📦 开箱即用的模型

• 模型权重：OpenPhone-3B 已在 Hugging Face 上提供，附带完整的许可，可用于研究和商业用途。
• 生产就绪的服务：预配置的 vLLM 推理脚本可实现高效部署，并优化吞吐量和内存使用。

🛠️ 完整的训练流程

• 可复现的方案：完整的训练实现，包括我们新颖的两阶段方法（SFT + 使用合成 GUI 数据的 GRPO 风格 RL）。
• 定制化支持：model_training/ 中的详细文档允许研究人员针对特定领域的手机任务调整模型，或扩展到新的移动平台。
• 数据生成范式：用于大规模创建高质量训练数据的脚本和方法论。

📖 目录

• ✨OpenPhone✨：面向 AI 手机的移动智能体基础模型
  • 🎯 什么是 OpenPhone？
  • 🤔 为什么是 30 亿参数？
  • 💡 研究亮点
    • 🔍 OpenPhone‑3B：轻量级智能体模型
    • 为什么 30 亿参数是手机智能体的“甜点”
    • 🦾 PhoneClaw：您的 iPhone 自主 AI 管家
  • 🚀 模型发布与资源
    • 📦 开箱即用模型
    • 🛠️ 完整训练流程
  • 📖 目录
  • 🚀 快速开始
    • 📱 AndroidLab 基准测试环境设置
    • 🚀 模型部署与推理
    • ⚙️ 测试前配置
  • 🌟 OpenPhone 主要特性
    • 🤖 轻量级智能体基础模型
    • ☁️ 设备-云端协作框架
    • 🎯 全面的移动智能体评估平台
  • 🌟 技术创新与实现
    • 🧠 模型训练：SFT+RL
    • ☁️ 设备-云端协作框架
    • 💾 面向移动智能体的高效记忆机制
  • 🧪 测试与评估
    • 单任务测试
    • 批量评估脚本
    • 附加应用文档
  • 📊 结果生成
    • LLM 评估器设置
    • 生成评估结果
    • 批量测试文件管理
  • 🎯 📊 OpenPhone 关键评估发现
    • 🏆 小模型，大性能
    • 🥊 有竞争力的性能
    • 🔄 设备-云端框架有效
    • 🧠 更长的提示词并非总是有益
  • 📈 手机智能体的设备-云端分布分析
    • 📊 工作负载分布
    • 💰 效率提升
    • 🎯 模型能力影响
  • ⚡ 推理速度对比
    • 🎯 速度优势
    • 📊 量化对比
    • 💡 实际意义
  • 🌟 引用
  • 🔗 相关项目
  • 📜 许可证

🚀 快速开始

本项目包含三个核心组件，旨在为全面的移动智能体开发和评估提供支持：

• ⚡ 关于模型训练，请参阅训练指南 README 以获取完整的设置和执行说明。
• 🔧 关于数据生成流程，请参阅数据准备指南 README 以获取详细的实现步骤。

下文将重点介绍使用 AndroidLab 基准测试框架进行评估。

📱 AndroidLab 基准测试环境设置

安装：请按照官方 AndroidLab 文档 AndroidLab 完成完整的设置说明。

环境配置：

• 推荐模式：Mac (arm64) 上的 AVD（Android 虚拟设备）—— 已在我们的实验中验证。
  
• 应用设置：需要手动安装应用并进行特定于任务的配置。
  
• 兼容性说明：原始的 Docker 镜像与 AVD 环境不兼容。
  

🚀 模型部署与推理

vLLM 集成：

• 推理脚本位于 ./vllm_script/ 目录中
  
• 针对高效的小模型服务进行了优化
  

模型访问：

• OpenPhone 权重：托管在 HuggingFace 上的 30 亿参数模型
  
• 部署流程：下载权重 → 通过 vLLM 部署 → 配置推理服务
  
• 服务就绪：与评估流程无缝集成
  

⚙️ 测试前配置

• 需要设置 API：在 ./evaluation/evaluation.py 的第 63、75、81 行配置云端模型凭据
  
• 即将推出：正在开发简化的配置界面
  

🌟 OpenPhone 主要特性

🤖 轻量级智能体基础模型

• 紧凑架构：专为移动 GUI（图形用户界面）任务优化的30亿参数规模视觉语言模型，计算足迹最小。
• 设备端部署：真正兼容智能手机的模型，在本地运行且不依赖云端的情况下，仍能保持有竞争力的性能。

☁️ 设备-云端协作框架

• 动态编排：实时评估任务复杂度，根据执行需求智能地在设备模型和云端模型之间切换。
• 成本-性能优化：战略性的资源分配，利用经济高效的设备端模型，同时通过选择性使用云端模型来弥补其局限性。

🎯 全面的移动智能体评估平台

• 扩展的基准测试套件：超越 AndroidLab，整合了流行移动应用中的 25 个以上额外任务，用于现实世界验证。
• 多维度评估：全面的评估，涵盖性能指标、计算效率和实际部署场景。

🌟 技术创新与实现

🧠 模型训练：SFT+RL

• 合成数据生成：利用先进的 MLLMs（多模态大语言模型）创建高质量推理链训练数据，解决人工标注稀缺的问题。
• 两阶段训练：SFT（监督微调）注入 GUI 基础知识，而 GRPO（分组相对策略优化）强化学习则优化任务完成准确率。
• 小模型增强：通过结构化训练，使 30 亿参数模型在 GUI 任务上达到与 70 亿-90 亿参数模型相当的性能。

☁️ 设备-云端协作框架

• 动态任务评估：实时复杂度评估决定了何时以及以何种频率监控设备模型的性能。
• 智能编排：根据执行进度和失败模式，在设备和云端模型之间无缝切换。
• 成本-性能优化：通过战略性的资源分配，在保持高任务成功率的同时，将云端调用减少约 10%。

💾 移动代理的高效记忆机制

• 长程推理：通过多步思维链推理与反思性错误纠正来增强决策能力。
• 基于文本的摘要：将高分辨率屏幕截图压缩为紧凑的文本表示，以实现高效的内存管理。
• 结构化上下文保留：通过优化的令牌使用，在资源受限的环境中保持 10-20 步的历史上下文。

🧪 测试与评估

单任务测试

使用以下命令结构测试单个任务：

python eval.py -n test_name -c your path to config.yaml --task_id task_id

使用示例：

python eval.py -n all_cloud_v1_hyper -c ./configs/example_xml_cloud_hyper.yaml --task_id zoom_1

批量评估脚本

./test_script 目录下提供了便捷的批量测试脚本：

• all_test_cloud_v1_hyper.sh：评估 AndroidLab 基准测试中的所有 138 个任务
• all_test_cloud_v1_hyper_add.sh：评估四个额外移动应用的任务

额外应用文档

关于四个额外应用任务的完整详细信息，请参阅文档：额外应用文档

📊 结果生成

LLM 评估器设置

所需配置：在 ./evaluation/tasks/llm_evaluator.py 中设置 LLM 服务凭证：

• 第 10 行：API 配置
• 第 12 行：服务 URL

💡 增强功能：我们的实现用基于 LLM 的评估取代了 AndroidLab 基于规则的评估，提供了更细致、更准确的任务完成度评估。

生成评估结果

使用以下命令执行结果生成：

python generate_result.py --input_folder ./logs/evaluation/ --output_folder ./logs/evaluation/ --output_excel ./logs/evaluation/test_name.xlsx

批量测试文件管理

⚠️ 重要提示：当使用 ./test_script/ 中的批量脚本时：
• 需要手动转移：将脚本目录中生成的评估文件移动到 ./logs/ 目录下
• 然后执行：运行上述结果生成命令
• 错误预防：此步骤可防止文件路径冲突并确保正确的结果汇总

🎯 📊 OpenPhone 的关键评估发现

🏆 小模型，大性能

• 尺寸与性能：OpenPhone-3B 实现了与 9B 模型相当的性能，同时保持了紧凑架构的部署优势。
• 效率冠军：确立了自己作为真正的“小巨人”的地位，挑战了移动 AI 中“越大越好”的假设。

🥊 有竞争力的性能

• 与专有模型对比：在标准基准测试中，OpenPhone-3B 与专有模型的轻量级版本相比，表现出可观的性能。
• 小模型的潜力：展示了有希望的结果，验证了紧凑开源方法在移动代理开发中的可行性。

🔄 设备-云端框架有效

• 性能与效率兼备：OpenPhone 的混合架构提供了接近最优的性能，同时显著减少了云端模型的使用。
• 智能路由：证明了智能任务路由可以在不牺牲能力的情况下创造实际的效率增益。

🧠 更长的提示词并不总是有帮助

• 上下文很重要：扩展的提示策略只有在与足够强大的云端模型配对时才能提高性能。
• 智能匹配：强调了将推理复杂度与模型能力相匹配的重要性，而不是假设更长的提示词总是有帮助。

📈 手机代理的设备-云端分布分析

为了评估我们混合方法的实际效率，我们测量了不同 MLLM 的关键指标：每个任务的平均总步数、由设备端模型与云端模型处理的步骤比例，以及与纯云端基线相比云端调用的减少量。

📊 工作负载分布

云端模型仍然处理大约 65% 的执行步骤，这反映了较小的设备端模型在复杂推理任务上的计算限制。

💰 效率增益

引入设备端处理实现了大约 10% 的云端 API 调用减少，转化为直接的成本节约和延迟降低。

🎯 模型能力的影响

像 GLM-4.5V 这样的先进云端模型显示出云端依赖性的减少幅度较小，因为其卓越的能力使其能够更独立地完成任务，而无需设备端协助。

⚡ 推理速度比较

我们使用 vLLM 评估了不同 GPU 配置下每步的平均推理时间，以评估实际部署的可行性。请注意，由于上下文长度限制，GLM-4.1V-9B-Thinking 无法在单个 3090 GPU 上运行。

🎯 速度优势

• 明显胜出：得益于其轻量级的 3B 架构，OpenPhone 展现出显著的推理速度优势。
• 适合实际应用：在计算资源受限的情况下，速度优势变得更加明显，符合典型的边缘部署场景。

📊 量化比较

• 快 3.5 倍：单 3090 上的 OpenPhone 对比双 3090 上的 GLM-4.1V-9B-Thinking。
• 快 4 倍：双 3090 上的 OpenPhone 对比双 3090 上的 GLM-4.1V-9B-Thinking。
• OpenPhone 的轻量级优势：GLM-4.1V-9B-Thinking 无法在单 3090 上运行，严重限制了其边缘部署选项。

💡 实际意义

权衡是明确的：虽然像 GLM-4.1V-9B-Thinking 这样更大的模型实现了更高的任务性能，但 OpenPhone 的速度优势使其更适合对响应时间和硬件约束有要求的实际设备端场景。

🌟 引用

如果您发现这项工作对您的研究有帮助，请考虑引用我们的论文。

@article{jiang2025lightagent,
  title={LightAgent: Mobile Agentic Foundation Models},
  author={Jiang, Yangqin and Huang, Chao},
  journal={arXiv preprint arXiv:2510.22009},
  year={2025}
}

🔗 相关项目

OpenPhone 建立在优秀的开源项目之上。我们衷心感谢这些项目的作者和贡献者：

• AndroidLab - 基准测试框架。
• R1-V - GRPO 训练方法的具体实现细节。
• LLaMA Factory - 支持高效模型微调的统一训练框架。

📜 许可证

本项目基于 MIT 许可证 发布。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器 (请将路径替换为实际模型路径)
model_path = "./model_weights"  # 或 "hkuds/OpenPhone_model"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

# 准备输入
prompt = "分析当前手机屏幕并描述你可以执行的操作。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成响应
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

print("模型响应：", response)

python demo_inference.py

cd PhoneClaw
# 按照 ./PhoneClaw/README.md 中的说明进行配置和运行