[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Tongyi-MAI--MAI-UI":3,"tool-Tongyi-MAI--MAI-UI":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",145895,2,"2026-04-08T11:32:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":74,"owner_location":74,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":75,"languages":76,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":91,"env_deps":92,"category_tags":99,"github_topics":100,"view_count":32,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":106,"updated_at":107,"faqs":108,"releases":149},5649,"Tongyi-MAI\u002FMAI-UI","MAI-UI","MAI-UI: Real-World Centric Foundation GUI Agents ranging from 2B to 235B","MAI-UI 是由通义实验室推出的一系列面向真实世界场景的图形用户界面（GUI）智能体基础模型，提供从 2B 到 235B 多种参数量版本。它旨在解决传统自动化脚本难以适应复杂多变的手机或电脑操作界面的痛点，能够像人类一样“看懂”屏幕内容并自主完成点击、滑动、输入等交互任务。\n\n无论是希望构建下一代智能助手的开发者、从事人机交互研究的研究人员，还是寻求高效自动化解决方案的企业用户，都能从中受益。MAI-UI 在多项权威基准测试中刷新了纪录，其独特亮点在于构建了“端云协同”系统，能根据任务敏感度和状态动态选择本地或云端执行，兼顾效率与隐私；同时支持智能体与用户自然互动及调用外部工具（MCP），并通过大规模强化学习技术显著提升了在长上下文和复杂环境中的决策能力。无需依赖特殊的缩放技巧，MAI-UI 即可在安卓导航和界面定位任务中展现出业界领先的性能，为实现真正的通用界面智能体奠定了坚实基础。","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_1b3613f49b4c.png\" alt=\"MAI-UI\" \u002F>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F📄%20arXiv-Paper-red\" alt=\"arXiv\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🌐%20Website-MAI%20UI-blue\" alt=\"Website\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Ftongyi-mai.github.io\u002FMobileWorld\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🌐%20Website-MobileWorld-blue\" alt=\"Website\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Model-orange\" alt=\"Hugging Face Model\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FTongyi-MAI\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤖%20ModelScope-Model-purple\" alt=\"ModelScope Model\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\nWe present **MAI-UI**, a family of GUI agent foundation models spanning the full spectrum of sizes, including **2B**, **8B**, **32B**, and **235B-A22B** variants. Our core contribution includes:\n- **🔧 Agent-user interaction and MCP augmentation**: enabling agent to interact with user and use MCP tools to complete the task.\n- **☁️ Device–cloud collaboration system**: dynamically selecting on-device or cloud execution based on task execution state and data sensitivity.\n- **📈 Dynamic RL Scaling**: large-scale reinforcement learning with scaling parallel environments (up to **512**) and context length (up to **50**).\n- **🏆 State-of-the-Art Performance**: MAI-UI establishes new benchmark SOTA results across GUI grounding and navigation tasks.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_b048d16bc885.png\" alt=\"Overview\" width=\"800\">\n  \u003Cbr>\n  \u003Cem>Overview of MAI-UI performance\u003C\u002Fem>\n\u003C\u002Fp>\n\n## 📰 News\n* **[2026-03-20]** 📄 **Blog Posts**: Our [Grounding](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002FGrounding-Blog) and [Navigation](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002FMobileWorld-Blog-Post) Blog Posts are available now! \n* **[2026-01-15]** 🥇 **New Record on AndroidWorld**: MAI-UI-235B takes #1 on the [AndroidWorld Leaderboard](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1cchzP9dlTZ3WXQTfYNhh3avxoLipqHN75v1Tb86uhHo\u002Fedit?gid=0#gid=0) for pure-vision, end-to-end models with a 76.7% success rate.\n* **[2026-01-13]** 🥇 **MAI-UI Sweeps ScreenSpot-Pro**: MAI-UI (32B, 8B, 2B) now ranks #1 in all size categories on the [ScreenSpot-Pro leaderboard](https:\u002F\u002Fgui-agent.github.io\u002Fgrounding-leaderboard\u002F). We achieved record scores of 67.9%, 65.7%, and 57.4% respectively—notably reaching these benchmarks **without any zoom-in tricks**.\n* **[2026-01-04]** 🤝 We're Hiring! We're actively looking for Research Scientists, Engineers, and Interns to work on foundational GUI agents and their applications. Interested candidates please send your resume to: yue.w@alibaba-inc.com\n* **[2025-12-29]** 🏆 **New Leaderboard Record**: MAI-UI achieves a 41.7% success rate on the [MobileWorld](https:\u002F\u002Ftongyi-mai.github.io\u002FMobileWorld\u002F#leaderboard) benchmark, setting a new record for end-to-end model performance!\n* **[2025-12-29]** 📄 **Technical Report & Website**: Our technical report is now available on [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047), and the official project [website](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002F) is live.\n* **[2025-12-29]** 🤗 **Model Release**: We are excited to release the weights for [MAI-UI-8B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-8B) and [MAI-UI-2B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-2B) on Hugging Face.\n\n## 📑 Table of Contents\n\n- [🎥 Demo](#-demo)\n- [🚀 Quick Start](#-installation--quick-start)\n- [📝 Citation](#-citation)\n- [📧 Contact](#-contact)\n- [📄 License](#-license)\n\n\n\u003C!-- \n## 🏆 Results\n\nMAI-UI establishes new state-of-the-art across GUI grounding and mobile navigation. \n\n- On grounding benchmarks, it reaches 73.5% on ScreenSpot-Pro, 91.3% on MMBench GUI L2, 70.9% on OSWorld-G, and 49.2% on UI-Vision, surpassing Gemini-3-Pro and Seed1.8 on ScreenSpot-Pro. \n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_dd5216208383.jpg\" alt=\"ScreenSpot-Pro Results\"\u002F>\u003Cbr\u002F>\u003Cb>ScreenSpot-Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_e2f6898abd50.jpg\" alt=\"UI-Vision Results\"\u002F>\u003Cbr\u002F>\u003Cb>UI-Vision\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_9069e846b140.jpg\" alt=\"MMBench GUI L2 Results\"\u002F>\u003Cbr\u002F>\u003Cb>MMBench GUI L2\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_0ac27b2fbf7a.jpg\" alt=\"OSWorld-G Results\"\u002F>\u003Cbr\u002F>\u003Cb>OSWorld-G\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- On mobile GUI navigation, it sets a new SOTA of 76.7% on AndroidWorld, surpassing UI-Tars-2, Gemini-2.5-Pro and Seed1.8. On MobileWorld, MAI-UI obtains 41.7% success rate, significantly outperforming end-to-end GUI models and competitive with Gemini-3-Pro based agentic frameworks. \n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_be74f0ac771b.jpg\" alt=\"AndroidWorld Results\"\u002F>\u003Cbr\u002F>\u003Cb>AndroidWorld\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_7c177b92ce39.jpg\" alt=\"MobileWorld Results\"\u002F>\u003Cbr\u002F>\u003Cb>MobileWorld\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- Our online RL experiments show significant gains from scaling parallel environments from 32 to 512 (+5.2 points) and increasing environment step budget from 15 to 50 (+4.3 points).\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_832326ba95a9.jpg\" alt=\"Online RL Results\"\u002F>\u003Cbr\u002F>\u003Cb>Online RL Results\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_1d8ac7dd0825.jpg\" alt=\"RL Environment Scaling\"\u002F>\u003Cbr\u002F>\u003Cb>RL Environment Scaling\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- Our device-cloud collaboration framework can dynamically select on-device or cloud execution based on task execution state and data sensitivity. It improves on-device performance by 33% and reduces cloud API calls by over 40%.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_abb3c0ca7a27.jpg\" alt=\"Device-cloud Collaboration\"\u002F>\u003Cbr\u002F>\u003Cb>Device-cloud Collaboration\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable> -->\n\n## 🎥 Demo\n\n### Demo 1 - Daily Life Scenario\n\nTrigger `ask_user` for more information to complete the task.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_9764e202ae3e.gif\" height=\"400\" alt=\"Daily Life Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User instruction: 去盒马买菜，买一份雪花牛肉卷、一份娃娃菜、一份金针菇，再随便买一个豆制品。对了，去日历中待办里检查下我老婆有什么要在盒马买的，我确认下要不要一起买\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Demo 2 - Navigation\n\nUse `mcp_call` to invoke AMap tools for navigation.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_ac6c3529f396.gif\" height=\"400\" alt=\"Navigation Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User instruction: 我现在在阿里巴巴云谷园区，我要先去 招商银行取钱，再去城西银泰城。帮我规划公交地铁出行的路线，选一家在4公里以内的、用时最短的招商银行，两段行程总时间不要超过2小时，把规划行程记在笔 记中我一会看，标题为下午行程，内容为两段行程细节\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Demo 3 - Shopping\n\n Cross-apps collaboration to complete the task.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_ee69a3893244.gif\" height=\"400\" alt=\"Shopping Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User instruction: Search “timeless earth 2026” on Xiaohongshu, save the one product image to your photo album, then use the saved image on Taobao to search for the same item and  add it to my shopping cart.\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Demo 4 - Work\n\nCross-apps collaboration to complete the task.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_f53c02653d68.gif\" height=\"400\" alt=\"Work Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User instruction: 我需要紧急出差上海，帮我去12306查询现在最早从杭州西站去上海虹桥、有二等座票的班次，在钉钉前沿技术研讨群里把到达时间同步给大家，再把我和水番的会议日程改到明天同一时间，在群里发消息@他，礼貌解释因为临时出差调整会议时间，询问他明天是否有空\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Demo 5 - Device-only\n\nDevice-cloud collaboration for simple tasks, no need cloud model invocation.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_68a05c9d58fb.gif\" height=\"400\" alt=\"Device-cloud Collaboration Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User Instruction: 去飞猪查询12月25日去，28日回，杭州到三亚的往返机票\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### Demo 6 - Device-cloud Collaboration\n\nDevice-cloud collaboration for complex tasks, requiring cloud model invocation when the task is beyond the device models capabilities.\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_92d54b16f013.gif\" height=\"400\" alt=\"Device-cloud Collaboration Demo.\"\u002F>\n      \u003Cbr\u002F>\u003Cb>User Instruction: 去淘票票给我买一张25号下午的疯狂动物城2的电影票，选亲橙里的电影院，中间的座位，加一份可乐和爆米花的单人餐，停在最后的订单界面\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 🚀 Installation & Quick Start\n\n### Step 1: Clone the Repository\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI.git\ncd MAI-UI\n```\n\n### Step 2: Start Model API Service with vLLM\n\nDownload the model from HuggingFace and deploy the API service using vLLM:\n\nHuggingFace model path:  \n- [MAI-UI-2B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-2B)\n- [MAI-UI-8B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-8B)\n\nDeploy the model using vLLM:\n\n\n```bash\n# Install vLLM\npip install vllm==0.11.0  # vllm==0.11.0 and transformers>=4.57.0\n\n# Start vLLM API server (replace MODEL_PATH with your local model path or HuggingFace model ID)\npython -m vllm.entrypoints.openai.api_server \\\n    --model \u003Chuggingface_model_path> \\\n    --served-model-name MAI-UI-8B \\\n    --host 0.0.0.0 \\\n    --port 8000 \\\n    --tensor-parallel-size 1 \\\n    --trust-remote-code\n```\n\n> 💡 **Tips:**\n> - IMPORTANT: Must use `VLLM=0.11.0`\n> - Adjust `--tensor-parallel-size` based on your GPU count for multi-GPU inference\n> - The model will be served at `http:\u002F\u002Flocalhost:8000\u002Fv1`\n\n### Step 3: Install Dependencies\n\n```bash\npip install -r requirements.txt\n```\n\n### Step 4: Run cookbook notebooks\n\nWe provide two notebooks in the `cookbook\u002F` directory:\n\n#### 4.1 Grounding Demo\n\nThe `grounding.ipynb` demonstrates how to use the MAI Grounding Agent to locate UI elements:\n\n```bash\ncd cookbook\njupyter notebook grounding.ipynb\n```\n\nBefore running, update the API endpoint in the notebook:\n\n```python\nagent = MAIGroundingAgent(\n    llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # Update to your vLLM server address\n    model_name=\"MAI-UI-8B\",                   # Use the served model name\n    runtime_conf={\n        \"history_n\": 3,\n        \"temperature\": 0.0,\n        \"top_k\": -1,\n        \"top_p\": 1.0,\n        \"max_tokens\": 2048,\n    },\n)\n```\n\n#### 4.2 Navigation Agent Demo\n\nThe `run_agent.ipynb` demonstrates the full UI navigation agent:\n\n```bash\ncd cookbook\njupyter notebook run_agent.ipynb\n```\n\nSimilarly, update the API endpoint configuration:\n\n```python\nagent = MAIUINaivigationAgent(\n    llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # Update to your vLLM server address\n    model_name=\"MAI-UI-8B\",                   # Use the served model name\n    runtime_conf={\n        \"history_n\": 3,\n        \"temperature\": 0.0,\n        \"top_k\": -1,\n        \"top_p\": 1.0,\n        \"max_tokens\": 2048,\n    },\n)\n```\n\n---\n\n## 📝 Citation\n\nIf you find this project useful for your research, please consider citing our works:\n\n```bibtex\n@misc{zhou2025maiuitechnicalreportrealworld,\n      title={MAI-UI Technical Report: Real-World Centric Foundation GUI Agents}, \n      author={Hanzhang Zhou and Xu Zhang and Panrong Tong and Jianan Zhang and Liangyu Chen and Quyu Kong and Chenglin Cai and Chen Liu and Yue Wang and Jingren Zhou and Steven Hoi},\n      year={2025},\n      eprint={2512.22047},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047}, \n}\n@misc{chen2025uiinsenhancingguigrounding,\n      title={UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning}, \n      author={Liangyu Chen and Hanzhang Zhou and Chenglin Cai and Jianan Zhang and Panrong Tong and Quyu Kong and Xu Zhang and Chen Liu and Yuqi Liu and Wenxuan Wang and Yue Wang and Qin Jin and Steven Hoi},\n      year={2025},\n      eprint={2510.20286},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.20286}, \n}\n@misc{kong2025mobileworldbenchmarkingautonomousmobile,\n      title={MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive, and MCP-Augmented Environments}, \n      author={Quyu Kong and Xu Zhang and Zhenyu Yang and Nolan Gao and Chen Liu and Panrong Tong and Chenglin Cai and Hanzhang Zhou and Jianan Zhang and Liangyu Chen and Zhidan Liu and Steven Hoi and Yue Wang},\n      year={2025},\n      eprint={2512.19432},\n      archivePrefix={arXiv},\n      primaryClass={cs.AI},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.19432}, \n}\n```\n\n## 📧 Contact\n\nFor questions and support, please contact:\n\n- **Hanzhang Zhou**  \n  Email: [hanzhang.zhou@alibaba-inc.com](mailto:hanzhang.zhou@alibaba-inc.com)\n\n- **Xu Zhang**  \n  Email: [hanguang.zx@alibaba-inc.com](mailto:hanguang.zx@alibaba-inc.com)\n\n- **Yue Wang**  \n  Email: [yue.w@alibaba-inc.com](mailto:yue.w@alibaba-inc.com)\n\n## 📄 License\n\nMAI-UI Mobile is a foundation GUI agent developed by Alibaba Cloud and licensed under the Apache License (Version 2.0).\n\nThis product contains various third-party components under other open source licenses. \nSee the NOTICE file for more information.\n\n","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_1b3613f49b4c.png\" alt=\"MAI-UI\" \u002F>\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F📄%20arXiv-Paper-red\" alt=\"arXiv\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🌐%20Website-MAI%20UI-blue\" alt=\"Website\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Ftongyi-mai.github.io\u002FMobileWorld\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🌐%20Website-MobileWorld-blue\" alt=\"Website\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗%20Hugging%20Face-Model-orange\" alt=\"Hugging Face Model\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FTongyi-MAI\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤖%20ModelScope-Model-purple\" alt=\"ModelScope Model\" \u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n我们提出了 **MAI-UI**，这是一个涵盖全尺寸范围的 GUI 代理基础模型家族，包括 **2B**、**8B**、**32B** 和 **235B-A22B** 等不同规模的变体。我们的核心贡献包括：\n- **🔧 代理与用户交互及 MCP 增强**：使代理能够与用户互动，并利用 MCP 工具完成任务。\n- **☁️ 设备—云端协同系统**：根据任务执行状态和数据敏感性，动态选择在设备端或云端执行。\n- **📈 动态强化学习扩展**：大规模强化学习，支持并行环境扩展（最高可达 **512** 个）和上下文长度扩展（最高可达 **50**）。\n- **🏆 最先进的性能**：MAI-UI 在 GUI 对齐和导航任务中树立了新的 SOTA 基准。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_b048d16bc885.png\" alt=\"Overview\" width=\"800\">\n  \u003Cbr>\n  \u003Cem>MAI-UI 性能概览\u003C\u002Fem>\n\u003C\u002Fp>\n\n## 📰 新闻\n* **[2026-03-20]** 📄 **博客文章**：我们的 [对齐](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002FGrounding-Blog) 和 [导航](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002FMobileWorld-Blog-Post) 博客文章现已发布！\n* **[2026-01-15]** 🥇 **AndroidWorld 新纪录**：MAI-UI-235B 以 76.7% 的成功率，在纯视觉、端到端模型的 [AndroidWorld 排行榜](https:\u002F\u002Fdocs.google.com\u002Fspreadsheets\u002Fd\u002F1cchzP9dlTZ3WXQTfYNhh3avxoLipqHN75v1Tb86uhHo\u002Fedit?gid=0#gid=0) 上夺得第一名。\n* **[2026-01-13]** 🥇 **MAI-UI 横扫 ScreenSpot-Pro**：MAI-UI（32B、8B、2B）目前在 [ScreenSpot-Pro 排行榜](https:\u002F\u002Fgui-agent.github.io\u002Fgrounding-leaderboard\u002F) 的所有规模类别中均位居第一。我们分别取得了 67.9%、65.7% 和 57.4% 的创纪录成绩——值得注意的是，这些成绩是在 **未使用任何放大技巧** 的情况下达成的。\n* **[2026-01-04]** 🤝 我们正在招聘！我们诚邀研究科学家、工程师和实习生加入，共同致力于 GUI 基础代理及其应用的研究。有意者请将简历发送至：yue.w@alibaba-inc.com\n* **[2025-12-29]** 🏆 **新排行榜纪录**：MAI-UI 在 [MobileWorld](https:\u002F\u002Ftongyi-mai.github.io\u002FMobileWorld\u002F#leaderboard) 基准测试中取得了 41.7% 的成功率，创下端到端模型性能的新纪录！\n* **[2025-12-29]** 📄 **技术报告与官网**：我们的技术报告现已在 [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047) 上发布，官方项目 [网站](https:\u002F\u002Ftongyi-mai.github.io\u002FMAI-UI-blog\u002F) 也已上线。\n* **[2025-12-29]** 🤗 **模型发布**：我们很高兴在 Hugging Face 上发布了 [MAI-UI-8B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-8B) 和 [MAI-UI-2B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-2B) 的权重。\n\n## 📑 目录\n\n- [🎥 演示](#-demo)\n- [🚀 快速入门](#-installation--quick-start)\n- [📝 引用](#-citation)\n- [📧 联系方式](#-contact)\n- [📄 许可证](#-license)\n\n\n\u003C!--\n## 🏆 结果\n\nMAI-UI 在 GUI 对齐和移动导航领域树立了新的 SOTA 标准。\n\n- 在对齐基准测试中，它在 ScreenSpot-Pro 上达到 73.5%，在 MMBench GUI L2 上达到 91.3%，在 OSWorld-G 上达到 70.9%，在 UI-Vision 上达到 49.2%，超越了 ScreenSpot-Pro 上的 Gemini-3-Pro 和 Seed1.8。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_dd5216208383.jpg\" alt=\"ScreenSpot-Pro 结果\"\u002F>\u003Cbr\u002F>\u003Cb>ScreenSpot-Pro\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_e2f6898abd50.jpg\" alt=\"UI-Vision 结果\"\u002F>\u003Cbr\u002F>\u003Cb>UI-Vision\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_9069e846b140.jpg\" alt=\"MMBench GUI L2 结果\"\u002F>\u003Cbr\u002F>\u003Cb>MMBench GUI L2\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_0ac27b2fbf7a.jpg\" alt=\"OSWorld-G 结果\"\u002F>\u003Cbr\u002F>\u003Cb>OSWorld-G\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- 在移动 GUI 导航方面，它在 AndroidWorld 上创造了 76.7% 的 SOTA 记录，超越了 UI-Tars-2、Gemini-2.5-Pro 和 Seed1.8。在 MobileWorld 上，MAI-UI 取得 41.7% 的成功率，显著优于其他端到端 GUI 模型，且与基于 Gemini-3-Pro 的代理框架不相上下。\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_be74f0ac771b.jpg\" alt=\"AndroidWorld 结果\"\u002F>\u003Cbr\u002F>\u003Cb>AndroidWorld\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_7c177b92ce39.jpg\" alt=\"MobileWorld 结果\"\u002F>\u003Cbr\u002F>\u003Cb>MobileWorld\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- 我们的在线强化学习实验表明，将并行环境从 32 扩展到 512 可提升 5.2 个百分点，而将环境步数预算从 15 增加到 50 则可提升 4.3 个百分点。\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_832326ba95a9.jpg\" alt=\"在线强化学习结果\"\u002F>\u003Cbr\u002F>\u003Cb>在线强化学习结果\u003C\u002Fb>\u003C\u002Ftd>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_1d8ac7dd0825.jpg\" alt=\"强化学习环境扩展\"\u002F>\u003Cbr\u002F>\u003Cb>强化学习环境扩展\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n- 我们的设备—云端协同框架可根据任务执行状态和数据敏感性，动态选择在设备端或云端执行。该框架可将设备端性能提升 33%，同时减少超过 40% 的云端 API 调用。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\" width=\"50%\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_abb3c0ca7a27.jpg\" alt=\"设备—云端协同\"\u002F>\u003Cbr\u002F>\u003Cb>设备—云端协同\u003C\u002Fb>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable> -->\n\n## 🎥 演示\n\n### 演示 1 - 日常生活场景\n\n触发 `ask_user` 以获取更多信息来完成任务。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_9764e202ae3e.gif\" height=\"400\" alt=\"日常生活演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：去盒马买菜，买一份雪花牛肉卷、一份娃娃菜、一份金针菇，再随便买一个豆制品。对了，去日历中待办里检查下我老婆有什么要在盒马买的，我确认下要不要一起买。\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 演示 2 - 导航\n\n使用 `mcp_call` 调用高德地图工具进行导航。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_ac6c3529f396.gif\" height=\"400\" alt=\"导航演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：我现在在阿里巴巴云谷园区，我要先去招商银行取钱，再去城西银泰城。帮我规划公交地铁出行的路线，选一家在4公里以内的、用时最短的招商银行，两段行程总时间不要超过2小时，把规划行程记在笔记中我一会看，标题为下午行程，内容为两段行程细节。\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 演示 3 - 购物\n\n跨应用协作完成任务。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_ee69a3893244.gif\" height=\"400\" alt=\"购物演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：在小红书上搜索“timeless earth 2026”，将其中一张商品图片保存到相册，然后使用保存的图片在淘宝上搜索同款商品，并将其加入我的购物车。\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 演示 4 - 工作\n\n跨应用协作完成任务。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_f53c02653d68.gif\" height=\"400\" alt=\"工作演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：我需要紧急出差上海，帮我去12306查询现在最早从杭州西站去上海虹桥、有二等座票的班次，在钉钉前沿技术研讨群里把到达时间同步给大家，再把我和水番的会议日程改到明天同一时间，在群里发消息@他，礼貌解释因为临时出差调整会议时间，询问他明天是否有空\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 演示 5 - 仅设备端\n\n设备与云端协作完成简单任务，无需调用云端模型。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_68a05c9d58fb.gif\" height=\"400\" alt=\"设备-云端协作演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：去飞猪查询12月25日去，28日回，杭州到三亚的往返机票\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 演示 6 - 设备-云端协作\n\n设备与云端协作完成复杂任务，当任务超出设备端模型能力时，需调用云端模型。\n\n\u003Ctable align=\"center\">\n  \u003Ctr>\n    \u003Ctd align=\"center\">\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_readme_92d54b16f013.gif\" height=\"400\" alt=\"设备-云端协作演示。\"\u002F>\n      \u003Cbr\u002F>\u003Cb>用户指令：去淘票票给我买一张25号下午的疯狂动物城2的电影票，选亲橙里的电影院，中间的座位，加一份可乐和爆米花的单人餐，停在最后的订单界面\u003C\u002Fb>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 🚀 安装与快速入门\n\n### 第一步：克隆仓库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI.git\ncd MAI-UI\n```\n\n### 第二步：使用 vLLM 启动模型 API 服务\n\n从 HuggingFace 下载模型，并使用 vLLM 部署 API 服务：\n\nHuggingFace 模型路径：\n- [MAI-UI-2B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-2B)\n- [MAI-UI-8B](https:\u002F\u002Fhuggingface.co\u002FTongyi-MAI\u002FMAI-UI-8B)\n\n使用 vLLM 部署模型：\n\n```bash\n# 安装 vLLM\npip install vllm==0.11.0  # vllm==0.11.0 和 transformers>=4.57.0\n\n# 启动 vLLM API 服务器（将 MODEL_PATH 替换为本地模型路径或 HuggingFace 模型 ID）\npython -m vllm.entrypoints.openai.api_server \\\n    --model \u003Chuggingface_model_path> \\\n    --served-model-name MAI-UI-8B \\\n    --host 0.0.0.0 \\\n    --port 8000 \\\n    --tensor-parallel-size 1 \\\n    --trust-remote-code\n```\n\n> 💡 **提示：**\n> - 重要提示：必须使用 `VLLM=0.11.0`\n> - 根据您的 GPU 数量调整 `--tensor-parallel-size` 以进行多 GPU 推理\n> - 模型将在 `http:\u002F\u002Flocalhost:8000\u002Fv1` 提供服务\n\n### 第三步：安装依赖\n\n```bash\npip install -r requirements.txt\n```\n\n### 第四步：运行 cookbook 笔记本\n\n我们在 `cookbook\u002F` 目录中提供了两个笔记本：\n\n#### 4.1 接地演示\n\n`grounding.ipynb` 演示如何使用 MAI 接地智能体定位 UI 元素：\n\n```bash\ncd cookbook\njupyter notebook grounding.ipynb\n```\n\n在运行之前，请更新笔记本中的 API 端点：\n\n```python\nagent = MAIGroundingAgent(\n    llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # 更新为您的 vLLM 服务器地址\n    model_name=\"MAI-UI-8B\",                   # 使用已部署的模型名称\n    runtime_conf={\n        \"history_n\": 3,\n        \"temperature\": 0.0,\n        \"top_k\": -1,\n        \"top_p\": 1.0,\n        \"max_tokens\": 2048,\n    },\n)\n```\n\n#### 4.2 导航智能体演示\n\n`run_agent.ipynb` 演示完整的 UI 导航智能体：\n\n```bash\ncd cookbook\njupyter notebook run_agent.ipynb\n```\n\n同样，更新 API 端点配置：\n\n```python\nagent = MAIUINaivigationAgent(\n    llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # 更新为您的 vLLM 服务器地址\n    model_name=\"MAI-UI-8B\",                   # 使用已部署的模型名称\n    runtime_conf={\n        \"history_n\": 3,\n        \"temperature\": 0.0,\n        \"top_k\": -1,\n        \"top_p\": 1.0,\n        \"max_tokens\": 2048,\n    },\n)\n```\n\n---\n\n## 📝 引用\n\n如果您觉得本项目对您的研究有所帮助，请考虑引用我们的工作：\n\n```bibtex\n@misc{zhou2025maiuitechnicalreportrealworld,\n      title={MAI-UI 技术报告：以现实世界为中心的基础 GUI 智能体}, \n      author={周汉章、张旭、童攀荣、张佳楠、陈亮宇、孔秋雨、蔡承霖、刘晨、王悦、周景仁、史蒂文·霍伊},\n      year={2025},\n      eprint={2512.22047},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.22047}, \n}\n@misc{chen2025uiinsenhancingguigrounding,\n      title={UI-Ins：通过多视角指令推理增强 GUI 接地能力}, \n      author={陈亮宇、周汉章、蔡承霖、张佳楠、童攀荣、孔秋雨、张旭、刘晨、刘宇奇、王文轩、王悦、金琴、史蒂文·霍伊},\n      year={2025},\n      eprint={2510.20286},\n      archivePrefix={arXiv},\n      primaryClass={cs.CV},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.20286}, \n}\n@misc{kong2025mobileworldbenchmarkingautonomousmobile,\n      title={MobileWorld：在智能体-用户交互及 MCP 增强环境中评估自主移动智能体}, \n      author={孔秋雨、张旭、杨振宇、高诺兰、刘晨、童攀荣、蔡承霖、周汉章、张佳楠、陈亮宇、刘志丹、史蒂文·霍伊、王悦},\n      year={2025},\n      eprint={2512.19432},\n      archivePrefix={arXiv},\n      primaryClass={cs.AI},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2512.19432}, \n}\n```\n\n## 📧 联系方式\n\n如有任何问题或需要支持，请联系：\n\n- **周汉章**  \n  邮箱：[hanzhang.zhou@alibaba-inc.com](mailto:hanzhang.zhou@alibaba-inc.com)\n\n- **张旭**  \n  邮箱：[hanguang.zx@alibaba-inc.com](mailto:hanguang.zx@alibaba-inc.com)\n\n- **王悦**  \n  邮箱：[yue.w@alibaba-inc.com](mailto:yue.w@alibaba-inc.com)\n\n## 📄 许可证\n\nMAI-UI Mobile 是由阿里云开发的基础 GUI 智能体，采用 Apache 许可证（版本 2.0）授权。\n\n本产品包含多种受其他开源许可证保护的第三方组件。\n更多信息请参阅 NOTICE 文件。","# MAI-UI 快速上手指南\n\nMAI-UI 是通义千问团队推出的一系列 GUI 智能体基础模型（包含 2B、8B、32B 及 235B 等版本），支持端云协同、MCP 工具调用及动态强化学习，在屏幕定位（Grounding）和移动导航任务上达到业界领先水平。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+) 或 macOS\n*   **Python 版本**: Python 3.10 或更高\n*   **GPU 要求**: \n    *   运行 2B\u002F8B 模型建议至少配备一张显存充足的 NVIDIA GPU (如 A10\u002FA100\u002FRTX 4090 等)。\n    *   多卡推理需配置好 NVLink 或 PCIe 通信。\n*   **前置依赖**: \n    *   `git`\n    *   `pip`\n    *   `jupyter notebook` (用于运行示例)\n\n> 💡 **国内加速建议**：\n> 推荐使用 ModelScope（魔搭社区）下载模型，速度更快且稳定。\n> *   [MAI-UI-2B (ModelScope)](https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FTongyi-MAI)\n> *   [MAI-UI-8B (ModelScope)](https:\u002F\u002Fwww.modelscope.cn\u002Forganization\u002FTongyi-MAI)\n\n## 安装步骤\n\n### 1. 克隆项目代码\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI.git\ncd MAI-UI\n```\n\n### 2. 部署模型服务 (使用 vLLM)\n\nMAI-UI 需要通过 API 服务进行调用，官方推荐使用 `vLLM` 进行部署。\n\n**安装指定版本的 vLLM：**\n```bash\npip install vllm==0.11.0\n# 注意：需同时确保 transformers>=4.57.0\n```\n\n**启动 API 服务：**\n请将 `\u003Cmodel_path>` 替换为您本地下载的模型路径（或 HuggingFace\u002FModelScope 的模型 ID）。\n\n```bash\npython -m vllm.entrypoints.openai.api_server \\\n    --model \u003Cmodel_path> \\\n    --served-model-name MAI-UI-8B \\\n    --host 0.0.0.0 \\\n    --port 8000 \\\n    --tensor-parallel-size 1 \\\n    --trust-remote-code\n```\n\n> **参数说明**：\n> *   `--tensor-parallel-size`: 根据您的 GPU 数量调整（例如双卡设为 2），单卡设为 1。\n> *   服务启动后，API 地址默认为 `http:\u002F\u002Flocalhost:8000\u002Fv1`。\n\n### 3. 安装项目依赖\n\n返回项目根目录，安装运行脚本所需的依赖包：\n\n```bash\npip install -r requirements.txt\n```\n\n## 基本使用\n\n项目提供了两个 Jupyter Notebook 示例，分别演示**界面元素定位 (Grounding)** 和 **完整导航代理 (Navigation)** 功能。\n\n### 场景一：界面元素定位 (Grounding)\n\n该示例展示如何让 Agent 识别并定位屏幕上的 UI 元素。\n\n1.  进入示例目录并启动 Notebook：\n    ```bash\n    cd cookbook\n    jupyter notebook grounding.ipynb\n    ```\n\n2.  在 Notebook 中配置 API 连接信息：\n    ```python\n    agent = MAIGroundingAgent(\n        llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # 指向刚才启动的 vLLM 服务\n        model_name=\"MAI-UI-8B\",                   # 与服务启动时的 served-model-name 一致\n        runtime_conf={\n            \"history_n\": 3,\n            \"temperature\": 0.0,\n            \"top_k\": -1,\n            \"top_p\": 1.0,\n            \"max_tokens\": 2048,\n        },\n    )\n    ```\n\n### 场景二：完整导航代理 (Navigation)\n\n该示例展示 Agent 如何结合 MCP 工具、用户交互完成复杂的跨应用任务（如购物、出行规划）。\n\n1.  启动导航示例 Notebook：\n    ```bash\n    cd cookbook\n    jupyter notebook run_agent.ipynb\n    ```\n\n2.  同样需要更新 API 配置以连接本地服务：\n    ```python\n    agent = MAIUINaivigationAgent(\n        llm_base_url=\"http:\u002F\u002Flocalhost:8000\u002Fv1\",  # 指向刚才启动的 vLLM 服务\n        model_name=\"MAI-UI-8B\",                   # 与服务启动时的 served-model-name 一致\n        runtime_conf={\n            \"history_n\": 3,\n            \"temperature\": 0.0,\n            \"top_k\": -1,\n            \"top_p\": 1.0,\n            \"max_tokens\": 2048,\n        },\n    )\n    ```\n\n配置完成后，即可在 Notebook 中运行单元格，观察 MAI-UI 对指令的理解与执行过程。","某大型电商企业的测试团队需要在每天凌晨对更新后的 Android 端 App 进行全链路回归测试，覆盖从登录、搜索商品到下单支付的复杂流程。\n\n### 没有 MAI-UI 时\n- **脚本维护成本极高**：传统自动化测试依赖固定的控件 ID 或坐标，一旦 UI 布局微调或版本迭代，大量测试脚本立即失效，工程师需花费数小时重新录制和修复。\n- **复杂任务难以端到端执行**：遇到需要跨应用跳转（如从微信唤起支付）或动态内容加载的场景，规则式机器人容易卡死，无法像真人一样理解屏幕语义并自主决策。\n- **隐私与效率难以兼得**：敏感操作（如输入密码）不敢上传云端处理，而本地部署的小模型又不够聪明，导致测试覆盖率被迫降低，只能人工介入补全剩余环节。\n\n### 使用 MAI-UI 后\n- **视觉 grounding 实现零代码适配**：MAI-UI 凭借纯视觉端到端能力，直接“看懂”屏幕元素而非死记坐标，即使界面改版也能精准定位按钮，脚本无需修改即可持续运行。\n- **动态规划攻克复杂流程**：利用其强大的推理能力，MAI-UI 能自主拆解“搜索特定折扣商品并比价”等模糊指令，动态调用 MCP 工具完成跨应用操作，成功率和人类相当。\n- **云边协同保障安全高效**：通过设备 - 云协作系统，MAI-UI 自动将敏感数据保留在本地设备执行，同时将高算力需求的逻辑判断卸载至云端大模型，兼顾了数据安全与测试速度。\n\nMAI-UI 将原本需要数人天维护的自动化测试转变为“自然语言指令即测试用例”，显著提升了移动端产品迭代的验证效率与稳定性。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTongyi-MAI_MAI-UI_b048d16b.png","Tongyi-MAI","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTongyi-MAI_e780ef64.jpg",null,"https:\u002F\u002Fgithub.com\u002FTongyi-MAI",[77,81],{"name":78,"color":79,"percentage":80},"Jupyter Notebook","#DA5B0B",98.1,{"name":82,"color":83,"percentage":84},"Python","#3572A5",1.9,1770,176,"2026-04-07T09:31:18","Apache-2.0","未说明","需要 NVIDIA GPU（用于 vLLM 推理），显存需求取决于模型大小：2B\u002F8B 模型建议单卡或多卡并行，235B 模型需多卡集群；具体 CUDA 版本未说明，但需兼容 vLLM 0.11.0","未说明（建议根据模型大小配置，8B 模型建议 32GB+，更大模型需更高内存）",{"notes":93,"python":94,"dependencies":95},"必须使用 vLLM 0.11.0 版本部署模型服务；支持多 GPU 并行推理（通过调整 --tensor-parallel-size 参数）；模型权重需从 Hugging Face 或 ModelScope 下载；提供 Grounding 和 Navigation 两种 Agent 的 Jupyter Notebook 示例；支持端云协同架构，可根据任务复杂度动态选择本地或云端执行。","未说明（需兼容 vLLM 0.11.0 和 transformers>=4.57.0 的环境）",[96,97,98],"vllm==0.11.0","transformers>=4.57.0","requirements.txt 中的其他依赖",[13],[101,102,103,104,105],"device-cloud-collaboration","gui-agent","gui-grounding","gui-navigation","mcp","2026-03-27T02:49:30.150509","2026-04-09T05:39:21.932598",[109,114,119,124,129,134,139,144],{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},25616,"MAI-UI 目前开源了哪些尺寸的模型？未来会开源 4B、32B 或 235B 模型吗？","目前的开源计划仅包括 2B 和 8B 模型。关于 4B 模型，团队已将其纳入训练规划中，但暂时不会开源；32B 和 235B-A22B 等大模型的开源也在后续规划中。如有新模型开源，会在 GitHub 社区及时同步更新。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F3",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},25617,"设备 - 云协同框架（device-cloud collaboration framework）和执行层代码会开源吗？","是的，设备 - 云协同框架计划开源，请关注 GitHub 获取最新动态。执行层代码将结合 MobileWorld 的下一个新版本一起发布，届时将支持类似演示中的 ADB 调用设备功能。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F6",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},25618,"如何构建用于在线强化学习（Online RL）的 Docker 环境？官方镜像不可用怎么办？","由于 AndroidWorld 官方基础镜像（openjdk:18-jdk-slim）已弃用，建议尝试使用 eclipse-temurin 作为替代方案（参考 AndroidWorld 仓库的 #351 和 #347 号 Issue）。此外，团队新发布了 MobileWorld 项目，提供了更稳健、可复现且可扩展的容器化 RL 环境架构，未来也将开源针对 MobileWorld 的 RL 训练配方。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F5",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},25619,"在线强化学习使用的训练 query 数据来源是什么？是否会开源？","训练 query 的来源是“人工构造 + 模型生成”的组合。在奖励校验环节，结合了人工编写的基于规则（rule-based）验证和 LLM as judge 验证方式，并根据难度对 query 进行了筛选。目前暂未明确说明是否直接开源这部分指令数据，但相关技术细节已在技术报告中披露。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F17",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},25620,"为什么项目中不使用 OpenAI 原生的 tools 参数，而是将工具注入到 prompt 中？","不使用 OpenAI 原生 tool-calling 功能是为了保持与 MAI-UI 自定义工具调用格式的兼容性。该格式需要同时支持 GUI 操作和 MCP（Model Context Protocol）工具调用，原生参数无法满足这种混合调用的需求。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F19",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},25621,"在 Android World 等基准测试中，为什么某些模型的性能数据与其他榜单（如 Leaderboard）不一致？","数据差异主要源于观察输入（observation）的不同。例如，AutoGLM-Mobile 等高分模型使用了“截图 + A11y tree（无障碍树）”作为输入，而 MAI-UI 为了公平比较，目前仅对比那些只使用“截图”作为输入的模型或方案。结构化 A11y tree 确实能显著提升模型能力，但是否支持需视具体实验设置而定。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F16",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},25622,"使用自动化操作（如微信、淘宝、支付宝）是否会触发风控导致封号？","模拟个人的低频操作通常风险较小，但频繁的批量自动化任务极有可能被识别并触发风控机制，从而导致封号。目前频繁的自动化操作仍存在一定的被封禁概率，使用时需谨慎控制频率。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F21",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},25623,"官网性能图表中的数据标注是否有误？UI-Tars-1.5 的分数是如何计算的？","此前官网图中 UI-Tars-1.5 的柱状图幅度正确，但分数标注有误，现已更正。关于分数来源：在 Grounding 评测集和 Android World 中，UI-Tars-1.5-7B 的分数来自对开源模型的实测结果，而 UI-Tars-1.5 的其他分数则引用自闭源模型技术博客中报告的数据。","https:\u002F\u002Fgithub.com\u002FTongyi-MAI\u002FMAI-UI\u002Fissues\u002F12",[]]