[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-trycua--acu":3,"similar-trycua--acu":51},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":19,"owner_email":20,"owner_twitter":15,"owner_website":21,"owner_url":22,"languages":19,"stars":23,"forks":24,"last_commit_at":25,"license":19,"difficulty_score":26,"env_os":27,"env_gpu":28,"env_ram":28,"env_deps":29,"category_tags":32,"github_topics":37,"view_count":45,"oss_zip_url":19,"oss_zip_packed_at":19,"status":46,"created_at":47,"updated_at":48,"faqs":49,"releases":50},6091,"trycua\u002Facu","acu","A curated list of resources about AI agents for Computer Use, including research papers, projects, frameworks, and tools.","acu 是一个精心整理的开源资源清单，专注于\"AI 电脑操作智能体”（AI Agents for Computer Use）领域。简单来说，它汇集了让 AI 像人类一样自主操作电脑的研究论文、项目代码、开发框架及实用工具。\n\n传统 AI 大多局限于文本对话，而 acu 关注的智能体具备“看、想、做”的全链路能力：它们能理解屏幕内容，规划操作步骤，并直接通过点击、键盘输入或调用 API 来操控电脑和手机界面，从而独立帮助用户完成复杂任务。acu 的出现解决了该领域资源分散、技术门槛高的问题，为想要探索或构建此类应用的人群提供了一站式的导航。\n\n这份清单非常适合 AI 研究人员、开发者以及技术爱好者使用。研究人员可以从中获取最新的综述论文、数据集和基准测试；开发者能找到成熟的开源框架、沙箱环境和自动化方案，快速搭建自己的智能体应用。\n\nacu 的独特亮点在于其分类细致且更新及时，涵盖了从底层的大语言模型（LLM）驱动方法、视觉定位技术（UI Grounding），到具体的商业与开源项目对比。无论是想了解比尔·盖茨等业界领袖对未来的展望，还是深入钻研强化学习在长程任务中的最新突破，acu 都","acu 是一个精心整理的开源资源清单，专注于\"AI 电脑操作智能体”（AI Agents for Computer Use）领域。简单来说，它汇集了让 AI 像人类一样自主操作电脑的研究论文、项目代码、开发框架及实用工具。\n\n传统 AI 大多局限于文本对话，而 acu 关注的智能体具备“看、想、做”的全链路能力：它们能理解屏幕内容，规划操作步骤，并直接通过点击、键盘输入或调用 API 来操控电脑和手机界面，从而独立帮助用户完成复杂任务。acu 的出现解决了该领域资源分散、技术门槛高的问题，为想要探索或构建此类应用的人群提供了一站式的导航。\n\n这份清单非常适合 AI 研究人员、开发者以及技术爱好者使用。研究人员可以从中获取最新的综述论文、数据集和基准测试；开发者能找到成熟的开源框架、沙箱环境和自动化方案，快速搭建自己的智能体应用。\n\nacu 的独特亮点在于其分类细致且更新及时，涵盖了从底层的大语言模型（LLM）驱动方法、视觉定位技术（UI Grounding），到具体的商业与开源项目对比。无论是想了解比尔·盖茨等业界领袖对未来的展望，还是深入钻研强化学习在长程任务中的最新突破，acu 都能提供权威且系统的指引，是进入 AI 自主操作领域的理想起点。","\u003Cdiv align=\"center\">\n\u003Ch1>\n  \u003Cdiv class=\"image-wrapper\" style=\"display: inline-block;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrycua_acu_readme_e94cfd36a5df.png\" alt=\"logo\" height=\"100\" style=\"display: block; margin: auto;\">\n  \u003C\u002Fdiv>\n  \n  [![X Community](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCommunity-black?logo=x&style=flat-square)](https:\u002F\u002Fx.com\u002Fi\u002Fcommunities\u002F1874549355442802764)\n  \n  ACU - Awesome Agents for Computer Use\n\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n> An AI Agent for Computer Use is an autonomous program that can **reason** about tasks, **plan** sequences of actions, and **act** within the domain of a computer or mobile device in the form of clicks, keystrokes, other computer events, command-line operations and internal\u002Fexternal API calls. These agents combine perception, decision-making, and control capabilities to interact with digital interfaces and accomplish user-specified goals independently.\n\nA curated list of resources about AI agents for Computer Use, including research papers, projects, frameworks, and tools.\n\n## Table of Contents\n\n- [ACU - Awesome Agents for Computer Use](#acu---awesome-agents-for-computer-use)\n  - [Table of Contents](#table-of-contents)\n  - [Articles](#articles)\n  - [Papers](#papers)\n    - [Surveys](#surveys)\n    - [Frameworks & Models](#frameworks--models)\n    - [UI Grounding](#ui-grounding)\n    - [Dataset](#dataset)\n    - [Benchmark](#benchmark)\n    - [Safety](#safety)\n  - [Projects](#projects)\n    - [Open Source](#open-source)\n      - [Frameworks & Models](#frameworks--models-1)\n      - [Environment & Sandbox](#environment--sandbox)\n      - [Automation](#automation)\n    - [Commercial](#commercial)\n      - [Frameworks & Models](#frameworks--models-2)\n  - [Contributing](#contributing)\n\n## Articles\n- [Anthropic | Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku](https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002F3-5-models-and-computer-use)\n- [Bill Gates | AI is about to completely change how you use computers](https:\u002F\u002Fwww.gatesnotes.com\u002FAI-agents)\n- [Ethan Mollick | When you give a Claude a mouse](https:\u002F\u002Fwww.oneusefulthing.org\u002Fp\u002Fwhen-you-give-a-claude-a-mouse)\n- [OpenAI | Introducing Operator: A research preview of an agent that can use its own browser to perform tasks for you](https:\u002F\u002Fopenai.com\u002Findex\u002Fintroducing-operator)\n\n## Papers\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Surveys\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Surveys\n\n- [AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.16150) (Jan. 2025)\n  - Comprehensive review establishing taxonomy of computer control agents (CCAs) from environment, interaction, and agent perspectives, analyzing 86 CCAs and 33 datasets\n\n- [GUI Agents: A Survey](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.13501) (Dec. 2024)\n  - General survey of GUI agents\n\n- [Large Language Model-Brained GUI Agents: A Survey](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.18279) (Nov. 2024)\n  - Focus on LLM-based approaches\n  - [Website](https:\u002F\u002Fvyokky.github.io\u002FLLM-Brained-GUI-Agents-Survey\u002F)\n\n- [GUI Agents with Foundation Models: A Comprehensive Survey](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.04890) (Nov. 2024)\n  - Comprehensive overview of foundation model-based GUI agents\n  \n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Frameworks & Models\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Frameworks & Models\n\n- [Reinforcement Learning for Long-Horizon Interactive LLM Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.01600) (Feb. 2025)\n  - Novel RL approach (LOOP) for training IDAs directly in target environments\n  - 32B parameter agent outperforms OpenAI o1 by 9 percentage points on AppWorld\n\n- [Large Action Models: From Inception to Implementation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.10047) (Dec. 2024)\n  - Comprehensive framework for developing LAMs that can perform real-world actions beyond language generation\n  - Details key stages including data collection, model training, environment integration, grounding and evaluation\n\n- [Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation](https:\u002F\u002Fopenreview.net\u002Fforum?id=jR6YMxVG9i) (Dec. 2024)\n  - Novel reward-guided navigation approach\n\n- [SpiritSight Agent: Advanced GUI Agent with One Look](https:\u002F\u002Fopenreview.net\u002Fforum?id=jY2ow7jRdZ) (Dec. 2024)\n  - Single-shot GUI interaction approach\n\n- [AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs](https:\u002F\u002Fopenreview.net\u002Fforum?id=wl4c9jvcyY) (Dec. 2024)\n  - Novel approach for automatic GUI functionality annotation\n\n- [Simulate Before Act: Model-Based Planning for Web Agents](https:\u002F\u002Fopenreview.net\u002Fforum?id=JDa5RiTIC7) (Dec. 2024)\n  - Novel model-based planning approach using LLM world models\n\n- [Proposer-Agent-Evaluator (PAE): Autonomous Skill Discovery For Foundation Model Internet Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.13194) (Dec. 2024)\n  - Novel autonomous skill discovery framework for web agents\n  - [Code](https:\u002F\u002Fyanqval.github.io\u002FPAE\u002F)\n\n- [Learning to Contextualize Web Pages for Enhanced Decision Making by LLM Agents](https:\u002F\u002Fopenreview.net\u002Fforum?id=3Gzz7ZQLiz) (Dec. 2024)\n  - Novel framework for contextualizing web pages to enhance LLM agent decision making\n\n- [Digi-Q: Transforming VLMs to Device-Control Agents via Value-Based Offline RL](https:\u002F\u002Fopenreview.net\u002Fforum?id=CjfQssZtAb) (Dec. 2024)\n  - Novel value-based offline RL approach for training VLM device-control agents\n\n- [Magentic-One](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fuploads\u002Fprod\u002F2024\u002F11\u002FMagenticOne.pdf) (Nov. 2024)\n  - Multi-agent system with orchestrator-led coordination\n  - Strong performance on GAIA, WebArena, and AssistantBench\n\n- [Agent Workflow Memory](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.07429) (Sep. 2024)\n  - Novel workflow memory framework for agents\n  - [Code](https:\u002F\u002Fgithub.com\u002Fzorazrw\u002Fagent-workflow-memory)\n\n- [The Impact of Element Ordering on LM Agent Performance](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.12089) (Sep. 2024)\n  - Novel study on element ordering's impact on agent performance\n  - [Code](https:\u002F\u002Fgithub.com\u002Fwaynchi\u002Fgui-agent)\n\n- [Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.07199) (Aug. 2024)\n  - Novel reasoning and learning framework\n  - [Website](https:\u002F\u002Fwww.multion.ai\u002Fblog\u002Fintroducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities)\n\n- [OpenWebAgent: An Open Toolkit to Enable Web Agents on Large Language Models](https:\u002F\u002Faclanthology.org\u002F2024.acl-demos.8\u002F) (Aug. 2024)\n  - Open platform for web-based agent deployment\n  - [Code](https:\u002F\u002Fgithub.com\u002Fboxworld18\u002FOpenWebAgent)\n\n- [Agent-e: From autonomous web navigation to foundational design principles in agentic systems](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.13032) (Jul. 2024)\n  - Hierarchical architecture with flexible DOM distillation\n  - Novel denoising method for web navigation\n\n- [Apple Intelligence Foundation Language Models](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2407.21075) (Jul. 2024)\n  - Vision-Language Model with Private Cloud Compute\n  - Novel foundation model architecture\n\n- [Tree search for language model agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.01476) (Jul. 2024)\n  - Multi-step reasoning and planning with best-first tree search\n  - Novel approach for LLM-based agents\n\n- [DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.11896) (Jun. 2024)\n  - Novel reinforcement learning approach\n  - [Code](https:\u002F\u002Fgithub.com\u002FDigiRL-agent\u002Fdigirl)\n\n- [Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.01014) (Jun. 2024)\n  - Multi-agent collaboration for mobile device operation\n  - [Code](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FMobileAgent)\n\n- [Octopus Series: On-device Language Models for Computer Control](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.01549) (Apr. 2024)\n  - v4: Graph of language models with functional tokens integration (Apr. 2024)\n  - v3: Sub-billion parameter multimodal model for edge devices (Apr. 2024)\n  - v2: Super agent for Android and iOS (Apr. 2024)\n  - v1: Function calling of software APIs (Apr. 2024)\n  - [Website](https:\u002F\u002Fwww.nexa4ai.com\u002Foctopus-v3)\n  - [Code](https:\u002F\u002Fgithub.com\u002FNexaAI\u002Foctopus-v4)\n\n- [AutoWebGLM: Bootstrap and reinforce a large language model-based web navigating agent](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.03648) (Apr. 2024)\n  - Novel approach for real-world web navigation and bilingual benchmark\n  - [Code](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FWebGLM)\n\n- [Cradle: Empowering Foundation Agents towards General Computer Control](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.03186) (Mar. 2024)\n  - Focus on general computer control using Red Dead Redemption II as a case study\n  - [Code](https:\u002F\u002Fgithub.com\u002FBAAI-Agents\u002FCradle)\n\n- [Android in the Zoo: Chain-of-Action-Thought for GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.02713) (Mar. 2024)\n  - Novel Chain-of-Action-Thought framework for Android interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FIMNearth\u002FCoAT)\n\n- [ScreenAgent: A Computer Control Agent Driven by Visual Language Large Model](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07945) (Feb. 2024)\n  - Vision-language model for computer control\n  - [Code](https:\u002F\u002Fgithub.com\u002Fniuzaisheng\u002FScreenAgent)\n\n- [OS-Copilot: Towards Generalist Computer Agents with Self-Improvement](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07456) (Feb. 2024)\n  - Vision-Language Model for PC interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Copilot)\n\n- [UFO: A UI-Focused Agent for Windows OS Interaction](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07939) (Feb. 2024)\n  - Specialized for Windows OS interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FUFO)\n\n- [CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.11941) (Feb. 2024)\n  - Novel comprehensive environment perception (CEP) approach for exhaustive GUI perception\n  - Introduces conditional action prediction (CAP) for reliable action response\n\n- [Intention-inInteraction (IN3): Tell Me More!](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.09205) (Feb. 2024)\n  - Novel benchmark for evaluating user intention understanding in agent designs\n  - Introduces model experts for robust user-agent interaction\n\n- [Dual-view visual contextualization for web navigation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.04476) (Feb. 2024)\n  - Novel approach for automatic web navigation with language instructions\n  - Key: HTML elements, visual contextualization\n\n- [ScreenAI: A Vision-Language Model for UI and Infographics Understanding](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.04615) (Feb. 2024)\n  - Specialized for mobile UI and infographics understanding\n  - Novel approach for visual interface comprehension\n\n- [GPT-4V(ision) is a Generalist Web Agent, if Grounded](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.01614) (Jan. 2024)\n  - Demonstrates GPT-4V capabilities for web interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FSeeAct)\n\n- [Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.16158) (Jan. 2024)\n  - Visual perception for mobile device interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FMobileAgent)\n\n- [WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.13919) (Jan. 2024)\n  - End-to-end approach for web interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FMinorJerry\u002FWebVoyager)\n\n- [CogAgent: A Visual Language Model for GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.08914) (Dec. 2023)\n  - Works across PC and Android platforms\n  - [Code](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogVLM)\n\n- [AppAgent: Multimodal Agents as Smartphone Users](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.13771) (Dec. 2023)\n  - Focused on smartphone interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002Fmnotgod96\u002FAppAgent)\n\n- [LASER: LLM Agent with State-Space Exploration for Web Navigation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.08172) (Sep. 2023)\n  - Novel approach to web navigation\n  - [Code](https:\u002F\u002Fgithub.com\u002FMayer123\u002FLASER)\n\n- [AndroidEnv: A Reinforcement Learning Platform for Android](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.13231) (May 2021)\n  - Reinforcement learning platform for Android interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002Fgoogle-deepmind\u002Fandroid_env)\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>UI Grounding\u003C\u002Fb>\u003C\u002Fsummary>\n\n### UI Grounding\n\n- [OmniParser for Pure Vision Based GUI Agent](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2408.00203) (Aug. 2024)\n  - Novel vision-based screen parsing method for UI screenshots\n  - Combines finetuned interactable icon detection and functional description models\n  - [Code](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FOmniParser)\n\n- [Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05719) (Apr. 2024)\n  - Mobile UI understanding\n  - [Code](https:\u002F\u002Fgithub.com\u002Fapple\u002Fml-ferret)\n\n- [SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.10935) (Jan. 2024)\n  - Advanced visual grounding techniques\n  - [Code](https:\u002F\u002Fgithub.com\u002Fnjucckevin\u002FSeeClick)\n\n- [Ferret-UI 2: Mastering Universal User Interface Understanding Across Platforms](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18967) (Oct. 2024)\n  - Multimodal LLM for universal UI understanding across diverse platforms\n  - Introduces adaptive gridding for high-resolution perception\n  - Preprint\n\n- [Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.05243) (Oct. 2024)\n  - Universal approach to GUI interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FUGround)\n\n- [OS-ATLAS: Foundation Action Model for Generalist GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.23218) (Oct. 2024)\n  - Comprehensive action modeling\n  - [Code](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Atlas)\n\n- [UI-Pro: A Hidden Recipe for Building Vision-Language Models for GUI Grounding](https:\u002F\u002Fopenreview.net\u002Fforum?id=5wmAfwDBoi) (Dec. 2024)\n  - Novel framework for building VLMs with strong UI element grounding capabilities\n\n- [Grounding Multimodal Large Language Model in GUI World](https:\u002F\u002Fopenreview.net\u002Fforum?id=M9iky9Ruhx) (Dec. 2024)\n  - Novel GUI grounding framework with automated data collection engine and lightweight grounding module\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Dataset\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Dataset\n\n- [Explorer: Scaling Exploration-driven Web Trajectory Synthesis for Multimodal Web Agents](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2502.11357) (Feb. 2025)\n  - Scalable multi-agent pipeline that leverages exploration for diverse web agent trajectory synthesis.\n\n- [OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.19723) (Dec. 2024)\n  - Novel interaction-driven approach for automated GUI trajectory synthesis\n  - Introduces reverse task synthesis and trajectory reward model\n  - [Code](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Genesis)\n\n- [AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.09605) (Dec. 2024)\n  - Web tutorial-based trajectory synthesis\n\n- [ICAL: Continual Learning of Multimodal Agents by Transforming Trajectories into Actionable Insights](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.14596) (Jun. 2024)\n  - Novel approach to continual learning from trajectories\n\n- [Synatra: Turning Indirect Knowledge into Direct Demonstrations for Digital Agents at Scale](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.15637) (Sep. 2024)\n  - Scalable demonstration generation\n\n- [UiPad: UI Parsing and Accessibility Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMacPaw\u002Fuipad) (Sep. 2024)\n  - MacOS desktop UI dataset with accessibility trees and evaluation questions\n\n- [Multi-Turn Mind2Web: On the Multi-turn Instruction Following](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.15057) (Feb. 2024)\n  - Multi-turn instruction dataset for web agents\n  - [Code](https:\u002F\u002Fgithub.com\u002Fmagicgh\u002Fself-map)\n\n- [CToolEval: A Chinese Benchmark for LLM-Powered Agent Evaluation](https:\u002F\u002Faclanthology.org\u002F2024.findings-acl.928\u002F) (Aug. 2024)\n  - Chinese benchmark for agent evaluation\n  - [Code](https:\u002F\u002Fgithub.com\u002Ftjunlp-lab\u002FCToolEval)\n\n- [AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.15711) (Jul. 2024)\n  - Benchmark for realistic and time-consuming web tasks\n  - [Code](https:\u002F\u002Fassistantbench.github.io)\n\n- [Mind2Web: Towards a Generalist Agent for the Web](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.06070) (Jun. 2023)\n  - Large-scale web interaction dataset\n  - [Code](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FMind2Web)\n\n- [Android in the Wild: A Large-Scale Dataset for Android Device Control](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.10088) (Jul. 2023)\n  - Large-scale dataset for Android interaction\n  - Real-world device control scenarios\n\n- [WebShop: Towards Scalable Real-World Web Interaction](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.01206) (Jul. 2022)\n  - Dataset for grounded language agents in web interaction\n  - [Code](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FWebShop)\n\n- [Rico: A Mobile App Dataset for Building Data-Driven Design Applications](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1145\u002F3126594.3126651) (Oct. 2017)\n  - Mobile app UI dataset\n  - Design-focused data collection\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Benchmark\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Benchmark\n\n- [A3: Android Agent Arena for Mobile GUI Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01149) (Jan. 2025)\n  - Novel evaluation platform with 201 tasks across 21 widely used third-party apps\n  - [Website](https:\u002F\u002Fyuxiangchai.github.io\u002FAndroid-Agent-Arena\u002F)\n  - [Code](https:\u002F\u002Fgithub.com\u002FAndroidArenaAgent\u002FAndroidArena)\n\n- [OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.07972) (Apr. 2024)\n  - Comprehensive evaluation framework\n  - [Code](https:\u002F\u002Fgithub.com\u002Fxlang-ai\u002FOSWorld)\n\n- [AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.14573) (May. 2024)\n  - Android-focused evaluation\n  - [Code](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fandroid_world)\n\n- [Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.10956) (Jul. 2024)\n  - Evaluation in data science workflows\n  - [Code](https:\u002F\u002Fgithub.com\u002Fxlang-ai\u002FSpider2-V)\n\n- [AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.18901) (Jul. 2024)\n  - Comprehensive benchmark with 750 natural tasks across 9 day-to-day apps and 457 APIs\n  - GPT-4o achieves only ~49% on normal tasks and ~30% on challenge tasks\n  - [Code](https:\u002F\u002Fgithub.com\u002Fstonybrooknlp\u002Fappworld\u002F)\n\n- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.12045) (Jun. 2024)\n  - Novel benchmark for evaluating agent-user interaction and policy compliance\n  - State-of-the-art agents achieve \u003C50% success rate and \u003C25% consistency (pass^8)\n  - [Code](https:\u002F\u002Fgithub.com\u002Fsierra-research\u002Ftau-bench)\n\n- [MobileAgentBench: An Efficient and User-Friendly Benchmark for Mobile LLM Agents](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.08184) (Jun. 2024)\n  - Mobile agent evaluation\n  - [Code](https:\u002F\u002Fgithub.com\u002FMobileAgentBench\u002Fmobile-agent-bench)\n\n- [VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.13649) (Jan. 2024)\n  - Web-focused evaluation\n  - [Code](https:\u002F\u002Fgithub.com\u002Fweb-arena-x\u002Fvisualwebarena)\n\n- [Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.08264) (Sep. 2024)\n  - Windows OS-focused evaluation framework\n  - [Code](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FWindowsAgentArena)\n  - [Website](https:\u002F\u002Fmicrosoft.github.io\u002FWindowsAgentArena\u002F)\n\n- [Mobile-Env: Building Qualified Evaluation Benchmarks for LLM-GUI Interaction](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.08144) (May. 2023)\n  - Mobile-focused evaluation framework\n  - [Code](https:\u002F\u002Fgithub.com\u002FX-LANCE\u002FMobile-Env)\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Safety\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Safety\n\n- [Attacking Vision-Language Computer Agents via Pop-ups](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.02391) (Nov. 2024)\n  - Security analysis of computer agents\n  - [Code](https:\u002F\u002Fgithub.com\u002FSALT-NLP\u002FPopupAttack)\n\n- [EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.11295) (Sep. 2024)\n  - Privacy and security analysis\n\n- [GuardAgent: Safeguard LLM Agent by a Guard Agent via Knowledge-Enabled Reasoning](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.09187) (Jun. 2024)\n  - Safety mechanisms for agents\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n## Projects\n\n### Open Source\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Frameworks & Models\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Frameworks & Models\n\n- [AutoGen](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen)\n  - Framework for building AI agent systems.\n  - It simplifies the creation of event-driven, distributed, scalable, and resilient agentic applications.\n\n- [Auto-GPT](https:\u002F\u002Fgithub.com\u002FSignificant-Gravitas\u002FAuto-GPT)  \n  - Autonomous GPT-4 agent  \n  - Task automation focus\n\n- [Browser Use](https:\u002F\u002Fgithub.com\u002Fbrowser-use\u002Fbrowser-use)  \n  - Make websites accessible for AI agents with vision + HTML extraction  \n  - Supports multi-tab management and custom actions with LangChain integration  \n\n- [Claude Computer Use Demo](https:\u002F\u002Fgithub.com\u002FPallavAg\u002Fclaude-computer-use-macos)  \n  - MacOS implementation  \n  - Claude integration  \n\n- [Claude Minecraft Use](https:\u002F\u002Fgithub.com\u002FObservedObserver\u002Fclaude-minecraft-use)  \n  - Game automation  \n  - Specialized use case  \n\n- [Computer Use OOTB](https:\u002F\u002Fgithub.com\u002Fshowlab\u002Fcomputer_use_ootb)  \n  - Ready-to-use implementation  \n  - Comprehensive toolset  \n\n- [Cua](https:\u002F\u002Fgithub.com\u002Ftrycua)\n  - Computer Use Interface & Agent\n\n- [Cybergod](https:\u002F\u002Fgithub.com\u002Fjames4ever0\u002Fagi_computer_control)  \n  - Advanced computer control  \n\n- [Grunty](https:\u002F\u002Fgithub.com\u002Fsuitedaces\u002Fcomputer-agent)  \n  - Computer control agent  \n  - Task automation focus\n\n- [Inferable](https:\u002F\u002Fgithub.com\u002Finferablehq\u002Finferable)  \n  - Distributed agent builder platform  \n  - Build tools with existing code  \n\n- [LaVague](https:\u002F\u002Fgithub.com\u002Flavague-ai\u002FLaVague)  \n  - AI web agent framework  \n  - Modular architecture  \n\n- [Mac Computer Use](https:\u002F\u002Fgithub.com\u002Fdeedy\u002Fmac_computer_use)  \n  - MacOS-specific tools  \n  - Anthropic integration  \n\n- [NatBot](https:\u002F\u002Fgithub.com\u002Fnat\u002Fnatbot)  \n  - Browser automation  \n  - GPT-4 Vision integration\n \n- [Notte Browser Using Agent](https:\u002F\u002Fgithub.com\u002Fnottelabs\u002Fnotte)  \n  - Full-stack web AI agents framework (agents, automations, cloud browser sessions)\n  - Notte turns websites into structured, navigable maps described in natural language\n\n- [OpenAdapt](https:\u002F\u002Fgithub.com\u002FOpenAdaptAI\u002FOpenAdapt)  \n  - AI-First Process Automation  \n  - Multimodal model integration  \n\n- [OpenInterface](https:\u002F\u002Fgithub.com\u002FAmberSahdev\u002FOpen-Interface\u002F)  \n  - Open-source UI interaction framework  \n  - Cross-platform support  \n\n- [OpenInterpreter](https:\u002F\u002Fgithub.com\u002FOpenInterpreter\u002Fopen-interpreter)  \n  - General-purpose computer control framework  \n  - Python-based, extensible architecture  \n\n- [Open Source Computer Use by E2B](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fsecure-computer-use\u002Ftree\u002Fos-computer-use)  \n  - Open-source implementation of computer control capabilities  \n  - Secure sandboxed environment for AI agents  \n\n- [Self-Operating Computer](https:\u002F\u002Fgithub.com\u002FOthersideAI\u002Fself-operating-computer) (Nov. 2023) \n  - The first Computer Use framework created\n  - Computer control framework  \n  - Vision-based automation\n\n- [Skyvern](https:\u002F\u002Fgithub.com\u002Fskyvern-ai\u002Fskyvern)  \n  - AI web agent framework\n  - Automate browser-based workflows with LLMs using vision and HTML extraction\n\n- [Surfkit](https:\u002F\u002Fgithub.com\u002Fagentsea\u002Fsurfkit)  \n  - Device operation toolkit  \n  - Extensible agent framework  \n\n- [WebMarker](https:\u002F\u002Fgithub.com\u002Freidbarber\u002Fwebmarker)  \n  - Web page annotation tool  \n  - Vision-language model support\n\n- [Upsonic](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic)  \n  - Reliable agent framework that support MCP \n  - Integrated Browser Use and Computer Use\n \n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>UI Grounding\u003C\u002Fb>\u003C\u002Fsummary>\n\n### UI Grounding\n\n- [AskUI\u002FPTA-1](https:\u002F\u002Fhuggingface.co\u002FAskUI\u002FPTA-1)\n  - A small vision language model for computer & phone automation, based on Florence-2.\n  - With only 270M parameters it outperforms much larger models in GUI text and element localization. \n\n- [Microsoft\u002FOmniParser](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FOmniParser)\n  - A general screen parsing tool, which interprets\u002Fconverts UI screenshot to structured format, to improve existing LLM based UI agent\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Environment & Sandbox\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Environment & Sandbox\n\n- [Cua](https:\u002F\u002Fgithub.com\u002Ftrycua)\n  - macOS\u002FLinux Sandbox on Apple Silicon\n\n- [dockur\u002Fwindows](https:\u002F\u002Fgithub.com\u002Fdockur\u002Fwindows)\n  - Windows inside a Docker container\n\n- [E2B Desktop Sandbox](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fdesktop)\n  - Secure desktop environment\n  - Agent testing platform\n\n- [qemus\u002Fqemu-docker](https:\u002F\u002Fgithub.com\u002Fqemus\u002Fqemu-docker)\n  - Docker container for running virtual machines using QEMU\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Automation\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Automation\n- [nut.js](https:\u002F\u002Fgithub.com\u002Fnut-tree\u002Fnut.js)\n  - Native UI automation\n  - JavaScript\u002FTypeScript implementation\n\n- [PyAutoGUI](https:\u002F\u002Fgithub.com\u002Fasweigart\u002Fpyautogui)\n  - Cross-platform GUI automation\n  - Python-based control library\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n### Commercial\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>Frameworks & Models\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Frameworks & Models\n\n- [Anthropic Claude Computer Use](https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002F3-5-models-and-computer-use)\n  - Commercial computer control capability\n  - Integrated with Claude 3.5 models\n\n- [Multion](https:\u002F\u002Fwww.multion.ai)\n  - AI agents that can fully complete tasks in any web environment.\n\n- [Runner H](https:\u002F\u002Fwww.hcompany.ai\u002F)\n  - Advanced AI agent for real-world applications.\n  - Scores 67% on WebVoyager\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n## Contributing\n\nWe welcome and encourage contributions from the community! Here's how you can help:\n\n- **Add new resources**: Found a relevant paper, project, or tool? Submit a PR to add it\n- **Fix errors**: Help us correct any mistakes in existing entries\n- **Improve organization**: Suggest better ways to structure the information\n- **Update content**: Keep entries up-to-date with latest developments\n\nTo contribute:\n1. Fork the repository\n2. Create a new branch for your changes\n3. Submit a pull request with a clear description of your additions\u002Fchanges\n4. Post in the [X Community](https:\u002F\u002Fx.com\u002Fi\u002Fcommunities\u002F1874549355442802764) to let everyone know about the new resource\n\nFor an example of how to format your contribution, please refer to [this PR](https:\u002F\u002Fgithub.com\u002Ffrancedot\u002Facu\u002Fpull\u002F1).\n\n\u003Cbr\u002F>\n\n*Thank you for helping spread knowledge about AI agents for computer use!*\n","\u003Cdiv align=\"center\">\n\u003Ch1>\n  \u003Cdiv class=\"image-wrapper\" style=\"display: inline-block;\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrycua_acu_readme_e94cfd36a5df.png\" alt=\"logo\" height=\"100\" style=\"display: block; margin: auto;\">\n  \u003C\u002Fdiv>\n  \n  [![X Community](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FCommunity-black?logo=x&style=flat-square)](https:\u002F\u002Fx.com\u002Fi\u002Fcommunities\u002F1874549355442802764)\n  \n  ACU - 用于计算机操作的优秀智能体\n\u003C\u002Fh1>\n\u003C\u002Fdiv>\n\n> 用于计算机操作的AI智能体是一种自主程序，它能够对任务进行**推理**、**规划**一系列行动，并以点击、键盘输入、其他计算机事件、命令行操作以及内部\u002F外部API调用等形式，在计算机或移动设备的范围内**执行**操作。这些智能体结合了感知、决策和控制能力，能够与数字界面交互并独立完成用户指定的目标。\n\n这是一份关于用于计算机操作的AI智能体的精选资源列表，包括研究论文、项目、框架和工具。\n\n## 目录\n\n- [ACU - 用于计算机操作的优秀智能体](#acu---awesome-agents-for-computer-use)\n  - [目录](#table-of-contents)\n  - [文章](#articles)\n  - [论文](#papers)\n    - [综述](#surveys)\n    - [框架与模型](#frameworks--models)\n    - [UI接地](#ui-grounding)\n    - [数据集](#dataset)\n    - [基准测试](#benchmark)\n    - [安全性](#safety)\n  - [项目](#projects)\n    - [开源](#open-source)\n      - [框架与模型](#frameworks--models-1)\n      - [环境与沙盒](#environment--sandbox)\n      - [自动化](#automation)\n    - [商业](#commercial)\n      - [框架与模型](#frameworks--models-2)\n  - [贡献](#contributing)\n\n## 文章\n- [Anthropic | 推出计算机操作功能、全新Claude 3.5 Sonnet及Claude 3.5 Haiku](https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002F3-5-models-and-computer-use)\n- [比尔·盖茨 | AI即将彻底改变你使用电脑的方式](https:\u002F\u002Fwww.gatesnotes.com\u002FAI-agents)\n- [Ethan Mollick | 当你给Claude一只鼠标时](https:\u002F\u002Fwww.oneusefulthing.org\u002Fp\u002Fwhen-you-give-a-claude-a-mouse)\n- [OpenAI | 推出Operator：一款可利用自身浏览器为你完成任务的研究预览版智能体](https:\u002F\u002Fopenai.com\u002Findex\u002Fintroducing-operator)\n\n## 论文\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>综述\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 综述\n\n- [用于计算机操作的AI智能体：基于指令的计算机控制、GUI自动化与操作助手的综述](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.16150)（2025年1月）\n  - 全面综述，从环境、交互和智能体视角建立了计算机控制智能体（CCA）的分类体系，分析了86个CCA和33个数据集\n\n- [GUI智能体：综述](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.13501)（2024年12月）\n  - GUI智能体的通用综述\n\n- [大型语言模型驱动的GUI智能体：综述](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.18279)（2024年11月）\n  - 重点关注基于LLM的方法\n  - [网站](https:\u002F\u002Fvyokky.github.io\u002FLLM-Brained-GUI-Agents-Survey\u002F)\n\n- [基于基础模型的GUI智能体：综合综述](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.04890)（2024年11月）\n  - 对基于基础模型的GUI智能体进行全面概述\n  \n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>框架与模型\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 脚本与模型\n\n- [面向长时程交互式LLM智能体的强化学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.01600)（2025年2月）\n  - 一种新颖的RL方法（LOOP），用于在目标环境中直接训练IDA\n  - 一个拥有320亿参数的智能体在AppWorld上比OpenAI o1高出9个百分点\n\n- [大型动作模型：从构思到实现](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.10047)（2024年12月）\n  - 一套全面的框架，用于开发能够执行超越语言生成的实际动作的LAM\n  - 详细介绍了关键阶段，包括数据收集、模型训练、环境集成、接地和评估\n\n- [推理时通过过程奖励引导VLM智能体进行GUI导航](https:\u002F\u002Fopenreview.net\u002Fforum?id=jR6YMxVG9i)（2024年12月）\n  - 一种新颖的奖励引导导航方法\n\n- [SpiritSight智能体：只需一眼即可完成高级GUI操作](https:\u002F\u002Fopenreview.net\u002Fforum?id=jY2ow7jRdZ)（2024年12月）\n  - 一种单次完成GUI交互的方法\n\n- [AutoGUI：利用LLM自动标注功能来扩展GUI接地范围](https:\u002F\u002Fopenreview.net\u002Fforum?id=wl4c9jvcyY)（2024年12月）\n  - 一种用于自动标注GUI功能的新方法\n\n- [先模拟再行动：面向网络智能体的基于模型的规划](https:\u002F\u002Fopenreview.net\u002Fforum?id=JDa5RiTIC7)（2024年12月）\n  - 一种利用LLM世界模型的新型基于模型的规划方法\n\n- [提议者-代理-评估者（PAE）：面向基础模型互联网智能体的自主技能发现](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.13194)（2024年12月）\n  - 一种用于网络智能体的新型自主技能发现框架\n  - [代码](https:\u002F\u002Fyanqval.github.io\u002FPAE\u002F)\n\n- [学习如何上下文化网页以增强LLM智能体的决策能力](https:\u002F\u002Fopenreview.net\u002Fforum?id=3Gzz7ZQLiz)（2024年12月）\n  - 一种用于上下文化网页以提升LLM智能体决策能力的新框架\n\n- [Digi-Q：通过基于价值的离线RL将VLM转化为设备控制智能体](https:\u002F\u002Fopenreview.net\u002Fforum?id=CjfQssZtAb)（2024年12月）\n  - 一种用于训练VLM设备控制智能体的新颖的价值导向离线RL方法\n\n- [Magentic-One](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fuploads\u002Fprod\u002F2024\u002F11\u002FMagenticOne.pdf)（2024年11月）\n  - 多智能体系统，由协调器主导协作\n  - 在GAIA、WebArena和AssistantBench上表现强劲\n\n- [智能体工作流记忆](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.07429)（2024年9月）\n  - 一种用于智能体的新颖工作流记忆框架\n  - [代码](https:\u002F\u002Fgithub.com\u002Fzorazrw\u002Fagent-workflow-memory)\n\n- [元素排序对LM智能体性能的影响](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.12089)（2024年9月）\n  - 一项关于元素排序对智能体性能影响的新研究\n  - [代码](https:\u002F\u002Fgithub.com\u002Fwaynchi\u002Fgui-agent)\n\n- [Agent Q：面向自主AI智能体的高级推理与学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.07199)（2024年8月）\n  - 一种新颖的推理与学习框架\n  - [网站](https:\u002F\u002Fwww.multion.ai\u002Fblog\u002Fintroducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities)\n\n- [OpenWebAgent：一个开放工具包，用于在大型语言模型上部署网络智能体](https:\u002F\u002Faclanthology.org\u002F2024.acl-demos.8\u002F)（2024年8月）\n  - 一个用于基于网络的智能体部署的开放平台\n  - [代码](https:\u002F\u002Fgithub.com\u002Fboxworld18\u002FOpenWebAgent)\n\n- [Agent-e：从自主网络导航到智能体系统中的基础设计原则](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.13032)（2024年7月）\n  - 一种具有灵活DOM提炼功能的分层架构\n  - 一种用于网络导航的新去噪方法\n\n- [Apple Intelligence基础语言模型](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2407.21075)（2024年7月）\n  - 一种具备私有云计算功能的视觉-语言模型\n  - 一种新颖的基础模型架构\n\n- [用于语言模型智能体的树搜索](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.01476)（2024年7月）\n  - 基于最佳优先树搜索的多步推理与规划\n  - 面向LLM智能体的新方法\n\n- [DigiRL：通过自主强化学习训练野外设备控制智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.11896)（2024年6月）\n  - 新型强化学习方法\n  - [代码](https:\u002F\u002Fgithub.com\u002FDigiRL-agent\u002Fdigirl)\n\n- [Mobile-Agent-v2：基于多智能体协作实现高效导航的移动设备操作助手](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.01014)（2024年6月）\n  - 多智能体协作用于移动设备操作\n  - [代码](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FMobileAgent)\n\n- [章鱼系列：用于计算机控制的端侧语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.01549)（2024年4月）\n  - v4：集成功能标记的语言模型图（2024年4月）\n  - v3：面向边缘设备的十亿参数级多模态模型（2024年4月）\n  - v2：适用于Android和iOS的超级智能体（2024年4月）\n  - v1：软件API函数调用（2024年4月）\n  - [网站](https:\u002F\u002Fwww.nexa4ai.com\u002Foctopus-v3)\n  - [代码](https:\u002F\u002Fgithub.com\u002FNexaAI\u002Foctopus-v4)\n\n- [AutoWebGLM：自举并强化基于大型语言模型的网页导航智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.03648)（2024年4月）\n  - 针对真实世界网页导航及双语基准测试的新方法\n  - [代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FWebGLM)\n\n- [摇篮：赋能基础智能体实现通用计算机控制](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.03186)（2024年3月）\n  - 以《荒野大镖客2》为案例，聚焦通用计算机控制\n  - [代码](https:\u002F\u002Fgithub.com\u002FBAAI-Agents\u002FCradle)\n\n- [动物园里的安卓：GUI智能体的行动链思维框架](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.02713)（2024年3月）\n  - 面向Android交互的新颖行动链思维框架\n  - [代码](https:\u002F\u002Fgithub.com\u002FIMNearth\u002FCoAT)\n\n- [ScreenAgent：由视觉语言大模型驱动的计算机控制智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07945)（2024年2月）\n  - 视觉语言模型用于计算机控制\n  - [代码](https:\u002F\u002Fgithub.com\u002Fniuzaisheng\u002FScreenAgent)\n\n- [OS-Copilot：迈向具备自我改进能力的通用计算机智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07456)（2024年2月）\n  - 用于PC交互的视觉语言模型\n  - [代码](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Copilot)\n\n- [UFO：专注于Windows操作系统交互的UI导向智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.07939)（2024年2月）\n  - 专为Windows操作系统交互设计\n  - [代码](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FUFO)\n\n- [CoCo-Agent：用于智能手机GUI自动化的综合认知MLLM智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.11941)（2024年2月）\n  - 针对全面GUI感知的新型综合环境感知（CEP）方法\n  - 引入条件动作预测（CAP）以实现可靠的行动响应\n\n- [交互中的意图（IN3）：请告诉我更多！](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.09205)（2024年2月）\n  - 评估智能体设计中用户意图理解能力的新基准\n  - 引入模型专家以增强用户与智能体之间的稳健交互\n\n- [面向网页导航的双视角视觉情境化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.04476)（2024年2月）\n  - 基于语言指令的自动网页导航新方法\n  - 关键：HTML元素、视觉情境化\n\n- [ScreenAI：用于UI和信息图表理解的视觉语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.04615)（2024年2月）\n  - 专为移动UI和信息图表理解设计\n  - 新型视觉界面理解方法\n\n- [GPT-4V（vision）是通用网页智能体，前提是具备场景接地能力](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.01614)（2024年1月）\n  - 展示了GPT-4V在网页交互中的能力\n  - [代码](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FSeeAct)\n\n- [Mobile-Agent：具有视觉感知能力的自主多模态移动设备智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.16158)（2024年1月）\n  - 用于移动设备交互的视觉感知\n  - [代码](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FMobileAgent)\n\n- [WebVoyager：利用大型多模态模型构建端到端网页智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.13919)（2024年1月）\n  - 面向网页交互的端到端方法\n  - [代码](https:\u002F\u002Fgithub.com\u002FMinorJerry\u002FWebVoyager)\n\n- [CogAgent：用于GUI智能体的视觉语言模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.08914)（2023年12月）\n  - 跨PC和Android平台工作\n  - [代码](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogVLM)\n\n- [AppAgent：作为智能手机用户的多模态智能体](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.13771)（2023年12月）\n  - 专注于智能手机交互\n  - [代码](https:\u002F\u002Fgithub.com\u002Fmnotgod96\u002FAppAgent)\n\n- [LASER：具有状态空间探索能力的LLM智能体，用于网页导航](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.08172)（2023年9月）\n  - 面向网页导航的新方法\n  - [代码](https:\u002F\u002Fgithub.com\u002FMayer123\u002FLASER)\n\n- [AndroidEnv：面向Android的强化学习平台](https:\u002F\u002Farxiv.org\u002Fabs\u002F2105.13231)（2021年5月）\n  - 用于Android交互的强化学习平台\n  - [代码](https:\u002F\u002Fgithub.com\u002Fgoogle-deepmind\u002Fandroid_env)\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>UI接地\u003C\u002Fb>\u003C\u002Fsummary>\n\n### UI 理解与对齐\n\n- [OmniParser：纯视觉 GUI 代理的屏幕解析器](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2408.00203)（2024年8月）\n  - 针对 UI 截图的新型基于视觉的屏幕解析方法\n  - 结合了微调后的可交互图标检测模型和功能描述模型\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FOmniParser)\n\n- [Ferret-UI：多模态大语言模型驱动的移动端 UI 理解](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.05719)（2024年4月）\n  - 移动端 UI 理解\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Fapple\u002Fml-ferret)\n\n- [SeeClick：利用 GUI 对齐技术构建高级视觉 GUI 代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.10935)（2024年1月）\n  - 先进的视觉对齐技术\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Fnjucckevin\u002FSeeClick)\n\n- [Ferret-UI 2：跨平台通用用户界面理解](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.18967)（2024年10月）\n  - 多模态大语言模型用于跨不同平台的通用 UI 理解\n  - 引入自适应网格化技术以实现高分辨率感知\n  - 预印本\n\n- [像人类一样导航数字世界：GUI 代理的通用视觉对齐技术](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.05243)（2024年10月）\n  - 通用的 GUI 交互方法\n  - [代码链接](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FUGround)\n\n- [OS-ATLAS：面向通用 GUI 代理的基础行动模型](https:\u002F\u002Farxiv.org\u002Fabs\u002F2410.23218)（2024年10月）\n  - 全面的行动建模\n  - [代码链接](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Atlas)\n\n- [UI-Pro：构建具有强大 GUI 元素对齐能力的视觉-语言模型的秘方](https:\u002F\u002Fopenreview.net\u002Fforum?id=5wmAfwDBoi)（2024年12月）\n  - 一种新颖的框架，用于构建具备强大 GUI 元素对齐能力的视觉-语言模型。\n\n- [在 GUI 世界中对齐多模态大语言模型](https:\u002F\u002Fopenreview.net\u002Fforum?id=M9iky9Ruhx)（2024年12月）\n  - 一种新的 GUI 对齐框架，配备自动化数据收集引擎和轻量级对齐模块。\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>数据集\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 数据集\n\n- [Explorer：面向多模态网络代理的规模化探索驱动型网络轨迹合成](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2502.11357)（2025年2月）\n  - 可扩展的多智能体流水线，利用探索机制合成多样化的网络代理轨迹。\n\n- [OS-Genesis：通过逆向任务合成自动构建 GUI 代理轨迹](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.19723)（2024年12月）\n  - 一种新颖的交互驱动型自动化 GUI 轨迹合成方法\n  - 引入逆向任务合成和轨迹奖励模型\n  - [代码链接](https:\u002F\u002Fgithub.com\u002FOS-Copilot\u002FOS-Genesis)\n\n- [AgentTrek：基于网络教程引导式重播的代理轨迹合成](https:\u002F\u002Farxiv.org\u002Fabs\u002F2412.09605)（2024年12月）\n  - 基于网络教程的轨迹合成\n\n- [ICAL：通过将轨迹转化为可操作洞见实现多模态代理的持续学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.14596)（2024年6月）\n  - 一种从轨迹中进行持续学习的新方法\n\n- [Synatra：将间接知识转化为大规模数字代理的直接演示](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.15637)（2024年9月）\n  - 可扩展的演示生成\n\n- [UiPad：UI 解析与无障碍数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FMacPaw\u002Fuipad)（2024年9月）\n  - macOS 桌面 UI 数据集，包含无障碍树结构和评估问题\n\n- [Multi-Turn Mind2Web：关于多轮指令遵循的问题](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2402.15057)（2024年2月）\n  - 面向网络代理的多轮指令数据集\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Fmagicgh\u002Fself-map)\n\n- [CToolEval：LLM 驱动代理评估的中文基准测试](https:\u002F\u002Faclanthology.org\u002F2024.findings-acl.928\u002F)（2024年8月）\n  - 用于代理评估的中文基准测试\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Ftjunlp-lab\u002FCToolEval)\n\n- [AssistantBench：网络代理能否解决现实且耗时的任务？](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.15711)（2024年7月）\n  - 针对现实且耗时的网络任务的基准测试\n  - [代码链接](https:\u002F\u002Fassistantbench.github.io)\n\n- [Mind2Web：迈向通用网络代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.06070)（2023年6月）\n  - 大规模网络交互数据集\n  - [代码链接](https:\u002F\u002Fgithub.com\u002FOSU-NLP-Group\u002FMind2Web)\n\n- [Android in the Wild：大规模安卓设备控制数据集](https:\u002F\u002Farxiv.org\u002Fabs\u002F2307.10088)（2023年7月）\n  - 大规模的安卓交互数据集\n  - 包含真实世界的设备控制场景\n\n- [WebShop：迈向可扩展的真实世界网络交互](https:\u002F\u002Farxiv.org\u002Fabs\u002F2207.01206)（2022年7月）\n  - 面向网络交互中接地型语言代理的数据集\n  - [代码链接](https:\u002F\u002Fgithub.com\u002Fprinceton-nlp\u002FWebShop)\n\n- [Rico：用于构建数据驱动设计应用的移动应用数据集](https:\u002F\u002Fdl.acm.org\u002Fdoi\u002F10.1145\u002F3126594.3126651)（2017年10月）\n  - 移动应用 UI 数据集\n  - 以设计为导向的数据收集\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>基准测试\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 基准测试\n\n- [A3：用于移动 GUI 代理的 Android 代理竞技场](https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.01149)（2025年1月）\n  - 创新的评估平台，包含21款广泛使用的第三方应用中的201个任务\n  - [官网](https:\u002F\u002Fyuxiangchai.github.io\u002FAndroid-Agent-Arena\u002F)\n  - [代码](https:\u002F\u002Fgithub.com\u002FAndroidArenaAgent\u002FAndroidArena)\n\n- [OSWorld：在真实计算机环境中针对开放式任务的多模态代理基准测试](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.07972)（2024年4月）\n  - 全面的评估框架\n  - [代码](https:\u002F\u002Fgithub.com\u002Fxlang-ai\u002FOSWorld)\n\n- [AndroidWorld：面向自主代理的动态基准测试环境](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.14573)（2024年5月）\n  - 针对 Android 的评估\n  - [代码](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fandroid_world)\n\n- [Spider2-V：多模态代理距离自动化数据科学与工程工作流还有多远？](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.10956)（2024年7月）\n  - 数据科学工作流中的评估\n  - [代码](https:\u002F\u002Fgithub.com\u002Fxlang-ai\u002FSpider2-V)\n\n- [AppWorld：用于评估交互式编程代理的可控应用与人物世界](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.18901)（2024年7月）\n  - 包含9款日常应用和457个API的750个自然任务的全面基准测试\n  - GPT-4o 在普通任务上仅达到约49%，在挑战性任务上仅约30%\n  - [代码](https:\u002F\u002Fgithub.com\u002Fstonybrooknlp\u002Fappworld\u002F)\n\n- [τ-bench：面向真实领域中工具-代理-用户交互的基准测试](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.12045)（2024年6月）\n  - 用于评估代理-用户交互及政策合规性的新型基准测试\n  - 当前最先进代理的成功率低于50%，一致性（pass^8）低于25%\n  - [代码](https:\u002F\u002Fgithub.com\u002Fsierra-research\u002Ftau-bench)\n\n- [MobileAgentBench：面向移动LLM代理的高效且用户友好的基准测试](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.08184)（2024年6月）\n  - 移动代理评估\n  - [代码](https:\u002F\u002Fgithub.com\u002FMobileAgentBench\u002Fmobile-agent-bench)\n\n- [VisualWebArena：在真实的视觉网络任务上评估多模态代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.13649)（2024年1月）\n  - 面向网页的评估\n  - [代码](https:\u002F\u002Fgithub.com\u002Fweb-arena-x\u002Fvisualwebarena)\n\n- [Windows Agent Arena：大规模评估多模态操作系统代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.08264)（2024年9月）\n  - 面向 Windows 操作系统的评估框架\n  - [代码](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FWindowsAgentArena)\n  - [官网](https:\u002F\u002Fmicrosoft.github.io\u002FWindowsAgentArena\u002F)\n\n- [Mobile-Env：构建LLM-GUI交互的合格评估基准](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.08144)（2023年5月）\n  - 面向移动设备的评估框架\n  - [代码](https:\u002F\u002Fgithub.com\u002FX-LANCE\u002FMobile-Env)\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>安全性\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 安全性\n\n- [通过弹出窗口攻击视觉-语言计算机代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2411.02391)（2024年11月）\n  - 计算机代理的安全性分析\n  - [代码](https:\u002F\u002Fgithub.com\u002FSALT-NLP\u002FPopupAttack)\n\n- [EIA：针对通用网络代理的环境注入攻击以实现隐私泄露](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.11295)（2024年9月）\n  - 隐私与安全分析\n\n- [GuardAgent：通过知识驱动推理的守护代理来保护LLM代理](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.09187)（2024年6月）\n  - 代理的安全机制\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n## 项目\n\n### 开源\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>框架与模型\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 覆盖范围与模型\n\n- [AutoGen](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fautogen)\n  - 用于构建AI代理系统的框架。\n  - 简化了事件驱动、分布式、可扩展且具有弹性的代理应用程序的创建。\n\n- [Auto-GPT](https:\u002F\u002Fgithub.com\u002FSignificant-Gravitas\u002FAuto-GPT)  \n  - 自主GPT-4代理  \n  - 专注于任务自动化\n\n- [Browser Use](https:\u002F\u002Fgithub.com\u002Fbrowser-use\u002Fbrowser-use)  \n  - 使网站可通过视觉+HTML提取对AI代理开放  \n  - 支持多标签管理和自定义操作，并集成LangChain  \n\n- [Claude Computer Use Demo](https:\u002F\u002Fgithub.com\u002FPallavAg\u002Fclaude-computer-use-macos)  \n  - MacOS实现  \n  - Claude集成  \n\n- [Claude Minecraft Use](https:\u002F\u002Fgithub.com\u002FObservedObserver\u002Fclaude-minecraft-use)  \n  - 游戏自动化  \n  - 专门用例  \n\n- [Computer Use OOTB](https:\u002F\u002Fgithub.com\u002Fshowlab\u002Fcomputer_use_ootb)  \n  - 即用型实现  \n  - 全面的工具集  \n\n- [Cua](https:\u002F\u002Fgithub.com\u002Ftrycua)\n  - 计算机使用接口与代理\n\n- [Cybergod](https:\u002F\u002Fgithub.com\u002Fjames4ever0\u002Fagi_computer_control)  \n  - 高级计算机控制  \n\n- [Grunty](https:\u002F\u002Fgithub.com\u002Fsuitedaces\u002Fcomputer-agent)  \n  - 计算机控制代理  \n  - 专注于任务自动化\n\n- [Inferable](https:\u002F\u002Fgithub.com\u002Finferablehq\u002Finferable)  \n  - 分布式代理构建平台  \n  - 可利用现有代码构建工具  \n\n- [LaVague](https:\u002F\u002Fgithub.com\u002Flavague-ai\u002FLaVague)  \n  - AI网络代理框架  \n  - 模块化架构  \n\n- [Mac Computer Use](https:\u002F\u002Fgithub.com\u002Fdeedy\u002Fmac_computer_use)  \n  - MacOS专用工具  \n  - Anthropic集成  \n\n- [NatBot](https:\u002F\u002Fgithub.com\u002Fnat\u002Fnatbot)  \n  - 浏览器自动化  \n  - GPT-4 Vision集成\n\n- [Notte Browser Using Agent](https:\u002F\u002Fgithub.com\u002Fnottelabs\u002Fnotte)  \n  - 全栈网络AI代理框架（代理、自动化、云浏览器会话）\n  - Notte将网站转化为用自然语言描述的结构化可导航地图\n\n- [OpenAdapt](https:\u002F\u002Fgithub.com\u002FOpenAdaptAI\u002FOpenAdapt)  \n  - AI优先的流程自动化  \n  - 多模态模型集成  \n\n- [OpenInterface](https:\u002F\u002Fgithub.com\u002FAmberSahdev\u002FOpen-Interface\u002F)  \n  - 开源UI交互框架  \n  - 跨平台支持  \n\n- [OpenInterpreter](https:\u002F\u002Fgithub.com\u002FOpenInterpreter\u002Fopen-interpreter)  \n  - 通用计算机控制框架  \n  - 基于Python的可扩展架构  \n\n- [E2B的开源计算机使用](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fsecure-computer-use\u002Ftree\u002Fos-computer-use)  \n  - 计算机控制功能的开源实现  \n  - 为AI代理提供安全的沙箱环境  \n\n- [Self-Operating Computer](https:\u002F\u002Fgithub.com\u002FOthersideAI\u002Fself-operating-computer)（2023年11月） \n  - 第一个创建的计算机使用框架  \n  - 计算机控制框架  \n  - 基于视觉的自动化\n\n- [Skyvern](https:\u002F\u002Fgithub.com\u002Fskyvern-ai\u002Fskyvern)  \n  - AI网络代理框架\n  - 使用LLM结合视觉和HTML提取自动化基于浏览器的工作流\n\n- [Surfkit](https:\u002F\u002Fgithub.com\u002Fagentsea\u002Fsurfkit)  \n  - 设备操作工具包  \n  - 可扩展的代理框架  \n\n- [WebMarker](https:\u002F\u002Fgithub.com\u002Freidbarber\u002Fwebmarker)  \n  - 网页标注工具  \n  - 支持视觉-语言模型\n\n- [Upsonic](https:\u002F\u002Fgithub.com\u002Fupsonic\u002Fupsonic)  \n  - 可靠的代理框架，支持MCP  \n  - 集成浏览器使用和计算机使用\n \n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>UI 接地\u003C\u002Fb>\u003C\u002Fsummary>\n\n### UI 基础\n\n- [AskUI\u002FPTA-1](https:\u002F\u002Fhuggingface.co\u002FAskUI\u002FPTA-1)\n  - 一款基于 Florence-2 的小型视觉语言模型，用于电脑和手机自动化。\n  - 该模型仅包含 2.7 亿个参数，在 GUI 文本和元素定位任务上表现优于参数量大得多的其他模型。\n\n- [Microsoft\u002FOmniParser](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FOmniParser)\n  - 一种通用的屏幕解析工具，可将 UI 截图解释或转换为结构化格式，从而提升现有基于 LLM 的 UI 代理性能。\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>环境与沙箱\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 环境与沙箱\n\n- [Cua](https:\u002F\u002Fgithub.com\u002Ftrycua)\n  - 面向 Apple Silicon 的 macOS\u002FLinux 沙箱环境\n\n- [dockur\u002Fwindows](https:\u002F\u002Fgithub.com\u002Fdockur\u002Fwindows)\n  - 在 Docker 容器中运行 Windows 系统\n\n- [E2B Desktop Sandbox](https:\u002F\u002Fgithub.com\u002Fe2b-dev\u002Fdesktop)\n  - 安全的桌面环境\n  - 用于代理测试的平台\n\n- [qemus\u002Fqemu-docker](https:\u002F\u002Fgithub.com\u002Fqemus\u002Fqemu-docker)\n  - 使用 QEMU 运行虚拟机的 Docker 容器\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>自动化\u003C\u002Fb>\u003C\u002Fsummary>\n\n### 自动化\n- [nut.js](https:\u002F\u002Fgithub.com\u002Fnut-tree\u002Fnut.js)\n  - 原生 UI 自动化工具\n  - 基于 JavaScript\u002FTypeScript 实现\n\n- [PyAutoGUI](https:\u002F\u002Fgithub.com\u002Fasweigart\u002Fpyautogui)\n  - 跨平台 GUI 自动化工具\n  - 基于 Python 的控制库\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n### 商业应用\n\n\u003Cdetails open>\n\u003Csummary>\u003Cb>框架与模型\u003C\u002Fb>\u003C\u002Fsummary>\n\n### Frameworks & Models\n\n- [Anthropic Claude 计算机使用](https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002F3-5-models-and-computer-use)\n  - 商业化的计算机控制能力\n  - 与 Claude 3.5 系列模型集成\n\n- [Multion](https:\u002F\u002Fwww.multion.ai)\n  - 可在任何网页环境中完整完成任务的 AI 代理\n\n- [Runner H](https:\u002F\u002Fwww.hcompany.ai\u002F)\n  - 面向真实世界应用的先进 AI 代理\n  - 在 WebVoyager 测试中获得 67% 的得分\n\n\u003Cbr\u002F>\n\u003C\u002Fdetails>\n\n## 贡献指南\n\n我们欢迎并鼓励社区成员的贡献！以下是您可以参与的方式：\n\n- **添加新资源**：如果您发现相关论文、项目或工具，请提交 Pull Request 将其加入。\n- **修复错误**：帮助我们纠正现有条目中的任何错误。\n- **优化组织结构**：提出更好的信息组织方式建议。\n- **更新内容**：确保条目始终反映最新的发展动态。\n\n参与贡献的步骤：\n1. 克隆仓库并创建分支。\n2. 提交包含清晰说明的 Pull Request，描述您的新增或修改内容。\n3. 在 [X 社区](https:\u002F\u002Fx.com\u002Fi\u002Fcommunities\u002F1874549355442802764) 中发布消息，告知大家您新增的资源。\n\n有关如何格式化贡献内容的示例，请参阅此 PR：[https:\u002F\u002Fgithub.com\u002Ffrancedot\u002Facu\u002Fpull\u002F1](https:\u002F\u002Fgithub.com\u002Ffrancedot\u002Facu\u002Fpull\u002F1)。\n\n\u003Cbr\u002F>\n\n*感谢您为传播关于计算机使用 AI 代理的知识所做出的贡献！*","# ACU (Awesome Agents for Computer Use) 快速上手指南\n\n**注意**：`acu` 并非一个单一的独立软件工具，而是一个**精选资源列表（Curated List）**，汇集了关于“计算机使用 AI 智能体”（Computer Use AI Agents）的研究论文、开源项目、框架和数据集。\n\n本指南将帮助你利用该列表中的资源，快速搭建属于自己的计算机操作智能体。目前最主流且易于上手的实现是基于 **Anthropic Claude 3.5 Sonnet** 的 Computer Use 能力。\n\n## 1. 环境准备\n\n要运行大多数开源的 Computer Use 智能体（如参考实现），你需要满足以下系统要求：\n\n*   **操作系统**：macOS (推荐), Linux, 或 Windows (需 WSL2 或特定配置)\n*   **Python 版本**：Python 3.10 或更高版本\n*   **API 密钥**：需要拥有 Anthropic API Key (用于调用 Claude 3.5 Sonnet) 或其他支持模型服务的密钥。\n*   **依赖管理**：建议安装 `pip` 和 `venv`。\n*   **显示环境**：部分项目需要图形界面环境来截取屏幕和控制鼠标\u002F键盘（macOS 需授予终端“辅助功能”和“屏幕录制”权限）。\n\n## 2. 安装步骤\n\n由于 `acu` 是资源列表，我们以下载并运行社区中最热门的 **Anthropic Computer Use 参考实现** 为例：\n\n### 2.1 克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fanthropics\u002Fanthropic-quickstarts.git\ncd anthropic-quickstarts\u002Fcomputer-use-demo\n```\n\n### 2.2 创建虚拟环境并安装依赖\n```bash\npython -m venv venv\nsource venv\u002Fbin\u002Factivate  # Windows 用户请使用: venv\\Scripts\\activate\n\npip install -r requirements.txt\n```\n*(注：如果下载速度慢，可使用国内镜像源加速)*\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 2.3 配置 API 密钥\n在项目根目录下创建 `.env` 文件，填入你的 Anthropic API Key：\n```bash\necho \"ANTHROPIC_API_KEY=sk-ant-api03-...\" > .env\n```\n\n## 3. 基本使用\n\n启动智能体后，它将能够观察你的屏幕、思考任务步骤，并自主执行点击、打字等操作。\n\n### 3.1 启动演示应用\n在激活的虚拟环境中运行以下命令：\n```bash\nbash start.sh\n```\n*(Windows 用户可直接运行 `start.bat` 或使用 `python -m computer_use_demo`)*\n\n### 3.2 下达指令\n应用启动后，会打开一个交互界面。你可以在输入框中输入自然语言指令，例如：\n\n*   **简单任务**：\n    > \"打开浏览器，搜索 'AI 发展趋势'，并将第一个结果的标题复制下来。\"\n    \n*   **复杂操作**：\n    > \"打开系统计算器，计算 123 * 456，然后将结果截图保存到桌面。\"\n\n### 3.3 观察执行\n智能体将在右侧面板展示其思考过程（Reasoning）、生成的动作代码（如 `click`, `type`, `key`）以及实时的屏幕操作反馈。\n\n---\n**更多资源探索**：\n如需查找针对移动端（Android\u002FiOS）、特定游戏环境或完全本地化运行的模型，请访问 [ACU GitHub 仓库](https:\u002F\u002Fgithub.com\u002Fyour-repo\u002Facu) 查阅 **Projects** 和 **Papers** 章节，其中包含了如 `Mobile-Agent`, `UFO`, `Cradle` 等针对不同场景的开源项目链接。","某电商数据分析师需要每日跨多个后台系统抓取销售报表并整理成 Excel，传统方式需人工重复操作。\n\n### 没有 acu 时\n- **资源分散难寻**：面对 GitHub 上零散的电脑操作智能体项目，难以辨别哪些支持复杂的 GUI 界面识别与长序列任务规划。\n- **技术选型盲目**：缺乏对最新研究论文（如 UI Grounding 技术）和基准测试的了解，容易选用无法处理动态网页元素的过时框架。\n- **开发周期漫长**：需自行摸索环境沙箱搭建与安全控制机制，往往花费数周调试点击坐标和键盘事件，却仍频繁出错。\n- **维护成本高昂**：一旦网站界面微调，硬编码的自动化脚本即刻失效，且找不到具备自我修复能力的替代方案参考。\n\n### 使用 acu 后\n- **一站式资源导航**：acu 提供了经过筛选的项目列表，分析师可快速定位到支持多模态感知的成熟框架（如基于 LLM 的 GUI Agent）。\n- **前沿技术直达**：通过收录的最新综述和论文，团队直接引入先进的“过程奖励引导”技术，显著提升了对复杂表单的填写成功率。\n- **加速落地部署**：借助列表中推荐的环境沙箱和自动化工具，原本数周的集成工作缩短至几天，迅速实现从“ reasoning\"到\"acting\"的闭环。\n- **生态持续演进**：依托活跃的社区更新，能即时获取针对界面变动的适应性方案，确保自动化流程长期稳定运行。\n\nacu 将碎片化的电脑操作智能体生态转化为结构化知识，让开发者从“造轮子”转向直接构建高价值的自主业务流。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Ftrycua_acu_e94cfd36.png","trycua","Cua","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Ftrycua_459368de.png","Open-source infrastructure for Computer-Use Agents. Sandboxes, SDKs, and benchmarks to train and evaluate AI agents that can control full desktops.",null,"gh@trycua.com","https:\u002F\u002Fcua.ai","https:\u002F\u002Fgithub.com\u002Ftrycua",1642,115,"2026-04-09T14:12:12",1,"","未说明",{"notes":30,"python":28,"dependencies":31},"该工具（ACU）并非一个具体的可执行软件或代码库，而是一个“计算机使用 AI 智能体”的资源汇总列表（Awesome List）。README 内容主要包含相关文章、研究论文、开源项目和商业框架的链接与简介。因此，文中未提供任何关于操作系统、硬件配置、Python 版本或依赖库的具体安装需求。用户需根据列表中感兴趣的具体子项目（如 Magentic-One, OS-Copilot, UFO 等）查阅其各自的仓库以获取运行环境要求。",[],[33,34,35,36],"Agent","其他","图像","开发框架",[38,39,40,41,42,43,44],"ai","ai-research","awesome","computer","computer-use","gui-agent","ui-agent",2,"ready","2026-03-27T02:49:30.150509","2026-04-10T11:25:20.657343",[],[],[52,62,70,79,87,96],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":58,"last_commit_at":59,"category_tags":60,"status":46},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[33,36,35,61],"数据工具",{"id":63,"name":64,"github_repo":65,"description_zh":66,"stars":67,"difficulty_score":58,"last_commit_at":68,"category_tags":69,"status":46},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[36,35,33],{"id":71,"name":72,"github_repo":73,"description_zh":74,"stars":75,"difficulty_score":45,"last_commit_at":76,"category_tags":77,"status":46},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,"2026-04-09T23:34:24",[36,33,78],"语言模型",{"id":80,"name":81,"github_repo":82,"description_zh":83,"stars":84,"difficulty_score":45,"last_commit_at":85,"category_tags":86,"status":46},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[36,35,33],{"id":88,"name":89,"github_repo":90,"description_zh":91,"stars":92,"difficulty_score":45,"last_commit_at":93,"category_tags":94,"status":46},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[95,33,35,36],"插件",{"id":97,"name":98,"github_repo":99,"description_zh":100,"stars":101,"difficulty_score":45,"last_commit_at":102,"category_tags":103,"status":46},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[95,36]]