简介

英语 | 简体中文

TARS^* 是一个多模态 AI 代理栈，目前包含两个项目：Agent TARS 和 UI-TARS-desktop：

Agent TARS	UI-TARS-desktop
Agent TARS 是一个通用的多模态 AI 代理栈，它将 GUI 代理和视觉能力带入你的终端、电脑、浏览器以及产品中。 它主要提供用于使用的 CLI 和 Web UI。其目标是通过前沿的多模态大模型以及与各种现实世界 MCP 工具的无缝集成，提供一种更接近人类完成任务的工作流程。	UI-TARS Desktop 是一款基于 UI-TARS 模型的桌面应用程序，提供原生 GUI 代理功能。 它主要提供 本地 和 远程 计算机及浏览器操作功能。

目录

• 新闻
• Agent TARS
  • 展示
  • 核心功能
  • 快速入门
  • 文档
• UI-TARS Desktop
  • 展示
  • 功能
  • 快速入门
• 贡献
• 许可证
• 引用

新闻

• [2025-11-05] 🎉 我们很高兴地宣布发布 Agent TARS CLI v0.3.0! 该版本带来了对多种工具的流式支持（如 shell 命令、多文件结构化显示），以及针对工具调用和深度思考的运行时设置与计时统计；同时还提供了用于数据流跟踪和调试的事件流查看器。此外，它还独家支持 AIO agent Sandbox，作为隔离的一体化工具执行环境。
• [2025-06-25] 我们发布了 Agent TARS Beta 和 Agent TARS CLI —— 介绍 Agent TARS Beta，这是一款多模态 AI 代理，旨在通过丰富的多模态能力（如 GUI 代理、视觉）以及与各种现实世界工具的无缝集成，探索更接近人类完成任务的工作方式。
• [2025-06-12] - 🎁 我们非常高兴地宣布发布 UI-TARS Desktop v0.2.0！此次更新引入了两项强大的新功能：远程计算机操作员和远程浏览器操作员——两者完全免费。无需任何配置：只需点击即可远程控制任意计算机或浏览器，体验全新的便捷与智能。
• [2025-04-17] - 🎉 我们很高兴地宣布发布新的 UI-TARS Desktop 应用程序 v0.1.0，其中重新设计了代理用户界面。该应用提升了用户的电脑使用体验，新增了浏览器操作功能，并支持 先进的 UI-TARS-1.5 模型，以实现更好的性能和精准控制。
• [2025-02-20] - 📦 推出了 UI TARS SDK，这是一个功能强大的跨平台工具包，用于构建 GUI 自动化代理。
• [2025-01-23] - 🚀 我们更新了 中文版中的 云部署 部分：GUI模型部署教程，加入了与 ModelScope 平台相关的新信息。现在你可以使用 ModelScope 平台进行部署。

Agent TARS

Agent TARS 是一个通用的多模态 AI 助手栈，它将 GUI 助手和视觉能力带入你的终端、电脑、浏览器以及各类产品中。

它主要提供用于使用的 命令行界面 和 Web 界面。 其目标是通过前沿的多模态大语言模型，结合与各种现实世界 MCP 工具 的无缝集成，提供更接近人类完成任务的工作流程。

展示

请帮我预订 9月1日从圣何塞飞往纽约的最早航班，以及9月6日的最后一班返程航班，使用 Priceline 平台。

https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8

预订酒店	生成包含额外 MCP 服务器的图表
指令： 我将于9月1日至9月6日在洛杉矶，预算为5,000美元。请帮我预订一家靠近机场的丽思卡尔顿酒店，并在 booking.com 上完成预订，同时为我整理一份交通指南。	指令： 给我画一张杭州一个月的天气图表。

更多用例，请查看 #842。

核心功能

• 🖱️ 一键式开箱即用 CLI - 同时支持带有界面的 Web UI 和无界面的 服务器端执行 执行。
• 🌐 混合型浏览器助手 - 可以使用 GUI 助手、DOM，或混合策略来控制浏览器。
• 🔄 事件流 - 基于协议的事件流驱动着 上下文工程 和 助手 UI。
• 🧰 MCP 集成 - 内核基于 MCP 构建，同时也支持挂载 MCP 服务器，以连接到现实世界的工具。

快速开始

# 使用 `npx` 启动。
npx @agent-tars/cli@latest

# 全局安装，需 Node.js >= 22
npm install @agent-tars/cli@latest -g

# 使用您偏好的模型提供商运行
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

访问全面的 快速入门 指南，获取详细的设置说明。

文档

🌟 探索 Agent TARS 世界 🌟

类别	资源链接	描述
🏠 中央枢纽		您通往 Agent TARS 生态系统的入口
📚 快速入门		五分钟从零到精通
🚀 最新动态		发现前沿功能与愿景
🛠️ 开发者专区		掌握所有命令与功能
🎯 案例展示		查看官方及社区构建的使用场景
🔧 参考		完整的技术参考

UI-TARS 桌面版

UI-TARS 桌面版是一款运行在本地计算机上的原生 GUI 助手，由 UI-TARS 和 Seed-1.5-VL/1.6 系列模型驱动。

案例展示

指令	本地操作员	远程操作员
请帮我打开 VS Code 的自动保存功能，并将 VS Code 设置中的自动保存延迟 500 毫秒。
您能帮我查看一下 UI-TARS 桌面版项目在 GitHub 上最新的未解决问题吗？

特性

• 🤖 基于视觉-语言模型的自然语言控制
• 🖥️ 支持截图与视觉识别
• 🎯 精确的鼠标和键盘控制
• 💻 跨平台支持（Windows/MacOS/浏览器）
• 🔄 实时反馈与状态显示
• 🔐 私密且安全——完全本地化处理

快速入门

请参阅 快速入门

贡献

请参阅 CONTRIBUTING.md。

许可证

本项目采用 Apache License 2.0 许可证。

引用

如果您在研究中发现我们的论文和代码有所帮助，请考虑给个赞 :star: 并引用 :pencil:：

@article{qin2025ui,
  title={UI-TARS：开创原生代理自动化 GUI 交互的新纪元},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv 预印本 arXiv:2501.12326},
  year={2025}
}

UI-TARS-desktop 快速上手指南

UI-TARS-desktop 是一款基于 UI-TARS 模型的桌面应用程序，提供原生的 GUI Agent 能力。它支持本地运行、远程控制计算机以及浏览器操作，让用户能够通过自然语言指令控制电脑和浏览器完成复杂任务。

环境准备

系统要求

• 操作系统：Windows 10/11, macOS 10.15+, 或主流 Linux 发行版
• 内存：建议 8GB 以上（本地运行模型时建议 16GB+）
• 存储：至少 5GB 可用空间用于存放模型文件
• 网络：稳定的互联网连接（用于下载模型或连接远程服务）

前置依赖

• Node.js：版本 >= 18.0.0（推荐使用 LTS 版本）
• npm 或 yarn：包管理工具
• Python（可选）：部分本地模型推理可能需要 Python 环境

💡 国内加速建议：

• 使用淘宝 npm 镜像加速安装：npm config set registry https://registry.npmmirror.com
• 模型下载如遇网络问题，可关注官方是否提供 ModelScope（魔搭）平台下载方案

安装步骤

方式一：直接下载桌面应用（推荐新手）

访问 GitHub Releases 页面，下载对应操作系统的最新版本安装包：

• Windows: .exe 或 .msi 文件
• macOS: .dmg 文件
• Linux: .AppImage 或 .deb/.rpm 包

下载完成后直接运行安装程序即可。

方式二：源码安装（开发者）

# 克隆仓库
git clone https://github.com/bytedance/UI-TARS-desktop.git
cd UI-TARS-desktop

# 安装依赖
npm install

# 构建并启动
npm run dev

获取模型

首次使用前需下载模型文件：

# 本地运行模式：下载模型到本地
# 具体命令请参考 docs/quick-start.md 中的 "Get Model and Run Local Operator" 章节

# 或使用远程模式（无需下载大模型）
# 参考 "Run Remote Operator" 章节配置远程服务

📌 注意：本地模式需要较大的磁盘空间和内存，远程模式则依赖网络连接至远程服务器。

基本使用

启动应用

安装完成后，双击桌面图标启动 UI-TARS-desktop。

简单示例

1. 启动应用后，在输入框中输入自然语言指令，例如：

   打开浏览器并访问百度首页
   

2. 点击执行按钮，AI Agent 将自动：

   • 识别当前屏幕内容
   • 规划操作步骤
   • 控制鼠标和键盘完成指定任务

3. 远程控制示例（需配置远程服务）：

   在远程电脑上打开记事本并输入"Hello World"
   

4. 浏览器操作示例：

   在 Chrome 中搜索"最新 AI 新闻"并打开第一个链接
   

运行模式选择

• 本地模式 (Local)：所有推理在本地完成，隐私性好，但需要高性能硬件
• 远程模式 (Remote)：利用云端算力，对本地硬件要求低，需网络连接
• 浏览器代理 (Browser Operator)：专门针对浏览器自动化任务优化

💡 提示：首次使用建议在官方文档的 Quick Start 中查看详细配置说明，特别是模型选择和 API 密钥设置部分。