📢 最新动态

• 2026-01-17：🎉 vLLM现已全面支持OpenCUA-7B、OpenCUA-32B和OpenCUA-72B！ 感谢美团EvoCUA团队对vLLM集成所做的贡献。使用方法请参阅vLLM Serve。

• 2025-12-17：您现在可以通过AgentNet数据查看器在线查看AgentNet数据集轨迹，或使用data/vis/中的代码可视化您自己的轨迹数据。使用说明请参阅vis/README.md。我们还在此处汇总了AgentNet的元数据Metadata json。

• 2025-11-28：OpenCUA的vLLM支持已在[Model] Add OpenCUA-7B support #29068中提供。非常感谢lim4349！

• 2025-10-12：OpenCUA-7B-exl2现已上线！ ⚡️
  感谢Sujit Vasanth制作了OpenCUA-7B的量化exllamav2版本——这使得推理速度更快，同时降低了显存占用。

• 2025-10-03：全新OpenCUA模型！🔥 OpenCUA-72B目前在OSWorld-Verified排行榜上排名第一。它还具有强大的场景理解能力，在UI-Vision上的准确率为37.3%（SOTA），在ScreenSpot-Pro上的准确率为60.8%。

• 2025-08-13：我们发布了论文和项目页面。欢迎查阅！

简介

🚀 OpenCUA模型快速入门

安装与下载

首先，安装所需的transformers依赖项：

conda create -n opencua python=3.10
conda activate opencua
pip install -r requirement.txt

从Hugging Face下载模型权重：

from huggingface_hub import snapshot_download
snapshot_download(
    repo_id="xlangai/OpenCUA-7B",
    local_dir="OpenCUA-7B",                
    local_dir_use_symlinks=False  
)

🚀 vLLM服务

我们建议使用vLLM进行生产部署。需要vllm>=0.12.0，并启用--trust-remote-code选项。

# OpenCUA-7B（单GPU）
vllm serve xlangai/OpenCUA-7B \
  --trust-remote-code \
  --served-model-name opencua-7b \
  --host 0.0.0.0 \
  --port 8000

# OpenCUA-32B（4 GPU，张量并行）
vllm serve xlangai/OpenCUA-32B \
  --trust-remote-code \
  --tensor-parallel-size 4 \
  --served-model-name opencua-32b \
  --host 0.0.0.0 \
  --port 8000

# OpenCUA-72B，采用数据并行（tp=2，dp=4，共4个实例，分布在8张GPU上）
vllm serve xlangai/OpenCUA-72B \
  --trust-remote-code \
  --tensor-parallel-size 2 \
  --data-parallel-size 4 \
  --gpu-memory-utilization 0.85 \
  --host 0.0.0.0 \
  --port 8000

请根据您的硬件配置调整--tensor-parallel-size、--data-parallel-size和--gpu-memory-utilization参数。

更多示例和推理代码，请参阅model/inference/vllm_inference.py。

🎯 GUI场景理解

首先启动vLLM服务器（以OpenCUA-7B为例）：

vllm serve xlangai/OpenCUA-7B \
  --trust-remote-code \
  --served-model-name opencua-7b \
  --host 0.0.0.0 \
  --port 8000

然后运行场景理解示例：

cd ./model/inference/
python vllm_inference.py

或者使用Hugging Face Transformers（无需服务器）：

python huggingface_inference.py

🖥️ 计算机使用智能体

OpenCUAAgent 是在 OSWorld 环境中基于 OpenCUA 模型开发的。它通过截屏迭代地感知环境，生成反思性的长链式思维作为内部独白，并预测下一步要执行的动作。OpenCUA 代理默认使用 3 张图像和 L2 格式的 CoT。

在 OSWorld 中运行 OpenCUA-7B 和 OpenCUA-32B 的命令如下：

    python run_multienv_opencua.py \
        --headless \
        --observation_type screenshot \
        --model OpenCUA-32B \
        --result_dir ./results --test_all_meta_path evaluation_examples/test_all_no_gdrive.json \
        --max_steps 100 \
        --num_envs 30  \
        --coordinate_type qwen25

---

性能

在线智能体评估

OpenCUA 模型在 OSWorld-Verified 上表现出色。 OPENCUA-32B 以平均 34.8% 的成功率位居所有开源模型之首，大幅超越了之前的基线模型。 同时，它也缩小了与专有 Claude 模型之间的差距。

OpenCUA 的得分是 3 次独立运行的平均值。

GUI 定位性能

AgentNetBench（离线评估）

---

AgentNet 数据集——大规模计算机使用数据集

AgentNet 是首个大规模桌面计算机使用智能体轨迹数据集，包含 22,600 个由人工标注的 Windows、macOS 和 Ubuntu 系统上的计算机使用任务。

👉 AgentNet Huggingface 数据集

在这里下载数据集：

pip install -U huggingface_hub
huggingface-cli download xlangai/AgentNet --repo-type dataset --local-dir ./AgentNet

使用以下命令解压文件（例如 Ubuntu 数据）：

cd path_to_your_zip_files

# 合并所有压缩包
zip -s 0 images.zip --out images-full.zip

# 解压
unzip images-full.zip -d path_to_your_target_dir

收集计算机使用智能体训练数据需要 3 个步骤：

• 使用 AgentNetTool 展示人类的计算机使用任务；
• 使用 动作简化与状态-动作匹配 对演示进行预处理；
• 针对每一步，合成反思性的长链式思维。

1 AgentNetTool – 标注与验证工具

我们的 AgentNetTool 是一款跨平台的 GUI 录制工具，可在标注者的设备上无感运行。它会捕获同步的 屏幕视频、鼠标/键盘事件 和 可访问性树，然后提供一个浏览器内界面用于查看、修剪和提交演示。AgentNet Tool 支持 Windows、macOS 和 Ubuntu。

👉 AgentNetTool 文档

2 DataProcessor – 动作简化与状态–动作匹配

原始演示可能包含数千个低层级事件，过于密集，不适合模型训练。 DataProcessor 模块（./data/data-process/）执行两个关键步骤：

1. 动作简化 — 将细粒度的信号合并为简洁、语义明确的 PyAutoGUI 动作（例如，将连续的鼠标移动归并为单次点击，整合滚动操作，将按键序列分组为文本或快捷键）。
2. 状态–动作匹配 — 将每个简化的动作与该动作开始 之前 的 最后一个视觉上不同的帧 进行对齐，避免未来信息泄露，从而生成紧凑的状态–动作对。

这些经过处理的轨迹是所有下游训练和评估的基础。

---

3 CoTGenerator – 合成反思性的长链式思维内部独白

为了提升鲁棒性和可解释性，我们在每条轨迹中加入了 反思性的长链式思维（CoT）推理。 CoTGenerator 流程（./data/cot-generator/）会合成逐步的反思内容，包括：

• 反思前一步的动作，
• 根据当前观察和历史记录解释为何选择该动作，
• 提及可能的替代方案，
• 预测预期的下一状态。

经验表明，使用这些丰富的 CoT 训练的模型能够更好地适应数据规模，并在未见过的应用场景中实现更好的泛化能力。

AgentNetBench

AgentNetBench (./AgentNetBench/) 提供了一个用于操作系统代理轨迹的真实离线评估器。它将模型预测的低层操作（点击、移动到、输入、按键、滚动、终止等）与人类的真实操作进行对比，并报告详细的指标。

👉 请参阅 AgentNetBench/README.md 获取使用说明。

待办事项

• vLLM 支持 ✅

  • vLLM 现已完全支持 OpenCUA-7B、OpenCUA-32B 和 OpenCUA-72B。
  • 使用说明请参阅 vLLM Serve 部分。
  • 感谢美团 EvoCUA 团队的贡献！

• 训练代码

  • OpenCUA 模型基于 Kimi 团队的训练基础设施开发。
  • 目前正在基于开源基础设施开发训练流水线。

星标历史

致谢

我们感谢 Yu Su、Caiming Xiong 以及匿名审稿人提供的富有洞见的讨论和宝贵反馈。 我们衷心感谢 Moonshot AI 提供的训练基础设施和标注数据。 同时，我们也真诚地感谢 Kimi 团队的 Hao Yang、Zhengtao Wang 和 Yanxu Chen 提供的强大基础设施支持和有益指导。 此外，我们还要感谢来自 美团 EvoCUA 团队的 Chong Peng、Taofeng Xue 和 Qiumian Huang 在 vLLM 集成方面的贡献。 我们的工具开发基于开源项目——DuckTrack 和 OpenAdapt。 我们非常感激他们对开源社区的奉献精神。最后，我们要向所有标注人员致以最深切的谢意，感谢他们为本项目付出的巨大努力和贡献。

研究与商业用途

OpenCUA（包括模型、数据集、工具和代码）可在 MIT 许可证 下用于 研究、教育和商业目的（详见 LICENSE 文件）。

引用与致谢

如果您在任何 报告、技术报告、出版物、论文、演示文稿、博客文章、文档或其他公开分享的材料 中使用了 OpenCUA 模型 和/或 AgentNet 数据集，我们诚恳地请求您在正文中明确注明致谢，并引用 OpenCUA 论文。

禁止用途

• 该模型、数据集、工具和代码不得用于任何违反任何司法管辖区适用法律或法规的目的或活动。
• 严禁将其用于非法、不道德或有害的活动。

免责声明

• 作者、贡献者及版权所有者对软件的任何非法、不道德或有害使用，以及由此产生的任何直接或间接损害概不负责。
• 未经另行书面许可，使用“OpenCUA”名称、标志或商标并不意味着任何形式的背书或隶属关系。
• 用户应自行确保其使用符合相关法律法规。

引用

如果您在研究中使用 OpenCUA，请引用我们的工作：

@misc{wang2025opencuaopenfoundationscomputeruse,
      title={OpenCUA: Open Foundations for Computer-Use Agents}, 
      author={Xinyuan Wang and Bowen Wang and Dunjie Lu and Junlin Yang and Tianbao Xie and Junli Wang and Jiaqi Deng and Xiaole Guo and Yiheng Xu and Chen Henry Wu and Zhennan Shen and Zhuokai Li and Ryan Li and Xiaochuan Li and Junda Chen and Boyuan Zheng and Peihang Li and Fangyu Lei and Ruisheng Cao and Yeqiao Fu and Dongchan Shin and Martin Shin and Jiarui Hu and Yuyan Wang and Jixuan Chen and Yuxiao Ye and Danyang Zhang and Dikang Du and Hao Hu and Huarong Chen and Zaida Zhou and Haotian Yao and Ziwei Chen and Qizheng Gu and Yipu Wang and Heng Wang and Diyi Yang and Victor Zhong and Flood Sung and Y. Charles and Zhilin Yang and Tao Yu},
      year={2025},
      eprint={2508.09123},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2508.09123}, 
}