官网 • 论文 • 文档 • 数据 • 数据查看器 • Discord • 缓存

📢 最新动态

• 2025-07-28：隆重推出 OSWorld-Verified！我们进行了重大更新，修复了社区反馈的多个问题，并进一步增强了对 AWS 的支持（通过并行化可将评估时间缩短至 1 小时以内），同时使基准测试信号更加有效。更多详情请参阅 报告。我们已在最新版本中运行了新的模型结果，并已同步更新至 官方网站。请在使用最新版本时，将您的 OSWorld 结果与新的基准测试结果进行对比。
• 2025-05-01：如果您需要用于初始化状态的预下载文件，我们已为您准备好了此处。
• 2024-10-22：我们新增了对 Docker🐳 的支持，可在虚拟化平台上托管虚拟机。详细说明请见下文！
• 2024-06-15：我们重构了环境部分的代码，以解耦 VMware 集成，并开始支持 VirtualBox、AWS、Azure 等其他平台。敬请期待！
• 2024-04-11：我们发布了论文、环境与基准测试以及项目主页。欢迎查阅！

💾 安装指南

VMware/VirtualBox（桌面、笔记本、裸金属服务器）

假设您当前使用的系统尚未进行虚拟化（例如您的桌面、笔记本电脑或裸金属服务器），即未在 AWS、Azure 或 k8s 等虚拟化环境中运行。 如果是这种情况，请按照以下步骤操作。但若您正在使用虚拟化平台，请参阅Docker部分。

1. 首先，克隆本仓库并进入其中。随后安装 requirements.txt 中列出的依赖项。建议使用最新版 Conda 来管理环境，但您也可以选择手动安装依赖。请确保 Python 版本 ≥ 3.10。

# 克隆 OSWorld 仓库
git clone https://github.com/xlang-ai/OSWorld

# 进入克隆后的目录
cd OSWorld

# 可选：创建 OSWorld 的 Conda 环境
# conda create -n osworld python=3.10
# conda activate osworld

# 安装所需依赖
pip install -r requirements.txt

或者，您也可以不包含基准任务直接安装环境：

pip install desktop-env

2. 安装 VMware Workstation Pro（对于搭载 Apple 芯片的系统，应安装 VMware Fusion），并配置 vmrun 命令。安装过程可参考 如何安装 VMware Workstation Pro。可通过运行以下命令验证安装是否成功：

vmrun -T ws list

若安装及环境变量设置成功，您将看到当前正在运行的虚拟机列表。

注意：如果您在使用 VMware Pro 时遇到问题，我们也支持使用 VirtualBox。不过，某些功能（如并行化和 Apple 芯片上的 macOS）可能无法得到良好支持。

至此，所有准备工作已完成！我们的设置脚本将自动下载所需的虚拟机并为您配置好环境。

Docker（支持 KVM 的服务器，性能更佳）

如果您运行的不是裸金属服务器，或者更倾向于不使用 VMware 和 VirtualBox 平台，我们推荐使用 Docker 支持。

前提条件：检查您的机器是否支持 KVM

我们建议使用支持 KVM 的虚拟机。要检查您的主机平台是否支持 KVM，请在 Linux 上运行：

egrep -c '(vmx|svm)' /proc/cpuinfo

如果返回值大于零，则说明您的处理器可以支持 KVM。

注意：macOS 主机通常不支持 KVM。如果您希望在 macOS 上运行 OSWorld，建议使用 VMware。

安装 Docker

如果您的主机平台配备了图形用户界面（GUI），您可以根据操作系统参考 在 Linux 上安装 Docker Desktop 或 在 Windows 上安装 Docker Desktop。否则，您可以安装 Docker 引擎。

运行实验

在初始化 DesktopEnv 时，请添加以下参数：

• provider_name: docker
• os_type: Ubuntu 或 Windows，具体取决于虚拟机的操作系统

注意：如果实验被异常中断（例如因信号中断），可能会留下残余的 Docker 容器，从而影响系统性能。请运行 docker stop $(docker ps -q) && docker rm $(docker ps -a -q) 进行清理。

AWS

利用云服务进行并行评估可以显著提升评估效率（通过并行化可将评估时间缩短至 1 小时以内），甚至可用作训练基础设施。 我们提供完善的 AWS 支持，采用“主机-客户端”架构，能够实现 OSWorld 任务的大规模并行评估。 有关详细的设置说明，请参阅 设置指南 和 AWS 配置指南。

其他

我们正在努力支持更多 👷。请耐心等待！

🚀 快速入门

运行以下最小示例即可与环境交互：

# 使用默认设置的基本用法
python quickstart.py

# 自定义提供商和虚拟机路径
python quickstart.py --provider_name vmware --path_to_vm "path/to/your/vm.vmx"

您将看到系统正常运行的所有日志，包括环境成功创建、设置完成以及操作成功执行。最后，您会观察到屏幕上成功执行了右键单击操作，这意味着您可以开始使用了。

🧪 实验

代理基线

⚠️ 重要配置要求：

• Google 账号任务：部分任务需要 Google 账号访问权限及 OAuth2.0 配置。请参阅 设置指南 - Google 账号设置 获取详细设置说明。
• 代理配置：某些任务可能需要配置代理才能正常运行（这取决于网站针对您所在网络位置的防御强度）。请参阅 设置指南 - 代理配置。
• 缺少配置的影响：如果未正确配置上述内容，相应任务将无法正常执行，导致评估分数降低。

如果您希望运行我们论文中使用的基线代理，可以在 GPT-4o 纯截图设置下执行以下命令作为示例：

使用您的 API 密钥设置 OPENAI_API_KEY 环境变量：

export OPENAI_API_KEY='changeme'

可选地，设置 OPENAI_BASE_URL 以使用自定义的 OpenAI 兼容 API 端点：

export OPENAI_BASE_URL='http://your-custom-endpoint.com/v1'  # 可选：默认为 https://api.openai.com

单线程执行（已弃用，以 vmware 提供商为例）：

python run.py \
    --provider_name vmware \
    --path_to_vm Ubuntu/Ubuntu.vmx \
    --headless \
    --observation_type screenshot \
    --model gpt-4o \
    --sleep_after_execution 3 \
    --max_steps 15 \
    --result_dir ./results \
    --client_password password

并行执行（示例展示切换提供商为 docker）：

python scripts/python/run_multienv.py \
    --provider_name docker \
    --headless \
    --observation_type screenshot \
    --model gpt-4o \
    --sleep_after_execution 3 \
    --max_steps 15 \
    --num_envs 10 \
    --client_password password

在此情况下，结果（包括截图、动作记录和代理完成任务的视频录制）将保存在 ./results（或您指定的其他 result_dir）目录中。然后您可以运行以下命令获取结果：

# 使用默认参数的基本用法
python show_result.py

# 指定自定义参数
python show_result.py \
    --action_space pyautogui \
    --model gpt-4o \
    --observation_type screenshot \
    --result_dir ./results

# 显示各领域的详细得分（格式：得分/总分）
python show_result.py --detailed

该脚本将显示：

• 各领域的成功率
• 类别级统计信息（办公、日常、专业）
• 总体成功率和总分
• 使用 --detailed 标志时：以“得分/总分”的紧凑格式显示每个领域的情况。

手动任务检查

对于特定基准任务的手动验证和检查，您可以使用手动检查工具：

python scripts/python/manual_examine.py \
    --headless \
    --observation_type screenshot \
    --result_dir ./results_human_examine \
    --test_all_meta_path evaluation_examples/test_all.json \
    --domain libreoffice_impress \
    --example_id a669ef01-ded5-4099-9ea9-25e99b569840 \
    --max_steps 3

此工具允许您：

• 在环境中手动执行任务
• 验证任务的正确性和评估指标
• 使用截图和视频记录执行过程
• 检查特定的问题任务

有关不同领域的示例任务 ID，请参阅 scripts/bash/run_manual_examine.sh。

评估

本地评估

请先阅读 代理接口 和 环境接口。 正确实现代理接口，并将您的定制版本导入到 run.py（用于单线程执行）或 scripts/python/run_multienv.py / scripts/python/run_multienv_xxx.py（用于并行执行）文件中。 之后，您可以执行与上一节类似的命令来对您的代理进行基准测试。

公开评估

如果您希望您的结果被验证并在经过验证的排行榜上展示，您需要与我们预约会议（当前维护者：tianbaoxiexxx@gmail.com, yuanmengqi732@gmail.com），以便我们在我们的端运行您的代理代码并报告结果。您需要上传并允许我们在 OSWorld 框架下公开您的代理实现（您可以选择不向公众披露您的模型 API），同时提交一份报告，使公众能够了解其背后的工作原理。 或者，如果您来自受信任的机构，也可以与我们共享您的监控数据和轨迹。 请仔细遵循 设置指南 - 公开评估平台 以获得评估结果。

❓ 常见问题解答

虚拟机的用户名和密码是什么？

虚拟机的用户名和密码如下（适用于 vmware、virtualbox 和 docker 提供商）：我们为 Ubuntu 设置的账户凭据是 user / password。 对于像 aws 这样的云服务提供商，为了防止因弱密码而遭受攻击，我们默认使用 osworld-public-evaluation。 如果您进行了进一步修改，请务必设置 client_password 变量，并在运行实验时将其传递给 DesktopEnv 和 Agent（如果支持）。某些功能（如设置代理）需要环境拥有客户端 VM 的密码才能获得 sudo 权限；而对于某些 OSWorld 任务，代理也需要密码才能获得 sudo 权限来完成它们。

如何设置 Google 和 Google Drive 的账号及凭据？

请参阅 设置指南 - Google 账号设置。

如果我在中国大陆（GFW 后），或者不想让某些任务被识别为机器人而降低分数，该如何为虚拟机配置代理？

请参阅 设置指南 - 代理配置。 我们还提供基于 DataImpulse 的预配置解决方案，请参考 针对特定任务推荐的代理设置。

开源贡献者

感谢所有贡献者！

📄 引用

如果您觉得这个环境很有用，请考虑引用我们的工作：

@misc{OSWorld,
      title={OSWorld: 在真实计算机环境中针对开放性任务的多模态智能体基准测试}, 
      author={谢天宝、张丹阳、陈继轩、李晓川、赵思恒、曹瑞生、托·京华、程周俊、申东灿、雷方宇、刘一涛、许一恒、周书妍、西尔维奥·萨瓦雷斯、熊才明、钟维克、余涛},
      year={2024},
      eprint={2404.07972},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}

OSWorld-Verified 感谢名单

特别感谢以下机构提供的反馈及参与修复工作（以及在此过程中提供过宝贵意见的机构）：MoonShot AI，又名 Kimi、Human Data、OpenAI、字节跳动 Seed TARS、Anthropic、Simular、香港大学数据智能实验室。

同时，特别感谢以下同学在具体修复工作中做出的贡献：袁梦琪、张丹阳、熊新庄、沈振楠、周子龙、陈燕旭、邓佳琪、谢天宝、陈俊达、陈继轩、吴浩远。

此外，还要感谢以下同学参与了重新评估的运行工作：袁梦琪、周子龙、王欣元、王博文。

您可能也会感兴趣

• OSWorld-MCP：面向计算机使用型智能体的 MCP 工具调用基准测试。官网

OSWorld 快速上手指南

OSWorld 是一个用于评估智能体在真实操作系统环境中执行复杂任务能力的基准测试平台。本指南将帮助中国开发者快速完成环境搭建并运行首个示例。

环境准备

系统要求

• 操作系统: Linux (推荐), Windows, 或 macOS (Apple Silicon 芯片需特殊配置)
• Python 版本: >= 3.10
• 虚拟化支持 (二选一):
  • 方案 A (本地桌面/笔记本): 安装 VMware Workstation Pro (Windows/Linux) 或 VMware Fusion (macOS)。
    • 备选: VirtualBox (功能支持可能不如 VMware 完善，如并行处理和 macOS 支持)。
  • 方案 B (服务器/高性能需求): 支持 KVM 的 Linux 服务器 + Docker。
    • 检查 KVM 支持：运行 egrep -c '(vmx|svm)' /proc/cpuinfo，返回值大于 0 即支持。
    • 注意: macOS 主机通常不支持 KVM，建议使用 VMware 方案。

前置依赖

• Git
• Conda (推荐用于环境管理) 或 pip
• 稳定的网络连接 (用于下载初始虚拟机镜像和依赖)

安装步骤

1. 克隆项目与安装依赖

首先克隆仓库并安装 Python 依赖。国内用户若遇到 pip 下载慢的问题，可临时指定清华或阿里镜像源。

# 克隆 OSWorld 仓库
git clone https://github.com/xlang-ai/OSWorld
cd OSWorld

# (可选) 创建并激活 Conda 环境
conda create -n osworld python=3.10
conda activate osworld

# 安装依赖 (国内加速示例：使用清华源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

提示: 如果仅需环境包而不需要基准测试任务，可运行 pip install desktop-env。

2. 配置虚拟化后端

方案 A：配置 VMware (适用于本地开发)

安装 VMware Workstation Pro/Fusion 后，确保 vmrun 命令可用。

# 验证安装是否成功
vmrun -T ws list

若输出当前运行的虚拟机列表或空列表（无报错），则配置成功。后续脚本会自动下载所需的虚拟机镜像。

方案 B：配置 Docker (适用于服务器/KVM)

若使用 Docker 方案，请确保已安装 Docker Engine 或 Docker Desktop。 注意: 异常中断实验可能会残留容器，清理命令为 docker stop $(docker ps -q) && docker rm $(docker ps -a -q)。

基本使用

安装完成后，运行以下最小化示例来验证环境交互是否正常。

运行快速启动示例

该脚本将自动创建环境、完成设置并执行一个简单的右键点击操作。

# 使用默认设置运行 (自动检测 provider)
python quickstart.py

# 或者手动指定 provider 和虚拟机路径 (以 VMware 为例)
python quickstart.py --provider_name vmware --path_to_vm "path/to/your/vm.vmx"

预期结果

终端将输出系统运行日志，包括环境创建成功、设置完成以及动作执行成功的消息。最终你会观察到屏幕截图显示鼠标成功执行了右键点击操作，标志着环境已就绪，可以开始进行智能体实验。

下一步

环境验证通过后，你可以参考 run.py (单线程) 或 scripts/python/run_multienv.py (并行执行) 来运行具体的基准测试任务或部署自己的 Agent。记得根据任务需求配置 OPENAI_API_KEY 等环境变量。