AndroidWorld

官网 • 论文 • 任务列表 • 排行榜

AndroidWorld 是一个用于构建和基准测试自主计算机控制智能体的环境。

它运行在一个真实的 Android 模拟器上，包含一个高度可复现的基准测试，涵盖 20 个应用中的 116 个手工设计的任务。这些任务会根据随机生成的参数动态实例化，从而创造出数百万种独特的任务变体。

除了内置任务外，AndroidWorld 还支持来自 Liu 等人 的流行 Web 基准测试 MiniWoB++。

AndroidWorld 的主要特性包括：

• 📝 20 个真实应用中的 116 个多样化任务
• 🎲 动态任务实例化，产生数百万种独特变体
• 🏆 稳定的奖励信号，便于可靠评估
• 🐳 实验性 Docker 支持，简化设置并确保环境一致性（自 2025 年 6 月 2 日起）
• 🌐 开放环境，可访问数百万个 Android 应用和网站
• 💾 轻量级占用资源（内存 2 GB，磁盘 8 GB）
• 🔧 可扩展设计，方便添加新任务和基准测试
• 🖥️ 与 MiniWoB++ 的集成，支持基于 Web 的任务

请访问我们的 官网 观看演示视频。 o

安装

1. 设置 Android 模拟器

   1. 从 这里 下载 Android Studio
   2. 按照说明创建一个 Android 虚拟设备 (AVD)。硬件选择 Pixel 6，系统镜像选择 Tiramisu, API Level 33，并将 AVD 名称设为 AndroidWorldAvd。观看设置视频。

2. 通过命令行启动 Android 模拟器

   请使用命令行而非 Android Studio 界面来启动模拟器，并添加 -grpc 8554 标志，以便与无障碍转发应用进行通信。

   # 通常位于 ~/Android/Sdk/emulator/emulator 或
   # ~/Library/Android/sdk/emulator/emulator
   EMULATOR_NAME=AndroidWorldAvd # 上一步中设置的名称
   ~/Library/Android/sdk/emulator/emulator -avd $EMULATOR_NAME -no-snapshot -grpc 8554
   

3. 【可选】建议使用 conda，您可以从 这里 下载。

   conda create -n android_world python=3.11.8
   conda activate android_world
   

4. 安装 AndroidWorld。注意：需要 Python 3.11 或更高版本。

   git clone https://github.com/google-research/android_world.git
   cd ./android_world
   pip install -r requirements.txt
   python setup.py install
   

5. 将模型提供商的 API 添加为环境变量。

   # 添加到 .bashrc 文件中。
   export OPENAI_API_KEY=your-key
   export GCP_API_KEY=your-key
   

6. 如果尚未安装，请安装 ffmpeg。

   # Linux (Ubuntu/Debian)
   # sudo apt update && sudo apt install ffmpeg
   
   # macOS
   brew install ffmpeg
   

快速入门

运行 minimal_task_runner.py 脚本，以了解 AndroidWorld 各组件的基本机制。该脚本会初始化环境、设置任务，并在任务上运行默认智能体 M3A。

python minimal_task_runner.py --task=ContactsAddContact

如果您未指定任务，将随机选择一个任务。注意：如果您想尝试非 Android 系统自带的开源应用，请在以下脚本中运行 --perform_emulator_setup。

关于模型费用的说明： minimal_task_runner.py 脚本默认使用旧版模型 gpt-4-turbo-2024-04-09。该模型可能较为昂贵。对于实际使用，您可以修改脚本中的 model_name，切换到更经济的模型。

Docker 支持（实验性）

AndroidWorld 现已提供 Docker 支持。这使您能够在 Docker 容器内运行 Android 环境和服务器，从而简化设置并确保环境的一致性。

注意： 此功能目前仍处于实验阶段，尚未经过全面测试。

1. 构建 Docker 镜像：

   导航到 android_world 仓库的根目录并运行：

   docker build -t android_world:latest .
   

2. 运行 Docker 容器：

   docker run --privileged -p 5000:5000 -it android_world:latest
   

   这将启动容器内的 Android 模拟器和 FastAPI 服务器。服务器可通过 http://localhost:5000 访问。

3. 与环境交互： 您可以参考 scripts/run_suite_on_docker.py 脚本，作为与 Docker 中运行的 Android 环境服务器交互的示例客户端。

苹果芯片用户注意事项

在 ARM 架构芯片（Apple Silicon）上安装所需的 emulator 包时，存在已知的 问题。为解决此问题，在本地构建镜像时，应针对 AMD64/x86_64 指令集构建镜像，方法如下：

docker buildx build --platform linux/amd64 -t android-emulator:latest .

请注意，在 Apple Silicon 设备上以这种方式运行 Docker 容器，速度会比原生运行 Android 设备和模拟器慢得多（因为实际上是 Linux 模拟器中再运行 Android 模拟器……）。

运行基准测试

注意：任务步骤限制更新 自2024年11月18日起，AndroidWorld中每项任务的max_steps/step_budget已更新为大约是人类平均完成时间的2倍。这一调整确保智能体有足够的时间完成任务，同时也减少了运行基准测试的开销。此处提供了各任务的具体更新信息。

python run.py \
  --suite_family=android_world \
  --agent_name=t3a_gpt4 \
  --perform_emulator_setup \
  --tasks=ContactsAddContact,ClockStopWatchRunning \  # 可选：仅在子集上运行。

首次运行此脚本时，必须通过指定--perform_emulator_setup来安装必要的应用并设置权限。这是一次性设置，可能需要几分钟时间，具体取决于网络速度。

上述命令中我们指定了可选的--tasks标志，以便在部分任务上运行。若留空，则将在整个AndroidWorld套件上运行。

n_task_combinations参数指定了每个任务要使用的参数组合数量。例如，对于短信任务，它将对应于每次运行中不同的电话号码和消息组合。

如果运行中途失败，可以通过重新运行脚本，并使用--checkpoint_dir标志指向原始运行的输出目录，从而从中断处继续。

运行MiniWoB++任务

要在AndroidWorld中运行基于Web的MiniWoB++任务，只需在上述命令中设置--suite_family=miniwob和--perform_emulator_setup即可。

运行MiniWoB++任务的一个重要优势在于，常见的输入元素会被渲染为原生、常用的Android UI控件，而不是HTML形式。因此，智能体必须学会使用诸如时间和日期选择器等通用控件：

创建您自己的智能体

除了我们在这里提供的智能体外，您也可以轻松创建自己的智能体，并按照以下步骤使用它运行基准测试。

1. 创建一个继承自EnvironmentInteractingAgent的智能体类，并实现step方法。在当前的工作流程中，智能体会尝试在一个for循环中完成任务。在每一回合中，都会调用step方法，而您的智能体逻辑就在这里实现。典型的做法是首先通过智能体内的AndroidEnv实例获取当前屏幕截图、UI元素（如按钮、图标）等信息，然后从支持的操作中选择一项，通过AndroidEnv执行，并返回一个AgentInteractionResult。应将AgentInteractionResult中的done属性设置为true，以表示任务已完成。

2. 在run.py中导入您的智能体，并将其添加到_get_agent方法中，该方法接收您的智能体名称并返回其实例。

3. 现在，您可以使用上述命令，并将agent_name标志更改为您的智能体名称，来运行包含新智能体的基准测试。

添加新任务

请参阅指南，了解如何向AndroidWorld中添加新任务。

引用

如果您使用我们的环境或数据，请引用我们的论文：

@misc{rawles2024androidworlddynamicbenchmarkingenvironment,
      title={AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents},
      author={Christopher Rawles and Sarah Clinckemaillie and Yifan Chang and Jonathan Waltz and Gabrielle Lau and Marybeth Fair and Alice Li and William Bishop and Wei Li and Folawiyo Campbell-Ajala and Daniel Toyama and Robert Berry and Divya Tyamagundlu and Timothy Lillicrap and Oriana Riva},
      year={2024},
      eprint={2405.14573},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2405.14573},
}

本产品并非Google官方支持的产品。

AndroidWorld 快速上手指南

AndroidWorld 是一个用于构建和基准测试自主计算机控制代理的环境。它运行在真实的 Android 模拟器上，提供涵盖 20 个真实应用的 116 个手工任务，并支持动态生成数百万种任务变体。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux, macOS (Apple Silicon 用户需注意 Docker 部分说明) 或 Windows (需配置 WSL2)。
• Python: 版本 3.11 或更高。
• Android Studio: 用于安装 Android 模拟器。
• FFmpeg: 用于视频录制和处理。
• API Keys: 需要 OpenAI 或 Google Cloud Platform (GCP) 的 API 密钥以运行大模型代理。
• 推荐工具: 建议使用 conda 管理 Python 环境。

安装步骤

1. 设置 Android 模拟器

1. 下载并安装 Android Studio。
2. 创建 Android 虚拟设备 (AVD)，配置如下：
   • 硬件 (Hardware): 选择 Pixel 6。
   • 系统镜像 (System Image): 选择 Tiramisu, API Level 33。
   • AVD 名称: 必须命名为 AndroidWorldAvd。

2. 启动模拟器

注意：必须通过命令行启动模拟器，并添加 -grpc 8554 参数，以便与辅助功能转发应用通信。请勿直接使用 Android Studio 界面启动。

# 路径可能因系统而异，通常在 ~/Android/Sdk/emulator/emulator 或 ~/Library/Android/sdk/emulator/emulator
EMULATOR_NAME=AndroidWorldAvd
~/Library/Android/sdk/emulator/emulator -avd $EMULATOR_NAME -no-snapshot -grpc 8554

3. 创建 Python 环境 (推荐)

conda create -n android_world python=3.11.8
conda activate android_world

4. 安装 AndroidWorld

git clone https://github.com/google-research/android_world.git
cd ./android_world
pip install -r requirements.txt
python setup.py install

5. 配置 API 密钥

将您的模型提供商 API 密钥添加到环境变量中（例如添加到 ~/.bashrc 或 ~/.zshrc）：

export OPENAI_API_KEY=your-key
export GCP_API_KEY=your-key

6. 安装 FFmpeg

如果尚未安装，请根据系统执行以下命令：

# Linux (Ubuntu/Debian)
sudo apt update && sudo apt install ffmpeg

# macOS
brew install ffmpeg

基本使用

安装完成后，您可以运行 minimal_task_runner.py 脚本来体验 AndroidWorld 的基本流程。该脚本将初始化环境、设置任务并运行默认的 M3A 代理。

运行单个任务示例：

python minimal_task_runner.py --task=ContactsAddContact

• 如果不指定 --task 参数，系统将随机选择一个任务。
• 首次运行提示：如果您想尝试非 Android 系统自带的开源应用，请在运行脚本时添加 --perform_emulator_setup 标志。这将一次性安装必要的应用并设置权限（耗时取决于网络速度）。

关于模型成本： 默认脚本使用 gpt-4-turbo-2024-04-09 模型，成本较高。如需长期使用，建议修改脚本中的 model_name 参数以切换至更具成本效益的模型。

---

进阶：运行完整基准测试

要运行完整的基准测试套件，请使用 run.py：

python run.py \
  --suite_family=android_world \
  --agent_name=t3a_gpt4 \
  --perform_emulator_setup \
  --tasks=ContactsAddContact,ClockStopWatchRunning

• --tasks: 可选，指定要运行的任务子集。留空则运行全部 116 个任务。
• --perform_emulator_setup: 首次运行时必须添加，用于环境初始化。
• 若运行中断，可通过添加 --checkpoint_dir 指向原输出目录来恢复运行。

进阶：自定义代理

您可以创建自己的代理类，继承自 EnvironmentInteractingAgent 并实现 step 方法，然后在 run.py 中注册即可参与基准测试。具体代码结构请参考项目源码中的 android_world/agents 目录。