AndroidEnv - 安卓学习环境

AndroidEnv 是一个 Python 库，它将一台 Android 设备暴露为强化学习（RL）环境。该库提供了一个灵活的平台，用于在 Android 操作系统之上定义自定义任务，包括任何 Android 应用程序。智能体通过通用的动作接口——触摸屏——与设备交互，向系统发送局部化的触摸和抬起事件。库会处理这些事件，并根据特定的 任务定义 返回像素观测值和奖励。例如，奖励可以根据研究目的以及用户如何配置任务，给予成功向下滚动页面、发送电子邮件或在游戏中达到一定分数等事件。

目录

• 环境详情
• 运行 AndroidEnv
• 设置虚拟 Android 设备
• 在 AndroidEnv 中定义任务
• 可下载的示例任务

环境特性

AndroidEnv 作为一个具有挑战性但又适合强化学习研究的环境，具备以下几个特点：

• 允许智能体与全球数十亿用户日常使用的系统进行交互，AndroidEnv 提供了一个平台，使 RL 智能体能够在 真实世界场景 中导航、学习任务并产生直接影响。该环境封装了一个模拟的 Android 设备，该设备独立于环境运行，完全不受干扰，其工作方式与人类使用的设备完全相同，暴露了完全一致的功能和服务。

• 该平台提供了几乎无限的 可能任务范围，所有任务都共享一个共同的动作接口。该库便于为任何现有或自定义开发的 Android 应用程序设计强化学习任务。例如，它开放了广泛的 Android 游戏世界，从纸牌游戏、益智游戏到时间反应类游戏，这些游戏都需要多样化的动作组合和交互类型。

• 该环境运行在一个 实时模拟 的 Android 设备之上。换句话说，环境的动力学不会等待智能体做出决策，且模拟的速度无法加快。

• 观测值是屏幕上显示像素对应的 RGB 值 集合。具体的屏幕分辨率取决于所模拟的设备，但在 RL 的上下文中通常会被认为相对较大。不过，用户可以选择对每次观测进行降采样。

• 该学习环境拥有一个有趣且复杂的 动作空间，这在 Android 的触摸屏界面上是独一无二的。

  • 原始的 混合动作空间 由一个连续的元组组成，表示动作的位置，以及一个离散信号，用于确定智能体是想要触摸屏幕还是抬起虚拟手指。
  • 原始动作具有高度的 可组合性：Android 的 UI 和大多数应用程序的设计初衷就是可以通过常见的 触摸屏手势（如点击、滚动、滑动、捏合、拖放等）直观地进行导航。在 AndroidEnv 中也是如此：为了触发环境中有意义的变化，智能体往往需要执行一系列精心计时和定位的原始动作序列。例如，要在相册中切换到下一张图片，智能体需要执行一次 滑动 动作，多次触碰屏幕，并逐渐将动作位置向右移动。因此，在大多数情况下，原始动作只有正确地串联起来形成人类手势时，才会引起环境状态的变化。
  • 动作接口与 观测空间密切相关，因为有意义的触摸和抬起事件通常与观测中显著物体的位置或运动紧密相关。例如，屏幕上的按钮位置往往与触发按钮按下的动作位置一致。
  • 如果某些研究需要，该库还提供了灵活调整 动作接口 的工具，比如离散化或硬编码手势技能。尽管如此，我们认为真正的挑战仍然在于设计出能够通过在复杂统一的动作接口中行动和学习，来应对大量多样化任务的智能体。

开始使用

安装

获取 AndroidEnv 最简单的方式是使用 pip：

$ python3 -m pip install android-env

请注意，此软件包不包含 /examples 示例代码。

或者，您也可以从 git 的 main 分支克隆仓库：

$ git clone https://github.com/deepmind/android_env/
$ cd android_env
$ python3 setup.py install

更新：该环境现在也支持 Windows 系统，但请注意，由于本项目的主要目标平台是基于 Unix 的系统，因此 Windows 支持并不完善且未得到广泛维护。

创建模拟器

在运行环境之前，您需要访问一个模拟的 Android 设备。有关创建虚拟 Android 设备的说明，请参阅 模拟器指南。

定义任务

接下来，您需要定义智能体的 任务 是什么。此时，智能体已经可以与模拟设备通信，但还没有明确的目标，也无法获得奖励或 RL 任务结束等信号。请参阅 如何定义 RL 任务，以创建您自己的任务，或者使用 现有的任务定义 进行训练。

加载并运行

要了解如何在 AndroidEnv 上运行和训练智能体，请参阅这些详细的 使用说明。在这里，您还可以找到示例脚本，演示如何在 AndroidEnv 上运行随机智能体、一个 acme 智能体，或一个人类智能体。

关于

本库由 DeepMind 开发并维护。
您可以在 Arxiv 上找到相关的技术报告，以及 DeepMind 官网上的介绍性博客文章。

如果您在研究中使用 AndroidEnv，可以使用以下 BibTeX 格式引用该论文：

@article{ToyamaEtAl2021AndroidEnv,
  title     = {{AndroidEnv}: 用于 Android 的强化学习平台},
  author    = {Daniel Toyama、Philippe Hamel、Anita Gergely、Gheorghe Comanici、Amelia Glaese、Zafarali Ahmed、Tyler Jackson、Shibl Mourad 和 Doina Precup},
  year      = {2021},
  eprint    = {2105.13231},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG},
  volume    = {abs/2105.13231},
  url       = {http://arxiv.org/abs/2105.13231},
}

免责声明：本项目并非 Google 官方产品。

AndroidEnv 快速上手指南

AndroidEnv 是由 DeepMind 开发的 Python 库，它将 Android 设备暴露为一个强化学习（RL）环境。代理（Agent）可以通过模拟触摸屏操作（点击、滑动等）与任何 Android 应用交互，并接收像素观测值和奖励信号。

环境准备

在开始之前，请确保满足以下系统和依赖要求：

• 操作系统：推荐使用 Linux 或 macOS 等 Unix 系统。
  • 注：虽然支持 Windows，但维护程度较低，可能遇到兼容性问题。
• Python 版本：需要 Python 3.6 或更高版本。
• Android 模拟器：必须预先配置好一个正在运行的虚拟 Android 设备（AVD）。
  • 你需要安装 Android Studio 并使用其自带的 AVD Manager 创建模拟器。
  • 确保模拟器已启动并处于解锁状态。
  • 详细配置指南请参考官方文档：Emulator guide。

安装步骤

你可以通过 pip 直接安装，或者从源码安装以获取示例代码。

方式一：使用 pip 安装（推荐）

这是最快捷的方式，但请注意此方式不包含 /examples 目录下的示例代码。

python3 -m pip install android-env

国内加速建议：如果下载速度较慢，可以使用清华或阿里镜像源：

python3 -m pip install android-env -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（包含示例）

如果你需要运行官方提供的示例任务或脚本，请克隆仓库进行安装：

git clone https://github.com/deepmind/android_env/
cd android_env
python3 setup.py install

基本使用

安装完成后，你需要完成三个核心步骤来运行一个 RL 实验：启动模拟器、定义任务、加载并运行代理。

1. 启动 Android 模拟器

确保你的 Android 虚拟设备已经启动。AndroidEnv 将通过 ADB (Android Debug Bridge) 与该设备进行通信。

2. 定义任务 (Task)

AndroidEnv 本身只是一个环境接口，你需要定义具体的“任务”来指定奖励机制和 episode 结束条件。

• 自定义任务：参考 任务定义指南 编写 JSON 配置文件。
• 使用现有任务：仓库中提供了一些预设任务（如游戏、应用操作），详见 示例任务列表。

3. 加载与运行

以下是一个最简单的 Python 代码示例，展示如何初始化环境并执行随机动作：

import android_env

# 初始化环境
# task_path 指向你的任务定义文件 (.json)
env = android_env.make(
    task_path='path/to/your/task_definition.json',
    emulator_name='your_emulator_id'  # 替换为你的模拟器 ID，可通过 'adb devices' 查看
)

# 重置环境
observation = env.reset()

# 运行一个简单的随机代理循环
for step in range(100):
    # 生成随机动作 (根据环境动作空间规范)
    action = env.action_spec().generate_value()
    
    # 执行动作
    observation, reward, done, info = env.step(action)
    
    if done:
        print("Episode finished.")
        break

# 关闭环境
env.close()

进阶运行

官方提供了更完整的脚本示例，包括运行随机代理、ACME 框架代理甚至人工操作代理。如果你是通过源码安装的，可以在 examples/ 目录下找到这些脚本。详细运行说明请参阅：运行指南。