障碍塔环境

关于

障碍塔是一个程序化生成的环境，由多个楼层组成，供学习智能体解决。它旨在测试智能体在计算机视觉、运动技能、高层级规划和泛化能力方面的能力。该环境结合了平台跳跃类游戏玩法与谜题和规划问题，并且随着智能体的推进，难度会不断增加。

在每一层中，智能体的目标是到达通往塔下一层的楼梯。这些楼层由多个房间组成，每个房间都可能包含独特的挑战。此外，每层还包含许多程序化生成的元素，例如视觉外观、谜题配置和楼层布局。这确保了智能体要想成功完成障碍塔任务，就必须能够泛化到新的、未曾见过的条件组合中。

参考论文

欲了解更多信息，请阅读我们的 AAAI 工作组论文：

障碍塔：视觉、控制与规划中的泛化挑战。

版本历史

• v1.0 - 初始发布。
• v1.1 - 障碍塔挑战第一轮发布。
  • 改进了重置之间的确定性。
  • 修复了导致某些楼层无法通关的房间模板错误。
  • 提升了渲染和通信速度。
• v1.2 - 热修复版本。
  • 添加了 timeout_wait 参数，以延长 Python 等待 Unity 环境握手的时间。
  • 添加了 realtime_mode 参数，以便以实时速度启动 Unity 环境并渲染到窗口。
  • 更新了 Windows 和 Linux 的二进制文件，以解决启动问题。
  • v1.2 更新后的二进制文件包含了对智能体碰撞检测问题的修复。
• v1.3 热修复版本。
  • 解决了在 Docker 中运行时的内存泄漏问题。
  • 修复了环境在某些较高楼层可能会卡死的问题。
• v2.0 障碍塔挑战第二轮发布。
  • 塔现在可以生成最多 100 层。
  • 新增了更多视觉主题、障碍物、敌人类型和楼层难度。
  • 增加了额外的重置参数，用于自定义生成的塔。有关参数及其取值的详细信息，请参阅 这里。
  • 修复了多种 bug 并提升了性能。
• v2.1 热修复版本。
  • 解决了新种子未在 env.reset 时生效的问题。
  • 解决了观测空间定义不足的问题。
• v2.2 热修复版本。
  • 解决了重置参数有时在 env.reset 时未更新的问题。
  • 解决了智能体可能跳过关卡的问题。
• v3.0 开源版本现已发布 此处。
  • 添加了用于基准测试的评估脚本以及官方的基准测试指南。
• v3.1 小版本。
  • 将 Unity 项目更新至 2019.2，将 ML-Agents 版本更新至 0.10。
• v4.0 重大项目更新
  • Unity 项目更新至 2019.4 LTS。
  • ML-Agents 包更新至 1.1.0（Release 3）。
  • Gym 封装现在默认使用注册表自动下载二进制文件。
• v4.1 小版本。
  • 增加了额外的重置参数，以实现对视觉主题的更精细控制。
  • 修复了 Gym 封装中与回合结束信息相关的问题。
  • 修复了环境对部分重置参数无响应的问题。

安装

要求

障碍塔环境可在 Mac OS X、Windows 或 Linux 上运行。

Python 依赖项（也在 setup.py 中）：

• Python 3.6+
• Unity ML-Agents 1.x
• OpenAI Gym

下载环境（可选）

默认情况下，当首次实例化障碍塔 Gym 时，二进制文件会自动下载。各平台的二进制文件也可以通过以下链接单独下载。

平台	下载链接
Linux (x86_64)	https://storage.googleapis.com/obstacle-tower-build/v4.1/obstacletower_v4.1_linux.zip
Mac OS X	https://storage.googleapis.com/obstacle-tower-build/v4.1/obstacletower_v4.1_osx.zip
Windows	https://storage.googleapis.com/obstacle-tower-build/v4.1/obstacletower_v4.1_windows.zip

这些文件的校验和请参见 这里。

安装 Gym 接口

$ git clone git@github.com:Unity-Technologies/obstacle-tower-env.git
$ cd obstacle-tower-env
$ pip install -e .

入门

使用 Gym 接口

要查看如何使用 Gym 接口与环境交互的示例，请参阅我们的 基本使用 Jupyter 笔记本。

自定义环境

障碍塔可以通过多种方式进行配置，以调整环境的难度和内容。这是通过使用重置参数来实现的，这些参数可以在调用 env.reset() 时设置。有关可用参数的列表，请参阅 这里。

玩家控制

也可以以“玩家模式”启动环境，并直接使用键盘控制智能体。只需双击二进制文件即可。键盘控制如下：

键盘按键	动作
W	让角色向前移动。
S	让角色向后移动。
A	让角色向左移动。
D	让角色向右移动。
K	向左旋转摄像头。
L	向右旋转摄像头。
空格键	角色跳跃。

性能评估

我们提供了一个环境封装，用于评估玩家或智能体在多个预定义种子下的表现。我们提供了一个基于随机策略的评估示例 这里。

在 GCP 上训练 Dopamine Rainbow 智能体

如果您有兴趣使用 Google 的 Dopamine 框架和/或 Google Cloud Platform 来训练智能体，请参阅我们的指南 这里。

Obstacle Tower Environment 快速上手指南

Obstacle Tower 是一个程序化生成的 3D 环境，旨在测试智能体在计算机视觉、运动控制、高层规划及泛化能力方面的表现。随着层数增加，难度会逐渐提升。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：macOS, Windows, 或 Linux (x86_64)
• Python 版本：3.6 及以上
• 核心依赖：
  • Unity ML-Agents (1.x 版本)
  • OpenAI Gym

提示：国内用户建议在安装 Python 依赖时使用清华源或阿里源以加速下载。

安装步骤

1. 克隆项目

首先从 GitHub 克隆仓库并进入目录：

git clone git@github.com:Unity-Technologies/obstacle-tower-env.git
cd obstacle-tower-env

2. 安装 Python 接口

使用 pip 以可编辑模式安装 Gym 接口。此过程会自动处理依赖关系。

pip install -e .

注：首次实例化环境时，Gym 包装器会自动下载对应平台的二进制文件。如果需要手动下载（例如网络受限），可从以下地址获取 v4.1 版本：

• Linux: 下载链接
• macOS: 下载链接
• Windows: 下载链接

基本使用

代码示例

以下是最简单的 Python 代码示例，展示如何初始化环境并运行一个随机策略智能体：

import obstacle_tower_env
import gym

# 创建环境
env = gym.make('ObstacleTower-v0')

# 重置环境，开始新回合
observation = env.reset()

# 运行一个简单的随机代理示例
done = False
while not done:
    # 随机选择动作
    action = env.action_space.sample()
    
    # 执行动作
    observation, reward, done, info = env.step(action)
    
    # 可选：渲染画面（如需可视化）
    # env.render()

env.close()

自定义配置

您可以通过 env.reset() 传递参数来调整塔的难度、视觉主题或楼层布局。例如：

# 自定义重置参数示例
config = {
    "tower-seed": 123,
    "floor-number": 10,
    "visual-theme": "default"
}
observation = env.reset(config=config)

详细参数列表请参考项目中的 reset-parameters.md 文件。

玩家模式（手动试玩）

如果您想亲自体验环境或测试关卡，可以直接双击下载的二进制文件启动“玩家模式”。 键盘操作说明：

按键	功能
W	向前移动
S	向后移动
A	向左移动
D	向右移动
K	镜头左转
L	镜头右转
Space	跳跃