自监督预测驱动的好奇心探索

2017年国际机器学习大会（ICML）[项目官网] [演示视频]

迪帕克·帕塔克、普尔基特·阿格拉瓦尔、阿列克谢·A·埃夫罗斯、特雷弗·达雷尔
加州大学伯克利分校

这是基于TensorFlow的实现，用于我们发表在2017年ICML上的关于强化学习中好奇心驱动探索的论文（链接）。其核心思想是在环境提供的外部奖励稀疏时，通过内在的好奇心驱动机制（ICM）来训练智能体。令人惊讶的是，即使环境中完全没有奖励，仍然可以使用ICM，此时智能体仅凭好奇心进行探索：“无奖励的强化学习”。如果您觉得这项工作对您的研究有帮助，请引用以下文献：

@inproceedings{pathakICMl17curiosity,
    Author = {Pathak, Deepak and Agrawal, Pulkit and
              Efros, Alexei A. and Darrell, Trevor},
    Title = {Curiosity-driven Exploration by Self-supervised Prediction},
    Booktitle = {International Conference on Machine Learning ({ICML})},
    Year = {2017}
}

1) 安装与使用

1. 本代码基于TensorFlow。安装步骤如下：

# 您可能不需要其中许多软件包，例如fceux仅用于马里奥游戏
sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb \
libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig python3-dev \
python3-venv make golang libjpeg-turbo8-dev gcc wget unzip git fceux virtualenv \
tmux

# 克隆代码库
git clone -b master --single-branch https://github.com/pathak22/noreward-rl.git
cd noreward-rl/
virtualenv curiosity
source $PWD/curiosity/bin/activate
pip install numpy
pip install -r src/requirements.txt
python curiosity/src/go-vncdriver/build.py

# 下载预训练模型
bash models/download_models.sh

# 设置自定义的Doom环境
cd doomFiles/
# 然后按照doomFiles/README.md中的说明操作

2. 运行演示

cd noreward-rl/src/
python demo.py --ckpt ../models/doom/doom_ICM
python demo.py --env-id SuperMarioBros-1-1-v0 --ckpt ../models/mario/mario_ICM

3. 训练代码

cd noreward-rl/src/
# 对于Doom：doom、doomSparse或doomVerySparse
python train.py --default --env-id doom

# 对于马里奥，修改src/constants.py如下：
# PREDICTION_BETA = 0.2
# ENTROPY_BETA = 0.0005
python train.py --default --env-id mario --noReward

xvfb-run -s "-screen 0 1400x900x24" bash  # 仅适用于远程桌面
# 有用的xvfb链接：http://stackoverflow.com/a/30336424
python inference.py --default --env-id doom --record

2) 其他有用的信息

• 论文
• 项目官网
• 演示视频
• Reddit讨论
• 媒体报道（新科学家、MIT技术评论等）

3) 致谢

Vanilla A3C代码基于universe-starter-agent的开源实现。

noreward-rl 快速上手指南

noreward-rl 是一个基于 TensorFlow 的实现，源自 ICML 2017 论文《Curiosity-driven Exploration by Self-supervised Prediction》。该工具旨在通过**内在好奇心驱动（Intrinsic Curiosity Module, ICM）**训练智能体，特别适用于环境外部奖励稀疏甚至完全无奖励（RL without rewards）的场景。

1. 环境准备

本项目主要在 Linux 环境下开发，依赖较多系统级库。请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• 核心框架: TensorFlow (代码基于旧版 TF，建议使用 Python 3.5/3.6 配合对应版本的 TensorFlow)
• 游戏模拟器: FCEUX (用于 Mario), ViZDoom (用于 Doom)

前置依赖安装

在开始之前，请运行以下命令安装必要的系统包和开发库：

sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb \
libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig python3-dev \
python3-venv make golang libjpeg-turbo8-dev gcc wget unzip git fceux virtualenv \
tmux

提示：国内用户若遇到 apt-get 下载速度慢的问题，建议先替换为阿里云或清华大学的镜像源。

2. 安装步骤

请严格按照以下步骤克隆代码、配置虚拟环境并构建必要组件：

1. 克隆仓库

   git clone -b master --single-branch https://github.com/pathak22/noreward-rl.git
   cd noreward-rl/
   

2. 创建并激活虚拟环境

   virtualenv curiosity
   source $PWD/curiosity/bin/activate
   

3. 安装 Python 依赖

   加速建议：国内用户推荐使用清华源加速 pip 安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package>

   pip install numpy
   pip install -r src/requirements.txt
   

4. 构建 VNC 驱动

   python curiosity/src/go-vncdriver/build.py
   

5. 下载预训练模型

   bash models/download_models.sh
   

   (注：若下载失败，可手动访问项目官网或 GitHub Release 页面下载模型文件并放入对应目录)

6. 配置 Doom 环境

   cd doomFiles/
   # 请根据 doomFiles/README.md 中的指示完成后续配置
   # 通常涉及下载 ViZDoom 二进制文件和场景文件
   

3. 基本使用

安装完成后，你可以直接运行演示脚本查看效果，或开始训练自己的模型。

运行演示 (Demo)

进入源码目录，加载预训练模型运行演示：

运行 Doom 演示：

cd noreward-rl/src/
python demo.py --ckpt ../models/doom/doom_ICM

运行 Super Mario Bros 演示：

python demo.py --env-id SuperMarioBros-1-1-v0 --ckpt ../models/mario/mario_ICM

开始训练 (Training)

训练 Doom 模型： 支持 doom (标准), doomSparse (稀疏奖励), doomVerySparse (极稀疏奖励) 模式。

cd noreward-rl/src/
python train.py --default --env-id doom

训练 Mario 模型（无奖励模式）： 对于 Mario 环境，需先修改 src/constants.py 中的参数：

• 设置 PREDICTION_BETA = 0.2
• 设置 ENTROPY_BETA = 0.0005

然后执行训练命令：

python train.py --default --env-id mario --noReward

远程服务器运行提示

如果在无显示器的远程服务器上运行可视化或训练，请使用 xvfb-run：

xvfb-run -s "-screen 0 1400x900x24" bash
# 之后在生成的会话中运行训练或推理脚本
python inference.py --default --env-id doom --record