模型无关元学习（Model-Agnostic Meta-Learning, MAML）

本仓库包含论文《用于深度网络快速适应的模型无关元学习（Finn 等人，ICML 2017）》的配套代码（论文链接）。代码包含运行少样本强化学习实验的功能。

对于监督学习领域的实验，请查看 该代码库。

依赖项

该代码基于 rllab 代码库，安装方式相同（见下文）。此代码库可能与旧版 rllab 不兼容。

MAML 代码使用 TensorFlow 版本的 rllab，因此请确保安装 TensorFlow v1.0+。

使用方法

运行论文中实验的脚本位于 maml_examples/ 目录下。

pointmass 环境位于 maml_examples/ 目录，而 MuJoCo 环境位于 rllab/envs/mujoco/ 目录。

代码速度

当前代码的一个限制是运行速度较慢。我们欢迎贡献以提高速度。我们预计最大的速度提升将来自采样和元学习图计算的更好并行化（parallelization）。

联系方式

如需提问或报告问题，请在 问题跟踪器 中提交 issue。

rllab

rllab 是一个用于开发和评估强化学习算法的框架。它包含大量连续控制任务以及以下算法的实现：

• REINFORCE（REINFORCE算法）
• Truncated Natural Policy Gradient（截断自然策略梯度）
• Reward-Weighted Regression（奖励加权回归）
• Relative Entropy Policy Search（相对熵策略搜索）
• Trust Region Policy Optimization（信任区域策略优化）
• Cross Entropy Method（交叉熵方法）
• Covariance Matrix Adaption Evolution Strategy（协方差矩阵自适应进化策略）
• Deep Deterministic Policy Gradient（深度确定性策略梯度）

rllab 与 OpenAI Gym 完全兼容。详见 此处 的说明和示例。

rllab 官方仅支持 Python 3.5+。如需使用 Python 2 的旧版本快照，请使用 py2 分支。

rllab 提供在 EC2 集群上运行强化学习实验的支持，以及结果可视化的工具。详见 文档。

主要模块使用 Theano 作为底层框架，我们也在 sandbox/rocky/tf 中提供了 TensorFlow 的支持。

文档

在线文档地址：https://rllab.readthedocs.org/en/latest/

引用 rllab

如果您在学术研究中使用 rllab，建议引用以下论文：

• Yan Duan, Xi Chen, Rein Houthooft, John Schulman, Pieter Abbeel. "连续控制的深度强化学习基准测试". 第33届国际机器学习会议（ICML）论文集，2016.

致谢

rllab 最初由 Rocky Duan（加州大学伯克利分校 / OpenAI）、Peter Chen（加州大学伯克利分校）、Rein Houthooft（加州大学伯克利分校 / OpenAI）、John Schulman（加州大学伯克利分校 / OpenAI）和 Pieter Abbeel（加州大学伯克利分校 / OpenAI）开发。该库目前由 OpenAI 和加州大学伯克利分校的研究人员共同维护。

幻灯片

ICML 2016 发布的幻灯片：https://www.dropbox.com/s/rqtpp1jv2jtzxeg/ICML2016_benchmarking_slides.pdf?dl=0

maml_rl 快速上手指南

环境准备

• 系统要求：Linux/macOS（推荐 Ubuntu 16.04+），Python 3.5+
• 前置依赖：
  • TensorFlow 1.0+（推荐 1.15）
  • rllab 框架（基于 Theano/TensorFlow）
  • MuJoCo 环境（需注册下载，国内用户可尝试使用 DeepMind 官方镜像）

安装步骤

# 克隆项目仓库
git clone https://github.com/cbfinn/maml.git
cd maml

# 使用国内镜像加速安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 rllab 框架（需单独配置）
git clone https://github.com/rllab/rllab.git
cd rllab
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

# 运行 pointmass 示例任务
cd maml
python maml_examples/pointmass.py

# 运行 MuJoCo 环境示例（需提前配置 MuJoCo）
cd rllab/envs/mujoco/
python half_cheetah_example.py

提示：首次运行时建议降低 --meta-batch-size 参数值（如设为 20）以加快训练速度，完整参数说明请参考 maml_examples/ 目录下的具体脚本注释。