深度模仿学习的务实视角

以SAC [HZA18, HZH18] 为基础强化学习算法的模仿学习算法：

• AdRIL [SCB21]
• DRIL [BSH20]（dropout版本）
• GAIL [HE16]（当使用非策略型算法时，也称为DAC/SAM [KAD18, BK18]）
• GMMIL [KP18]
• PWIL [DHG20]（nofill版本）
• RED [WCA19]

通用选项包括：

• BC [P91] （预）训练：bc_pretraining.iterations: >= 0; 默认 0
• 仅状态模仿学习：imitation.state-only: true/false; 默认 false
• 吸收态指示器 [KAD18]：imitation.absorbing: true/false; 默认 true
• 在智能体和专家数据混合上进行训练：imitation.mix_expert_data: none/mixed_batch/prefill_memory'; 默认 none
• BC 辅助损失：imitation.bc_aux_loss: true/false; 默认 false（DRIL 使用 true）

DRIL、GAIL 和 RED 包含其训练好的判别器的若干选项。

AdRIL 的选项包括：

• 平衡采样：imitation.balanced: true/false（交替采样专家和智能体数据批次，而非混合批次）
• 判别器更新频率：imitation.update_freq: >= 0（设置为 0 以实现 SQIL [RDL19]）

DRIL 的选项包括：

• 分位数截断：imitation.quantile_cutoff: >= 0, <= 1

GAIL 的选项包括：

• 奖励塑造（AIRL）[FLL17]：imitation.model.reward_shaping: true/false
• 减去 log π(a|s)（AIRL）[FLL17]：imitation.model.subtract_log_policy: true/false
• 奖励函数（GAIL/AIRL/FAIRL）[HE16, FLL17, GZG19]：imitation.model.reward_function: AIRL/FAIRL/GAIL
• 梯度惩罚 [KAD18, BK18]：imitation.grad_penalty: >= 0
• 谱归一化 [BSK20]：imitation.spectral_norm: true/false
• 熵奖励 [ORH21]：imitation.entropy_bonus: >= 0
• 损失函数（BCE/Mixup/nn-PUGAIL）[HE16, CNN20, XD19]：imitation.loss_function: BCE/Mixup/PUGAIL
• 损失函数的其他超参数：imitation.mixup_alpha: >= 0、imitation.pos_class_prior: >= 0, <= 1、imitation.nonnegative_margin: >= 0

PWIL 的选项包括：

• 奖励缩放 α：imitation.reward_scale: >= 0
• 奖励带宽缩放 β：imitation.reward_bandwidth_scale: >= 0

RED 的选项包括：

• 奖励带宽缩放 σ1：imitation.reward_bandwidth_scale: >= 0

在 Gym MuJoCo 环境 上进行了基准测试，并使用了 D4RL "expert-v2" 数据。

需求

可以通过以下命令安装所需依赖：

pip install -r requirements.txt

值得注意的必要包包括 PyTorch、OpenAI Gym、D4RL 和 Hydra。Ax 和 Hydra Ax Sweeper 插件 是超参数优化所必需的。

正常运行

每种模仿学习算法（或带有真实环境奖励的 SAC）的训练都可以通过以下命令启动：

python train.py algorithm=<ALG> env=<ENV>

其中 <ALG> 是 AdRIL/BC/DRIL/GAIL/GMMIL/PWIL/RED/SAC 中的一个，而 <ENV> 是 ant/halfcheetah/hopper/walker2d 中的一个。例如：

python train.py algorithm=GAIL env=hopper

结果将保存在 outputs/<ALGO>_<ENV>/m-d_H-M-S 中，最后一个子文件夹表示当前日期时间。

超参数可以在 conf/config.yaml 和 conf/algorithm/<ALG>.yaml 中找到。若要使用针对特定算法和轨迹数量调优的超参数 [AL21]，可添加选项 optimised_hyperparameters=<ALG>_<NUM_TRAJECTORIES>_trajectories（请注意，还需指定 algorithm=<ALG> 以加载其他算法特定的超参数）。例如：

python train.py algorithm=AdRIL optimised_hyperparameters=AdRIL_5_trajectories env=halfcheetah

可以使用以下命令并行地在所有环境中运行该算法：

python train_all.py algorithm=<ALG> env=<ENV>

结果将保存在 outputs/<ALGO>_all/m-d_H-M-S 中，包含每个环境的子目录。

超参数扫描

可以使用 -m 和一系列超参数值来进行超参数扫描。例如：

python train.py -m algorithm=PWIL env=walker2d reinforcement.discount=0.97,0.98,0.99

结果将保存在 outputs/<ALGO>_<ENV>_sweep/m-d_H-M-S 中，每次运行都会有一个以作业编号命名的子文件夹。

因此，若要使用优化后的超参数进行种子扫描，可以运行以下命令：

python train.py -m algorithm=RED optimised_hyperparameters=RED_25_trajectories env=halfcheetah seed=1,2,3,4,5,6,7,8,9,10

超参数优化

可以使用以下命令进行贝叶斯超参数优化（跨所有环境）：

python train_all.py -m algorithm=<ALG>

此命令用于优化给定数量的专家轨迹的超参数，例如：

python train_all.py -m algorithm=GAIL imitation.trajectories=5

要查看优化过程的结果，可以运行以下命令：

python scripts/print_plot_sweep_results.py --path <PATH>

例如：

python scripts/print_plot_sweep_results.py --path outputs/BC_all_sweeper/03-09_19-13-21

结果

致谢

• @ikostrikov 提供了 https://github.com/ikostrikov/pytorch-a2c-ppo-acktr-gail
• @RuohanW 提供了 https://github.com/RuohanW/RED
• @jonathantompson 提供了 https://github.com/google-research/google-research/tree/master/dac
• @gkswamy98 提供了 https://github.com/gkswamy98/pillbox
• @ddsh 提供了 https://github.com/google-research/google-research/tree/master/pwil

引用

如果您觉得这项工作有用并希望引用它，请使用以下格式：

@inproceedings{arulkumaran2023pragmatic,
  author = {Arulkumaran, Kai and Ogawa Lillrank, Dan},
  title = {A Pragmatic Look at Deep Imitation Learning},
  booktitle = {Asian Conference on Machine Learning},
  year = {2023}
}

库的 v1.0 版本包含 基于策略的模仿学习算法。库的 v2.0 版本包含 非策略型模仿学习算法。

参考文献

[AL23] 深度模仿学习的务实视角
[BK18] 基于生成对抗网络的样本高效模仿学习
[BSH20] 基于分歧正则化的模仿学习
[BSK20] Lipschitz连续性是驯服离策略生成对抗模仿学习的关键
[CNN20] 用于可扩展机器人强化学习的批处理探索方法
[DHG20] 原始Wasserstein距离下的模仿学习
[FLL17] 通过对抗逆向强化学习学习鲁棒奖励函数
[GZG19] 从散度最小化视角看模仿学习方法
[HE16] 生成对抗模仿学习
[HZA18] 软演员-评论家：带有随机演员的离策略最大熵深度强化学习
[HZH18] 软演员-评论家算法及其应用
[KAD18] 判别器-演员-评论家：解决对抗式模仿学习中的样本低效与奖励偏差问题
[KP18] 基于核均值嵌入的模仿学习
[ORH21] 对抗式模仿学习中什么才是关键？
[P91] 用于自主导航的人工神经网络高效训练
[RDL19] SQIL：基于稀疏奖励的强化学习式模仿学习
[SCB21] 矩与匹配：一种用于弥合模仿差距的博弈论框架
[WCA19] 随机专家蒸馏：基于专家策略支持估计的模仿学习
[XD19] 正例-未标记奖励学习

imitation-learning 快速上手指南

本指南帮助中国开发者快速部署并运行基于深度模仿学习（Deep Imitation Learning）的开源工具库。该库实现了多种主流模仿学习算法（如 GAIL, DRIL, AdRIL, PWIL, RED 等），基于 SAC 强化学习算法，并在 Gym MuJoCo 环境中进行了基准测试。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。
• Python 版本: 建议 Python 3.8 或更高版本。
• 核心依赖:
  • PyTorch：深度学习框架。
  • OpenAI Gym：强化学习环境接口。
  • D4RL：提供专家演示数据集（需安装 d4rl 包）。
  • Hydra：用于配置管理。
• 可选依赖 (仅用于超参数优化):
  • Ax 及 Hydra Ax Sweeper 插件。

国内加速建议： 安装 PyTorch 时，建议使用清华或中科大镜像源以加快下载速度。例如： pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库并进入目录（假设已获取源码）：

   git clone <repository_url>
   cd imitation-learning
   

2. 使用 pip 安装所有依赖项。为提升下载速度，推荐使用国内镜像源：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注意：如果自动安装失败，请手动安装核心包：

   pip install torch gym d4rl hydra-core -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本工具通过 train.py 脚本启动训练。支持多种算法（AdRIL, BC, DRIL, GAIL, GMMIL, PWIL, RED, SAC）和环境（ant, halfcheetah, hopper, walker2d）。

1. 运行单个算法

最基本的运行命令格式如下：

python train.py algorithm=<ALG> env=<ENV>

• <ALG>: 替换为算法名称，例如 GAIL, BC, DRIL, PWIL 等。
• <ENV>: 替换为环境名称，例如 hopper, halfcheetah 等。

示例：在 Hopper 环境中运行 GAIL 算法：

python train.py algorithm=GAIL env=hopper

训练结果将保存在 outputs/<ALGO>_<ENV>/<日期时间> 目录下。

2. 使用预调优的超参数

为了获得更好的复现效果，可以使用针对特定轨迹数量优化过的超参数配置：

python train.py algorithm=AdRIL optimised_hyperparameters=AdRIL_5_trajectories env=halfcheetah

3. 并行运行所有环境

若需在所有支持的环境中并行运行同一算法：

python train_all.py algorithm=<ALG>

示例：

python train_all.py algorithm=RED

4. 超参数搜索 (可选)

使用 -m 标志进行简单的超参数网格搜索：

python train.py -m algorithm=PWIL env=walker2d reinforcement.discount=0.97,0.98,0.99

更多高级配置（如奖励函数类型、损失函数选择等）可参考 conf/config.yaml 及 conf/algorithm/<ALG>.yaml 文件。