irl-imitation

使用 Python/Tensorflow 实现选定的逆强化学习（Inverse Reinforcement Learning, IRL）算法。

$ python demo.py

已实现的算法

• 线性逆强化学习 (Ng & Russell, 2000)
• 最大熵逆强化学习 (Ziebart 等人，2008)
• 最大熵深度逆强化学习 (Wulfmeier 等人，2015)

已实现的马尔可夫决策过程与求解器

• 2D 网格世界
• 1D 网格世界
• 值迭代

如果您在出版物中使用本软件，请使用以下 BibTeX 条目引用它：

@misc{lu2017irl-imitation,
  author = {Lu, Yiren},
  doi = {10.5281/zenodo.6796157},
  month = {7},
  title = {{Implementations of inverse reinforcement learning algorithms in Python/Tensorflow}},
  url = {https://github.com/yrlu/irl-imitation},
  year = {2017}
}

依赖项

• python 2.7
• cvxopt
• Tensorflow 0.12.1
• matplotlib

线性逆强化学习

• 遵循 Ng & Russell 2000 年的论文：逆强化学习算法，算法 1

$ python linear_irl_gridworld.py --act_random=0.3 --gamma=0.5 --l1=10 --r_max=10

最大熵逆强化学习

（此实现很大程度上受 Matthew Alger 的 maxent 实现 影响）

• 遵循 Ziebart 等人 2008 年的论文：最大熵逆强化学习
• 运行 $ python maxent_irl_gridworld.py --help 查看选项描述

$ python maxent_irl_gridworld.py --height=10 --width=10 --gamma=0.8 --n_trajs=100 --l_traj=50 --no-rand_start --learning_rate=0.01 --n_iters=20

$ python maxent_irl_gridworld.py --gamma=0.8 --n_trajs=400 --l_traj=50 --rand_start --learning_rate=0.01 --n_iters=20

最大熵深度逆强化学习

• 遵循 Wulfmeier 等人 2015 年的论文：最大熵深度逆强化学习。实现了 FC（全连接）版本。该实现并未完全遵循论文中提出的模型。应用了一些调整，包括 elu 激活函数、梯度裁剪、l2 正则化等。
• 运行 $ python deep_maxent_irl_gridworld.py --help 查看选项描述

$ python deep_maxent_irl_gridworld.py --learning_rate=0.02 --n_trajs=200 --n_iters=20

MIT 许可证

irl-imitation 快速上手指南

irl-imitation 是一个基于 Python 和 TensorFlow 实现的逆强化学习（Inverse Reinforcement Learning, IRL）工具包，支持线性 IRL、最大熵 IRL 及深度最大熵 IRL 等算法。

环境准备

本项目依赖较旧的版本，建议在虚拟环境中运行以避免冲突。

• Python: 2.7
• TensorFlow: 0.12.1
• 其他依赖: cvxopt, matplotlib

提示：由于 TensorFlow 0.12.1 版本较老，若从官方源下载困难，建议使用国内镜像源（如清华源）进行安装。

安装步骤

1. 克隆项目

   $ git clone https://github.com/yrlu/irl-imitation.git
   $ cd irl-imitation
   

2. 安装依赖 确保已激活 Python 2.7 环境，然后安装所需库：

   $ pip install cvxopt tensorflow==0.12.1 matplotlib
   

基本使用

1. 运行演示

直接运行主脚本查看效果：

$ python demo.py

2. 运行特定算法

根据需求选择以下脚本之一运行：

• 线性逆强化学习 (Linear IRL)

  $ python linear_irl_gridworld.py --act_random=0.3 --gamma=0.5 --l1=10 --r_max=10
  

• 最大熵逆强化学习 (Max Entropy IRL)

  $ python maxent_irl_gridworld.py --height=10 --width=10 --gamma=0.8 --n_trajs=100 --l_traj=50 --no-rand_start --learning_rate=0.01 --n_iters=20
  

• 深度最大熵逆强化学习 (Deep Max Entropy IRL)

  $ python deep_maxent_irl_gridworld.py --learning_rate=0.02 --n_trajs=200 --n_iters=20
  

如需了解具体参数含义，可运行脚本添加 --help 参数查看。