逆强化学习

作为COMP3710课程的一部分，实现了部分逆强化学习（IRL）算法，由Mayank Daswani博士和Marcus Hutter博士指导。我的最终报告可在这里查阅，其中详细描述了所实现的算法。

如果您在工作中使用了此代码，可以按如下方式引用：

@misc{alger16,
  author       = {Matthew Alger},
  title        = {Inverse Reinforcement Learning},
  year         = 2016,
  doi          = {10.5281/zenodo.555999},
  url          = {https://doi.org/10.5281/zenodo.555999}
}

已实现的算法

• 线性规划逆强化学习。源自Ng & Russell, 2000。包括小状态空间和大状态空间的线性规划逆强化学习。
• 最大熵逆强化学习。源自Ziebart et al., 2008。
• 深度最大熵逆强化学习。源自Wulfmeier et al., 2015；基于原始推导。

此外，还实现了以下MDP领域：

• Gridworld（Sutton, 1998）
• Objectworld（Levine et al., 2011）

需求

• NumPy
• SciPy
• CVXOPT
• Theano
• MatPlotLib（用于示例）

模块文档

以下是各模块导出的函数和类的简要列表。完整的文档包含在每个函数或类的docstring中；此处仅列出那些 intended for use outside the module 的函数和类。

linear_irl

实现线性规划逆强化学习（Ng & Russell, 2000）。

函数：

• irl(n_states, n_actions, transition_probability, policy, discount, Rmax, l1)：通过逆强化学习找到奖励函数。
• large_inverseRL(value, transition_probability, feature_matrix, n_states, n_actions, policy)：在大状态空间中找到奖励。

maxent

实现最大熵逆强化学习（Ziebart et al., 2008）。

函数：

• irl(feature_matrix, n_actions, discount, transition_probability, trajectories, epochs, learning_rate)：根据给定轨迹找到奖励函数。
• find_svf(feature_matrix, n_actions, discount, transition_probability, trajectories, epochs, learning_rate)：从轨迹中找到状态访问频率。
• find_feature_expectations(feature_matrix, trajectories)：计算给定轨迹的特征期望值，即平均路径特征向量。
• find_expected_svf(n_states, r, n_actions, discount, transition_probability, trajectories)：使用Ziebart et al. 2008中的算法1，找到预期的状态访问频率。
• expected_value_difference(n_states, n_actions, transition_probability, reward, discount, p_start_state, optimal_value, true_reward)：计算预期价值差异，用以评估恢复的奖励函数的好坏。

deep_maxent

基于Ziebart et al., 2008和Wulfmeier et al., 2015，利用Theano的符号方法实现深度最大熵逆强化学习。

函数：

• irl(structure, feature_matrix, n_actions, discount, transition_probability, trajectories, epochs, learning_rate, initialisation="normal", l1=0.1, l2=0.1)：根据给定轨迹找到奖励函数。
• find_svf(n_states, trajectories)：从轨迹中找到状态访问频率。
• find_expected_svf(n_states, r, n_actions, discount, transition_probability, trajectories)：使用Ziebart et al. 2008中的算法1，找到预期的状态访问频率。

value_iteration

根据策略计算其对应的值函数。基于Sutton & Barto, 1998。

函数：

• value(policy, n_states, transition_probabilities, reward, discount, threshold=1e-2)：计算给定策略的值函数。
• optimal_value(n_states, n_actions, transition_probabilities, reward, discount, threshold=1e-2)：计算最优值函数。
• find_policy(n_states, n_actions, transition_probabilities, reward, discount, threshold=1e-2, v=None, stochastic=True)：找到最优策略。

mdp

gridworld

实现网格世界MDP。

类、实例属性、方法：

• Gridworld(grid_size, wind, discount): 网格世界MDP。
  • actions: 动作的元组，形式为(dx, dy)。
  • n_actions: 动作数量。整数。
  • n_states: 状态数量。整数。
  • grid_size: 网格大小。整数。
  • wind: 随机移动的概率。浮点数。
  • discount: MDP折扣因子。浮点数。
  • transition_probability: 形状为(n_states, n_actions, n_states)的NumPy数组，其中transition_probability[si, a, sk]表示在动作a下从状态si转移到状态sk的概率。
  • feature_vector(i, feature_map="ident"): 获取与状态整数i关联的特征向量。
  • feature_matrix(feature_map="ident"): 获取该网格世界的特征矩阵。
  • int_to_point(i): 将状态整数转换为对应的坐标。
  • point_to_int(p): 将坐标转换为对应的状态整数。
  • neighbouring(i, k): 判断两个点是否相邻。如果两点相同，也返回True。
  • reward(state_int): 处于状态state_int时的奖励。
  • average_reward(n_trajectories, trajectory_length, policy): 计算按照给定策略在n_paths条轨迹上获得的平均总奖励。
  • optimal_policy(state_int): 该网格世界的最优策略。
  • optimal_policy_deterministic(state_int): 该网格世界的确定性最优策略。
  • generate_trajectories(n_trajectories, trajectory_length, policy, random_start=False): 按照给定策略生成n_trajectories条长度为trajectory_length的轨迹。

objectworld

实现Levine等2011年描述的对象世界MDP。

类、实例属性、方法：

• OWObject(inner_colour, outer_colour): 对象世界中的对象。

  • inner_colour: 对象的内层颜色。整数。
  • outer_colour: 对象的外层颜色。整数。

• Objectworld(grid_size, n_objects, n_colours, wind, discount): 对象世界MDP。

  • actions: 动作的元组，形式为(dx, dy)。
  • n_actions: 动作数量。整数。
  • n_states: 状态数量。整数。
  • grid_size: 网格大小。整数。
  • n_objects: 世界中对象的数量。整数。
  • n_colours: 可用于给对象上色的颜色种类数。整数。
  • wind: 随机移动的概率。浮点数。
  • discount: MDP折扣因子。浮点数。
  • objects: 世界中对象的集合。
  • transition_probability: 形状为(n_states, n_actions, n_states)的NumPy数组，其中transition_probability[si, a, sk]表示在动作a下从状态si转移到状态sk的概率。
  • feature_vector(i, discrete=True): 获取与状态整数i关联的特征向量。
  • feature_matrix(discrete=True): 获取该网格世界的特征矩阵。
  • int_to_point(i): 将状态整数转换为对应的坐标。
  • point_to_int(p): 将坐标转换为对应的状态整数。
  • neighbouring(i, k): 判断两个点是否相邻。如果两点相同，也返回True。
  • reward(state_int): 处于状态state_int时的奖励。
  • average_reward(n_trajectories, trajectory_length, policy): 计算按照给定策略在n_paths条轨迹上获得的平均总奖励。
  • generate_trajectories(n_trajectories, trajectory_length, policy): 按照给定策略生成n_trajectories条长度为trajectory_length的轨迹。

Inverse-Reinforcement-Learning 快速上手指南

本指南帮助中国开发者快速部署并使用 Inverse-Reinforcement-Learning 项目，该项目实现了多种逆向强化学习（IRL）算法及经典的 MDP 环境（如 Gridworld 和 Objectworld）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python 版本: 建议 Python 3.6+ (注意：由于依赖 Theano，部分旧版代码可能对 Python 版本敏感，若遇兼容性问题可尝试 Python 3.7)
• 核心依赖库:
  • NumPy: 数值计算基础
  • SciPy: 科学计算工具
  • CVXOPT: 凸优化求解器 (用于线性规划 IRL)
  • Theano: 符号数学库 (用于深度最大熵 IRL)
  • MatPlotLib: 可视化绘图 (用于运行示例)

国内加速建议：安装依赖时，推荐使用清华或阿里云镜像源以提升下载速度。

安装步骤

1. 克隆项目代码

git clone https://github.com/mbalmer/Inverse-Reinforcement-Learning.git
cd Inverse-Reinforcement-Learning

2. 安装 Python 依赖

使用 pip 安装所需库。为确保下载速度，以下命令配置了清华大学开源软件镜像源：

pip install numpy scipy cvxopt matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装 Theano: 由于 Theano 已停止官方维护且安装较为复杂，建议直接通过 pip 安装其最后稳定版，或根据具体系统参考 Theano 官方文档配置 GPU 支持（如需加速深度学习部分）：

pip install theano -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果在安装 cvxopt 时遇到编译错误，请确保系统已安装 C/C++ 编译器（如 Linux 下的 build-essential 或 Windows 下的 Visual Studio Build Tools）。

基本使用

本项目模块化设计清晰，主要包含 linear_irl (线性规划), maxent (最大熵), deep_maxent (深度最大熵) 以及 MDP 环境 (gridworld, objectworld)。

以下是一个最简单的使用示例：构建一个 Gridworld 环境，生成演示轨迹，并使用 最大熵 IRL (MaxEnt) 算法恢复奖励函数。

示例代码：基于最大熵的 Gridworld IRL

import numpy as np
from mdp.gridworld import Gridworld
from maxent import irl as maxent_irl

# 1. 初始化 Gridworld 环境
# 参数：网格大小 5x5, 随机风概率 0.1, 折扣因子 0.9
env = Gridworld(grid_size=5, wind=0.1, discount=0.9)

# 2. 获取环境的转移概率和特征矩阵
transition_prob = env.transition_probability
feature_matrix = env.feature_matrix()

# 3. 生成专家演示轨迹 (Trajectories)
# 这里使用环境的最优策略来模拟"专家"行为
n_trajectories = 50
trajectory_length = 20
policy = env.optimal_policy_deterministic
trajectories = env.generate_trajectories(n_trajectories, trajectory_length, policy)

# 4. 运行最大熵逆向强化学习算法
# 参数说明：
# feature_matrix: 状态特征矩阵
# n_actions: 动作数量
# discount: 折扣因子
# transition_probability: 转移概率矩阵
# trajectories: 专家演示轨迹
# epochs: 训练迭代次数
# learning_rate: 学习率
reward_weights = maxent_irl(
    feature_matrix=feature_matrix,
    n_actions=env.n_actions,
    discount=env.discount,
    transition_probability=transition_prob,
    trajectories=trajectories,
    epochs=1000,
    learning_rate=0.01
)

print("恢复的奖励权重:", reward_weights)

# 5. (可选) 将权重映射回网格进行可视化
recovered_reward_grid = np.dot(feature_matrix, reward_weights).reshape((env.grid_size, env.grid_size))
print("恢复的奖励网格:\n", recovered_reward_grid)

模块功能简述

• linear_irl: 适用于小规模或大规模状态空间的线性规划方法 (Ng & Russell, 2000)。调用 irl 或 large_inverseRL。
• maxent: 经典最大熵 IRL (Ziebart et al., 2008)。核心函数为 irl，需输入轨迹和特征矩阵。
• deep_maxent: 基于 Theano 的深度最大熵 IRL (Wulfmeier et al., 2015)，适用于更复杂的非线性奖励函数拟合。
• mdp/gridworld & mdp/objectworld: 内置的标准测试环境，可直接实例化并获取 transition_probability、feature_matrix 及生成 trajectories。