使用与 Gym 库兼容的经典 GridWorld 和 PuckWorld 环境学习强化学习。

我编写了几个基础类，用于描述智能体与环境交互过程中发生的事件。此外，为了让强化学习初学者更好地理解经典强化学习算法在离散观测空间中的工作原理，我还实现了两个经典环境：GridWorld 和 PuckWorld。

你可以将这两个环境复制到你的 Gym 库中，只需进行少量修改，它们就能像 Gym 中内置的环境一样使用。

请进入 子文件夹 “reinforce” 查看整个项目的组织结构：

core.py

在这个文件中，你会找到一些用于建模强化学习所需对象的核心类。它们包括：

Transition

存储描述智能体状态转移的信息。Transition 是 Episode 的基本单元。

Episode

存储智能体经历的一系列状态转移，直到达到某个终止状态。

Experience

存储一系列 Episode。Experience 有一个容量限制，并提供采样方法，可以从其记忆中随机选择一定数量的状态转移。

Agent

这是所有为特定强化学习算法实现的智能体的基类。在 Agent 类中，“act” 函数封装了与智能体交互的环境的 step() 方法。你可以通过继承这个类来实现自己的智能体类。

agents.py

在这个文件中，你会找到一些已经为特定强化学习算法实现的智能体类。随着我的实践，更多的智能体类将会被添加到这个文件中。目前，你可以找到使用 Sarsa、Q-learning 以及 Sarsa(λ) 算法的智能体。

approximator.py

在这里，你可以找到一些类似于神经网络的类。没错，深度神经网络在强化学习算法中被用作函数近似器，这就是所谓的深度强化学习。你会看到不同类型的智能体使用不同类型的函数近似器。

gridworld.py

这里实现了一个基础的 GridWorld 类，用于生成 David Silver 强化学习课程中使用的更具体的 GridWorld 环境，例如：

• 简单的 10×7 格子世界
• 多风的格子世界
• 随机漫步
• 悬崖漫步
• 头骨与宝藏环境，用于说明智能体可以从随机策略中受益，而确定性策略可能会导致无限循环。

你只需向其初始化函数传递不同的参数，就可以构建属于自己的格子世界对象。更多关于如何生成特定格子世界环境对象的详细信息，请访问 这里。

puckworld.py

这是另一个名为“PuckWorld”的经典环境，其灵感来源于 ReinforceJS。感谢 Karpathy。 与具有一维离散观测和动作空间的 GridWorld 环境不同，PuckWorld 拥有六维的连续观测状态空间，以及一个也可以轻松转换为连续动作空间的离散动作空间。

PuckWorld 被认为是使用深度 Q 学习网络训练智能体的经典环境之一。

examples

这里提供了几个独立的 .py 文件，帮助你在不使用上述类的情况下理解强化学习算法。

你还可以在这个文件夹中找到利用动态规划实现的策略迭代和值迭代的实现。

希望你喜欢这些类，并期待你为这个项目做出贡献。

作者：叶强。

日期：2017年8月16日

许可证：MIT

Reinforce 快速上手指南

环境准备

• 系统要求：支持 Python 3.6 及以上版本的任意操作系统（Windows、Linux、macOS）
• 前置依赖：
  • gym：用于兼容经典环境
  • numpy：用于数值计算
  • matplotlib（可选）：用于可视化训练结果

推荐使用国内镜像源安装依赖，以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库到本地：

git clone https://github.com/qqiang00/reinforce.git

2. 进入项目目录并安装依赖：

cd reinforce
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 将 gridworld.py 和 puckworld.py 复制到你的 Gym 库中，以便与 Gym 兼容。例如：

cp reinforce/gridworld.py /path/to/gym/gym/envs/
cp reinforce/puckworld.py /path/to/gym/gym/envs/

基本使用

以下是一个最简单的使用示例，演示如何加载 GridWorld 环境并运行一个随机策略：

import gym
from reinforce.gridworld import GridWorld

# 创建环境
env = gym.make('GridWorld-v0')

# 重置环境
state = env.reset()

# 运行一个随机策略
for _ in range(100):
    action = env.action_space.sample()  # 随机选择动作
    next_state, reward, done, info = env.step(action)
    if done:
        break

env.close()

你也可以通过 reinforce 包中的 agents.py 文件实现更复杂的 RL 算法，如 Sarsa、Q-learning 等。