用于 Keras 的深度强化学习

是什么？

keras-rl 用 Python 实现了一些最先进的深度强化学习算法，并与深度学习库 Keras 无缝集成。

此外，keras-rl 可以开箱即用地与 OpenAI Gym 集成。这意味着评估和尝试不同的算法变得非常容易。

当然，你可以根据自己的需求扩展 keras-rl。你可以使用内置的 Keras 回调函数和指标，也可以定义自己的回调和指标。 更进一步地，只需简单地扩展一些抽象类，就可以轻松实现你自己的环境甚至算法。相关文档可在 在线 查阅。

包含哪些内容？

截至今日，已实现了以下算法：

• 深度 Q 学习 (DQN) [1], [2]
• 双重 DQN [3]
• 深度确定性策略梯度 (DDPG) [4]
• 连续 DQN (CDQN 或 NAF) [6]
• 交叉熵方法 (CEM) [7], [8]
• 对弈网络 DQN (Dueling DQN) [9]
• 深度 SARSA [10]
• 异步优势演员-评论家 (A3C) [5]
• 近端策略优化算法 (PPO) [11]

你可以在 文档 中找到关于每个智能体的更多信息。

安装

• 从 PyPI 安装 Keras-RL（推荐）：

pip install keras-rl

• 从 GitHub 源代码安装：

git clone https://github.com/keras-rl/keras-rl.git
cd keras-rl
python setup.py install

示例

如果你想运行示例，还需要安装：

• OpenAI 的 gym：安装说明
• h5py：只需运行 pip install h5py

对于 Atari 示例，你还需要：

• Pillow：pip install Pillow
• gym[atari]：gym 的 Atari 模块。使用 pip install gym[atari]

安装完成后，你可以尝试一个简单的示例：

python examples/dqn_cartpole.py

这是一个非常简单的示例，应该能较快收敛，因此是入门的好方式！它还会在训练过程中可视化游戏画面，让你可以看到智能体是如何学习的。多酷啊！

一些示例权重可在 keras-rl-weights 上找到。

如果你有任何问题或遇到困难，请提交一个问题，或者更好的是，自己修复问题并提交拉取请求！

外部项目

• 星际争霸 II 学习环境

你在项目中使用了 Keras-RL 吗？请打开一个 PR 并分享出来！

可视化训练指标

要查看训练进度图表并比较不同运行的结果，可以运行 pip install wandb，并将 WandbLogger 回调添加到你的智能体的 fit() 调用中：

from rl.callbacks import WandbLogger

...

agent.fit(env, nb_steps=50000, callbacks=[WandbLogger()])

更多详细信息和选项，请参阅 W&B 文档。

引用

如果你在研究中使用了 keras-rl，可以按如下方式引用：

@misc{plappert2016kerasrl,
    author = {Matthias Plappert},
    title = {keras-rl},
    year = {2016},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {\url{https://github.com/keras-rl/keras-rl}},
}

参考文献

1. 使用深度强化学习玩 Atari 游戏，Mnih 等，2013 年
2. 通过深度强化学习实现人类水平的控制，Mnih 等，2015 年
3. 带有双重 Q 学习的深度强化学习，van Hasselt 等，2015 年
4. 深度强化学习中的连续控制，Lillicrap 等，2015 年
5. 深度强化学习的异步方法，Mnih 等，2016 年
6. 基于模型加速的连续深度 Q 学习，Gu 等，2016 年
7. 使用噪声交叉熵方法学习俄罗斯方块，Szita 等，2006 年
8. 深度强化学习（MLSS 讲义笔记），Schulman，2016 年
9. 深度强化学习的对弈网络架构，Wang 等，2016 年
10. 强化学习：导论，Sutton 和 Barto，2011 年
11. 近端策略优化算法，Schulman 等，2017 年

keras-rl 快速上手指南

keras-rl 是一个基于 Python 的深度强化学习库，它与深度学习框架 Keras 无缝集成，并原生支持 OpenAI Gym 环境。该库实现了多种主流算法（如 DQN、DDPG、Double DQN 等），让评估和尝试不同算法变得简单高效。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6+
• 前置依赖：
  • Keras：深度学习后端（需先安装 TensorFlow 或 Theano）。
  • OpenAI Gym：用于提供强化学习环境。
  • h5py：用于模型权重存储。
  • (可选) Atari 支持：若需运行 Atari 游戏示例，需安装 Pillow 和 gym[atari]。

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <包名>

安装步骤

您可以选择通过 PyPI 直接安装（推荐），或从 GitHub 源码安装。

方式一：通过 PyPI 安装（推荐）

pip install keras-rl

国内用户建议使用镜像源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras-rl

方式二：从 GitHub 源码安装

git clone https://github.com/keras-rl/keras-rl.git
cd keras-rl
python setup.py install

安装示例运行依赖

若要运行官方提供的示例代码，还需安装以下组件：

1. 安装 Gym 和 h5py：

   pip install gym h5py
   

   (国内镜像版：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym h5py)

2. (可选) 安装 Atari 游戏支持：

   pip install Pillow gym[atari]
   

基本使用

安装完成后，您可以立即运行一个简单的示例来体验。以下示例使用 DQN 算法训练 CartPole（倒立摆）环境。

运行示例

在终端执行以下命令：

python examples/dqn_cartpole.py

说明：

• 这是一个非常基础的示例，收敛速度较快，适合新手入门。
• 运行过程中会弹出窗口可视化游戏画面，您可以实时观察智能体（Agent）的学习过程。
• 部分预训练权重可在 keras-rl-weights 获取。

代码核心逻辑简述

如果您想在自己的代码中使用 keras-rl，核心流程通常包含以下步骤：

1. 创建 Gym 环境。
2. 构建 Keras 模型作为神经网络基础。
3. 实例化 RL 算法代理（如 DQNAgent）。
4. 调用 fit() 方法开始训练。

以下是使用 Wandb 记录训练指标的回调示例（需先 pip install wandb）：

from rl.callbacks import WandbLogger

# ... 初始化 agent 和 env 后 ...

agent.fit(env, nb_steps=50000, callbacks=[WandbLogger()])

更多详细用法和算法参数请参考 官方文档。