深度强化学习智能体

本仓库包含一系列用 TensorFlow 编写的强化学习算法。这里的 Jupyter Notebook 是为我正在 Medium 上连载的教程系列所配套编写的。如果你是强化学习的新手，建议先阅读每种算法对应的教程文章。

目前仓库中包含以下算法：

• Q-Table - 使用表格实现的 Q 学习，用于解决随机环境问题。
• Q-Network - 基于神经网络的 Q 学习实现，用于解决与 Q-Table 相同的环境问题。
• Simple-Policy - 无状态环境（如多臂老虎机问题）下的策略梯度方法实现。
• Contextual-Policy - 有状态环境（如上下文老虎机问题）下的策略梯度方法实现。
• Policy-Network - 基于神经网络的策略梯度智能体实现，能够解决包含状态、延迟奖励以及两种对立动作的完整强化学习问题（例如 CartPole 或 Pong）。
• Vanilla-Policy - 基于神经网络的纯策略梯度智能体实现，可处理包含状态、延迟奖励及任意数量动作的完整强化学习问题。
• Model-Network - 在 Policy-Network 算法基础上增加了一个单独的网络，用于建模环境动态。
• Double-Dueling-DQN - 结合 Double DQN 和 Dueling DQN 改进的深度 Q 网络实现，以提升稳定性和性能。
• Deep-Recurrent-Q-Network - 深度循环 Q 网络的实现，能够解决涉及部分可观测性的强化学习问题。
• Q-Exploration - 包含多种探索策略的 DQN 实现。这些策略包括：贪心策略、随机策略、ε-贪心策略、玻尔兹曼策略以及贝叶斯 Dropout 策略。
• A3C-Doom - 异步优势演员-评论家（A3C）算法的实现。该算法利用多个智能体协同优化策略。此实现可以解决 3D 环境中的强化学习问题，例如 VizDoom 挑战赛。

DeepRL-Agents 快速上手指南

DeepRL-Agents 是一个基于 TensorFlow 实现的强化学习算法集合，涵盖了从基础的 Q-Table 到先进的 A3C 等多种经典算法。本指南将帮助你快速搭建环境并运行示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux (推荐), macOS, 或 Windows
• Python 版本：Python 3.6+
• 核心依赖：
  • TensorFlow (1.x 版本，因项目较老，建议确认具体兼容性)
  • Jupyter Notebook / IPython
  • Gym (OpenAI Gym 用于模拟环境)
  • NumPy, Matplotlib

注意：由于该项目主要基于 TensorFlow 1.x 编写，建议在虚拟环境中安装 tensorflow==1.15.0 以获得最佳兼容性。国内用户可使用清华源加速安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/awjuliani/DeepRL-Agents.git
   cd DeepRL-Agents
   

2. 创建虚拟环境并安装依赖 推荐使用 conda 或 venv 隔离环境。以下以 pip 配合国内镜像源为例：

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   
   # 安装 TensorFlow 1.15 及其他基础依赖
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15.0 gym jupyter numpy matplotlib
   

   注：部分高级算法（如 A3C-Doom）可能需要额外安装 vizdoom，请参考对应 notebook 内的具体说明。

基本使用

本项目主要通过 Jupyter Notebook 进行教学和演示。每个算法对应一个 .ipynb 文件，包含了完整的代码实现、训练过程和结果可视化。

最简单的运行示例（Q-Table 算法）：

1. 启动 Jupyter Notebook：

   jupyter notebook
   

2. 在浏览器打开的界面中，进入 DeepRL-Agents 目录，找到并点击 Q-Learning Table.ipynb。

3. 在 Notebook 界面中，依次点击菜单栏的 Cell -> Run All，或者按 Shift + Enter 逐个单元格执行代码。

   你将看到代理（Agent）在简单的随机环境中通过查表法（Q-Table）进行学习，并实时输出奖励变化和策略收敛情况。

尝试其他算法： 熟悉流程后，你可以依次打开其他 Notebook 文件体验更复杂的模型，例如：

• Q-Network.ipynb：体验神经网络版的 Q-Learning。
• Policy-Network.ipynb：运行经典的 CartPole 平衡任务。
• Double-Dueling-DQN.ipynb：测试改进版的深度 Q 网络性能。