此代码库现已废弃！

请查看我们在 OpenAI 发布的全新、更简单、性能更好且功能更完善的实现：

https://github.com/openai/baselines

（向下滚动可查看已废弃版本的文档）

使用 TensorFlow 的强化学习

快速入门

请在 notebooks 文件夹中查看 Karpathy 的游戏示例。

上图展示的是由 DeepQ 控制器学习到的一种策略。可用的动作包括向上、向下、向左或向右加速。奖励信号为：绿色方块得 +1 分，红色方块得 -1 分，橙色方块得 -5 分。

环境要求

• future==0.15.2
• euclid==0.1
• inkscape（用于制作动画 GIF）

整体架构

tf_rl 包含控制器和模拟器，可以通过 simulate 函数将它们组合起来使用。

使用人类控制器

想亲自控制模拟过程来玩一玩吗？当然可以！只需在您的模拟中使用 tf_rl.controller.HumanController 即可。 要在终端中运行命令：

python3 tf_rl/controller/human_controller.py

此外，您还需要在本地运行一个 Redis 服务器才能使该功能正常工作。

编写自定义控制器

要编写自己的控制器，需要定义一个包含以下三个方法的控制器类：

• action(self, observation)：根据当前观测值（通常是一个数值张量）返回要执行的动作。
• store(self, observation, action, reward, newobservation)：每次从 observation 转移到 newobservation 时调用此方法。转移是执行 action 的结果，并伴有相应的 reward。
• training_step(self)：如果您的控制器需要训练，则在此处进行，但应尽量缩短时间，因为该方法大约会在每次执行动作后被调用一次。

编写自定义模拟器

要编写自己的模拟器，需要定义一个包含以下四个方法的模拟器类：

• observe(self)：返回当前的观测值。
• collect_reward(self)：返回自上次调用以来累计的奖励。
• perform_action(self, action)：更新内部状态以反映已执行 action 的事实。
• step(self, dt)：更新内部状态，模拟经过了 dt 时间单位的模拟时间。
• to_html(self, info=[])：生成游戏的 HTML 可视化界面。info 是一个可选参数，用于传递需要与可视化一同显示的字符串列表。

根据模拟生成 GIF 动画

simulate 方法接受 save_path 参数，该参数指定一个文件夹，所有连续的图像都将存储在其中。 要将这些图像转换为 GIF，请使用 scripts/make_gif.sh PATH 命令，其中 PATH 应与您传递给 save_path 参数的路径相同。

tensorflow-deepq 快速上手指南

⚠️ 重要提示：本仓库（tensorflow-deepq）已过时（obsolete）。 OpenAI 已发布更简单、性能更好且功能更完整的实现方案，强烈建议开发者直接使用新版： https://github.com/openai/baselines

以下指南仅针对希望了解或运行此旧版本代码的开发者。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 可能需要额外配置）
• Python 版本：Python 3
• 核心依赖：
  • future==0.15.2
  • euclid==0.1
  • inkscape（用于生成动画 GIF，需单独安装系统级工具）
• 其他服务：若使用人工控制器（HumanController），需在本地运行 Redis 服务器。

安装步骤

1. 克隆仓库

   git clone https://github.com/openai/tensorflow-deepq.git
   cd tensorflow-deepq
   

2. 安装 Python 依赖 建议使用虚拟环境，然后安装所需包：

   pip install future==0.15.2 euclid==0.1
   # 如果国内下载速度慢，可使用清华源：
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple future==0.15.2 euclid==0.1
   

3. 安装系统工具 (Inkscape)

   • Ubuntu/Debian: sudo apt-get install inkscape
   • macOS (Homebrew): brew install inkscape

4. 启动 Redis (可选，仅用于人工控制演示)

   redis-server
   

基本使用

1. 运行示例游戏

最快速的体验方式是运行 notebooks 文件夹中的 Karpathy 游戏示例。该示例展示了一个 DeepQ 控制器学习到的策略：

• 操作：向上、下、左、右加速。
• 奖励机制：遇到绿色物体 +1 分，红色 -1 分，橙色 -5 分。

您可以直接在 Jupyter Notebook 中打开并运行相关脚本，或通过命令行调用模拟函数。

2. 使用人工控制器 (Human Controller)

如果您想亲自控制仿真过程进行测试：

python3 tf_rl/controller/human_controller.py

注意：运行前请确保本地 Redis 服务已启动。

3. 开发自定义组件

编写自己的控制器 (Controller)

定义一个类并实现以下三个核心方法：

• action(self, observation): 接收观测值（通常为数字张量），返回要执行的动作。
• store(self, observation, action, reward, newobservation): 每次观察到状态转移时调用，用于存储经验数据。
• training_step(self): 执行训练步骤。该方法会被频繁调用（约每次动作执行时），因此必须保持高效。

编写自己的仿真环境 (Simulation)

定义一个仿真类并实现以下四个核心方法：

• observe(self): 返回当前观测值。
• collect_reward(self): 返回自上次调用以来累积的奖励。
• perform_action(self, action): 更新内部状态以反映动作的执行。
• step(self, dt): 更新内部状态，模拟经过 dt 时间后的变化。
• to_html(self, info=[]): (可选) 生成游戏的 HTML 可视化内容。

4. 生成演示 GIF

simulate 方法支持 save_path 参数，用于保存连续帧图片。生成 GIF 的命令如下：

scripts/make_gif.sh PATH

将 PATH 替换为您传递给 save_path 参数的文件夹路径。