批量PPO

本项目提供了用于强化学习的优化基础设施。它扩展了 OpenAI Gym 接口 以支持多个并行环境，并允许使用 TensorFlow 实现智能体，从而进行批处理计算。作为起点，我们提供了 BatchPPO，这是 近端策略优化 的优化实现。

如果您在研究中使用了本项目的代码，请引用 TensorFlow Agents 论文：

@article{hafner2017agents,
  title={TensorFlow Agents: Efficient Batched Reinforcement Learning in TensorFlow},
  author={Hafner, Danijar and Davidson, James and Vanhoucke, Vincent},
  journal={arXiv preprint arXiv:1709.02878},
  year={2017}
}

依赖项：Python 2/3、TensorFlow 1.3+、Gym、ruamel.yaml

使用说明

克隆仓库后，通过以下命令运行 PPO 算法：

python3 -m agents.scripts.train --logdir=/path/to/logdir --config=pendulum

要使用的算法由配置文件定义，此处的 pendulum 配置使用了内置的 PPO 实现。更多预定义配置可在 agents/scripts/configs.py 中查看。

若要恢复之前启动的实验，只需在最后一条命令中添加 --timestamp=<time> 标志，并将时间戳包含在运行目录名中即可。

要可视化指标，请在另一个终端启动 TensorBoard，然后在浏览器中访问 http://localhost:2222：

tensorboard --logdir=/path/to/logdir --port=2222

要渲染视频并收集 OpenAI Gym 统计数据以上传到排行榜，请执行以下命令：

python3 -m agents.scripts.visualize --logdir=/path/to/logdir/<time>-<config> --outdir=/path/to/outdir/

修改建议

我们发布此项目作为起点，旨在简化新强化学习思想的实现。以下是修改代码时可以参考的文件：

文件	内容
scripts/configs.py	指定任务和算法的实验配置。
scripts/networks.py	神经网络模型。
scripts/train.py	包含训练设置的可执行文件。
algorithms/ppo/ppo.py	PPO 算法的 TensorFlow 图。

要运行单元测试和代码检查，请执行以下命令：

python2 -m unittest discover -p "*_test.py"
python3 -m unittest discover -p "*_test.py"
python3 -m pylint agents

如有其他问题，请在 GitHub 上提交 issue。

实现细节

我们为 OpenAI Gym 环境提供了一个批处理接口，该接口与 TensorFlow 完全集成，以实现高效的算法实现。这主要通过以下核心组件实现：

• agents.tools.wrappers.ExternalProcess 是一个环境包装器，它在外部进程中构建 OpenAI Gym 环境。对 step() 和 reset() 的调用以及属性访问都会被转发到该进程，并等待结果返回。这种方式允许在不受到 Python 全局解释器锁限制的情况下并行运行多个环境。
• agents.tools.BatchEnv 将 OpenAI Gym 接口扩展到批量环境。它组合了多个 OpenAI Gym 环境，其中 step() 接受一批动作，并返回一批观测值、奖励、完成标志和信息对象。如果各个环境运行在独立的进程中，则它们会并行执行步进操作。
• agents.tools.InGraphBatchEnv 将批量环境集成到 TensorFlow 图中，并使其 step() 和 reset() 函数作为操作可供调用。当前批次的观测值、上一步动作、奖励和完成标志会被存储在变量中，并以张量的形式提供。
• agents.tools.simulate() 将图内批量环境的步进操作与强化学习算法融合为一个单独的操作，以便在训练循环中调用。这减少了会话调用次数，并为未来算法的训练提供了一种简单的方法。

要理解所有代码，请熟悉 TensorFlow 的控制流操作，尤其是 tf.cond()、tf.scan() 和 tf.control_dependencies()。

免责声明

本项目并非 Google 官方产品。

Batch PPO 快速上手指南

Batch PPO 是一个基于 TensorFlow 的强化学习优化框架，它扩展了 OpenAI Gym 接口以支持多环境并行运行，并提供了近端策略优化（PPO）算法的高效实现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（推荐）
• Python 版本：Python 2.7 或 Python 3.x
• 核心依赖：
  • TensorFlow 1.3 或更高版本
  • OpenAI Gym
  • ruamel.yaml

国内加速建议： 安装 Python 依赖时，建议使用清华源或阿里源以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow gym ruamel.yaml

安装步骤

1. 克隆仓库 将项目代码克隆到本地：

   git clone https://github.com/tensorflow/agents.git
   cd agents
   

2. 安装依赖 确保已安装上述提到的 Python 库。如果尚未安装，可执行：

   pip install tensorflow>=1.3 gym ruamel.yaml
   

基本使用

1. 启动训练

使用预配置的 pendulum 任务启动 PPO 算法训练。请替换 /path/to/logdir 为您本地的日志存储路径：

python3 -m agents.scripts.train --logdir=/path/to/logdir --config=pendulum

• 恢复训练：如果需要从中断处继续训练，添加 --timestamp 参数并指定之前运行的时间戳目录名：

  python3 -m agents.scripts.train --logdir=/path/to/logdir --config=pendulum --timestamp=<time>
  

2. 可视化监控

打开一个新的终端窗口，启动 TensorBoard 来查看训练指标。浏览器访问 http://localhost:2222 即可看到图表：

tensorboard --logdir=/path/to/logdir --port=2222

3. 生成视频与统计

若要渲染训练视频并收集 OpenAI Gym 统计数据（用于上传排行榜），运行以下命令：

python3 -m agents.scripts.visualize --logdir=/path/to/logdir/<time>-<config> --outdir=/path/to/outdir/

4. 自定义开发

若需修改算法或网络结构，建议从以下文件入手：

• scripts/configs.py：定义实验任务和算法配置。
• scripts/networks.py：神经网络模型定义。
• algorithms/ppo/ppo.py：PPO 算法的 TensorFlow 计算图实现。