Tensorforce：用于应用强化学习的 TensorFlow 库

该项目已不再维护！

简介

Tensorforce 是一个开源的深度强化学习框架，强调模块化、灵活的库设计以及在研究和实践中简单易用的特点。Tensorforce 构建于 Google 的 TensorFlow 框架 之上，并且需要 Python 3。

Tensorforce 遵循一系列高层次的设计理念，使其与其他类似库有所区别：

• 模块化的组件式设计：功能实现力求尽可能通用和可配置，即使这可能会牺牲对原始论文细节的忠实复现。
• 强化学习算法与应用分离：算法对输入（状态/观测）和输出（动作/决策）的类型和结构，以及与应用环境的交互方式均不敏感。
• 完全基于 TensorFlow 的模型：整个强化学习逻辑，包括控制流，都由 TensorFlow 实现，从而能够生成独立于应用程序语言的可移植计算图，并便于模型的部署。

快速链接

• 文档 和 更新说明
• 联系方式 和 Gitter 论坛
• 基准测试 和 使用 Tensorforce 的项目
• 路线图 和 贡献指南
• GitHub 赞助 和 Liberapay

目录

• 安装
• 快速入门示例代码
• 命令行使用
• 特性
• 环境适配器
• 支持、反馈与捐赠
• 核心团队与贡献者
• 引用 Tensorforce

安装

Tensorforce 的稳定版本会定期发布到 PyPI，安装方法如下：

pip3 install tensorforce

若希望始终使用最新版本的 Tensorforce，可以安装 GitHub 上的版本：

git clone https://github.com/tensorforce/tensorforce.git
pip3 install -e tensorforce

关于 M1 Mac 的安装说明： 目前，作为 Tensorforce 核心依赖项的 TensorFlow 尚无法直接在 M1 Mac 上安装。请参考文档中的“[M1 Mac]”章节以获取解决方法。

环境需要额外的软件包，这些软件包有多种安装选项（ale、gym、retro、vizdoom、carla；或使用 envs 安装所有环境），但某些环境还需要单独安装其他工具（详见 环境文档）。此外，还有其他安装选项，例如使用 tfa 安装 TensorFlow Addons，以及使用 tune 安装 HpBandSter，后者是运行 tune.py 脚本所必需的。

关于 GPU 使用的说明： 与（无监督）深度学习不同，强化学习并不总是受益于 GPU 加速，具体取决于环境和智能体的配置。尤其是对于状态空间维度较低的环境（即没有图像输入的情况），建议尝试仅使用 CPU 运行。

快速入门示例代码

from tensorforce import Agent, Environment

# 预定义或自定义环境
environment = Environment.create(
    environment='gym', level='CartPole', max_episode_timesteps=500
)

# 实例化一个 Tensorforce 智能体
agent = Agent.create(
    agent='tensorforce',
    environment=environment,  # 或者使用 states、actions、(max_episode_timesteps)
    memory=10000,
    update=dict(unit='timesteps', batch_size=64),
    optimizer=dict(type='adam', learning_rate=3e-4),
    policy=dict(network='auto'),
    objective='policy_gradient',
    reward_estimation=dict(horizon=20)
)

# 训练 300 个回合
for _ in range(300):

    # 初始化回合
    states = environment.reset()
    terminal = False

    while not terminal:
        # 回合中的一步
        actions = agent.act(states=states)
        states, terminal、reward = environment.execute(actions=actions)
        agent.observe(terminal=terminal, reward=reward)

agent.close()
environment.close()

命令行使用

Tensorforce 提供了一系列针对不同热门强化学习环境的 示例配置。例如，要在 OpenAI Gym CartPole 环境 上运行 Tensorforce 实现的流行 近端策略优化 (PPO) 算法，可以执行以下命令：

python3 run.py --agent benchmarks/configs/ppo.json --environment gym \
    --level CartPole-v1 --episodes 100

更多信息请参阅 文档。

功能特性

• 网络层：全连接层、一维和二维卷积、嵌入层、池化层、RNN、Dropout、归一化等；此外还支持Keras的层。
• 网络架构：支持多状态输入和层（块）复用，通过注册/检索层方式简单定义有向无环图结构，并支持任意架构。
• 记忆类型：简单的批量缓冲记忆、随机回放缓冲记忆。
• 策略分布：布尔型动作采用伯努利分布，有限整数型动作采用分类分布，连续型动作采用高斯分布，范围受限的连续型动作采用贝塔分布，支持多动作场景。
• 奖励估计：可配置估计 horizon、未来奖励折扣、状态/状态-动作/优势估计，以及是否考虑终止状态和 horizon 状态。
• 训练目标：（确定性）策略梯度、状态-（动作-）值函数近似。
• 优化算法：TensorFlow 提供的多种基于梯度的优化器，如 Adam/AdaDelta/RMSProp 等，进化优化器、自然梯度优化器，以及一系列元优化器。
• 探索机制：随机动作、采样温度、可变噪声。
• 预处理：裁剪、差分器、序列处理、图像处理。
• 正则化：L2 正则化和熵正则化。
• 执行模式：基于 Python 的 multiprocessing 和 socket 并行执行多个环境。
• 优化的仅执行 SavedModel 提取。
• TensorBoard 支持。

通过以不同方式组合这些模块化组件，可以复现多种流行的深度强化学习模型和功能：

• Q 学习：Deep Q-learning、Double-DQN、Dueling DQN、n-step DQN、Normalised Advantage Function (NAF)
• 策略梯度：vanilla policy-gradient / REINFORCE、Actor-critic 和 A3C、Proximal Policy Optimization、Trust Region Policy Optimization、Deterministic Policy Gradient

需要注意的是，通常情况下，复现并不完全忠实于原文，因为论文中描述的模型往往包含一些难以通过模块化设计支持的小调整和修改（而且，是否有必要或值得支持这些细节也存在争议）。不过，从积极的一面来看，这些模型只是 Tensorforce 支持的众多模块组合中的几个例子而已。

环境适配器

• Arcade Learning Environment，一个简单的面向对象框架，允许研究人员和爱好者为 Atari 2600 游戏开发 AI 智能体。
• CARLA，一款用于自动驾驶研究的开源模拟器。
• OpenAI Gym，一个用于开发和比较强化学习算法的工具包，支持训练智能体完成从行走到玩 Pong 或弹球等各种任务。
• OpenAI Retro，可将经典电子游戏转换为 Gym 环境用于强化学习，并已集成约 1000 款游戏。
• OpenSim，基于肌肉骨骼模型的强化学习。
• PyGame Learning Environment，一个便于在 Python 中快速入门强化学习的学习环境。
• ViZDoom，允许仅使用视觉信息开发能够玩 Doom 的 AI 机器人。

支持、反馈与捐赠

如有任何问题、反馈、功能建议或合作意向，或需要帮助将 Tensorforce 应用于您的实际问题，请通过 邮件 或 Gitter 联系我们。

如果您希望支持 Tensorforce 核心团队（见下文），也欢迎通过以下方式捐赠：GitHub Sponsors 或 Liberapay。

核心团队与贡献者

目前，Tensorforce 由 Alexander Kuhnle 开发并维护。

Tensorforce 较早版本（<= 0.4.2）由 Michael Schaarschmidt、Alexander Kuhnle 和 Kai Fricke 共同开发。

高级并行执行功能最初由 Jean Rabault (@jerabaul29) 和 Vincent Belus (@vbelus) 贡献。此外，预训练功能主要是在 Hongwei Tang (@thw1021) 和 Jean Rabault (@jerabaul29) 的协作下开发的。

CARLA 环境封装目前由 Luca Anzalone (@luca96) 开发。

我们非常感谢所有开源贡献者（按 GitHub 排序，定期更新）：

Islandman93, sven1977, Mazecreator, wassname, lefnire, daggertye, trickmeyer, mkempers, mryellow, ImpulseAdventure, janislavjankov, andrewekhalel, HassamSheikh, skervim, beflix, coord-e, benelot, tms1337, vwxyzjn, erniejunior, Deathn0t, petrbel, nrhodes, batu, yellowbee686, tgianko, AdamStelmaszczyk, BorisSchaeling, christianhidber, Davidnet, ekerazha, gitter-badger, kborozdin, Kismuz, mannsi, milesmcc, nagachika, neitzal, ngoodger, perara, sohakes, tomhennigan。

引用 Tensorforce

请按以下方式引用该框架：

@misc{tensorforce,
  author       = {Kuhnle, Alexander 和 Schaarschmidt, Michael 和 Fricke, Kai},
  title        = {Tensorforce：用于应用强化学习的 TensorFlow 库},
  howpublished = {网页},
  url          = {https://github.com/tensorforce/tensorforce},
  year         = {2017}
}

如果您使用了并行执行功能，请同时按以下方式引用相关文献：

@article{rabault2019accelerating,
  title        = {通过多环境方法加速流动控制的深度强化学习策略},
  author       = {Rabault, Jean 和 Kuhnle, Alexander},
  journal      = {Physics of Fluids},
  volume       = {31},
  number       = {9},
  pages        = {094105},
  year         = {2019},
  publisher    = {AIP Publishing}
}

如果您在研究中使用了 Tensorforce，也可以考虑引用以下论文：

@article{lift-tensorforce,
  author       = {Schaarschmidt, Michael 和 Kuhnle, Alexander 和 Ellis, Ben 和 Fricke, Kai 和 Gessert, Felix 和 Yoneki, Eiko},
  title        = {{LIFT}：通过从示范中学习实现计算机系统的强化学习},
  journal      = {CoRR},
  volume       = {abs/1808.07903},
  year         = {2018},
  url          = {http://arxiv.org/abs/1808.07903},
  archivePrefix = {arXiv},
  eprint       = {1808.07903}
}

Tensorforce 快速上手指南

重要提示：根据官方说明，本项目目前已不再维护。建议在新项目中谨慎评估使用，或考虑其他活跃的强化学习框架（如 RLlib、Stable-Baselines3 等）。以下内容基于项目最后稳定版本整理。

Tensorforce 是一个基于 TensorFlow 的开源深度强化学习库，强调模块化设计和易用性，适用于科研与实际应用。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：Python 3.6+
• 核心依赖：TensorFlow (CPU 或 GPU 版本)
• 可选依赖：
  • 游戏/仿真环境：gym, ale (Atari), vizdoom, carla, retro 等
  • 优化工具：tfa (TensorFlow Addons), tune (HpBandSter)

M1 Mac 用户注意： TensorFlow 在 M1 芯片上无法直接通过常规方式安装。请参考官方文档中的 "M1 Macs" 章节 获取变通方案（通常涉及使用 tensorflow-macos 和 tensorflow-metal）。

GPU 使用建议： 与监督学习不同，强化学习并不总是能从 GPU 加速中受益。对于状态空间维度较低（非图像输入）的环境，仅使用 CPU 运行往往效率更高且足够。

安装步骤

方法一：安装稳定版（推荐）

通过 PyPI 安装最新稳定版本：

pip3 install tensorforce

国内用户加速建议：可使用清华或阿里镜像源加速安装：

pip3 install tensorforce -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：安装开发版

如需使用 GitHub 上的最新代码（包含未发布的功能或修复）：

git clone https://github.com/tensorforce/tensorforce.git
pip3 install -e tensorforce

安装特定环境支持

如果需要连接特定的仿真环境（如 Gym, Atari 等），需额外安装对应包。例如安装所有常见环境支持：

pip3 install tensorforce[envs]

或者单独安装：

pip3 install tensorforce[gym]
pip3 install tensorforce[ale]

基本使用

以下是一个最简单的示例，展示如何使用 Tensorforce 在 OpenAI Gym 的 CartPole 环境中训练一个代理（Agent）。

Python 代码示例

from tensorforce import Agent, Environment

# 1. 创建环境 (这里使用预定义的 Gym 环境)
environment = Environment.create(
    environment='gym', level='CartPole', max_episode_timesteps=500
)

# 2. 实例化 Agent
# 配置包括：记忆容量、更新频率、优化器、网络结构、目标函数等
agent = Agent.create(
    agent='tensorforce',
    environment=environment,  # 也可以直接传入 states/actions 定义
    memory=10000,
    update=dict(unit='timesteps', batch_size=64),
    optimizer=dict(type='adam', learning_rate=3e-4),
    policy=dict(network='auto'), # 自动根据输入输出推断网络结构
    objective='policy_gradient',
    reward_estimation=dict(horizon=20)
)

# 3. 开始训练循环
for _ in range(300):  # 训练 300 个回合

    # 初始化回合
    states = environment.reset()
    terminal = False

    while not terminal:
        # 单步交互
        actions = agent.act(states=states)
        states, terminal, reward = environment.execute(actions=actions)
        
        # 观察结果并更新内部状态
        agent.observe(terminal=terminal, reward=reward)

# 4. 关闭资源
agent.close()
environment.close()

命令行使用示例

Tensorforce 还支持通过命令行直接运行预设配置。例如，使用 PPO 算法运行 CartPole 环境：

python3 run.py --agent benchmarks/configs/ppo.json --environment gym \
    --level CartPole-v1 --episodes 100

更多配置文件示例可在项目的 benchmarks/configs 目录中找到。