...最小化未来经验上的均方误差。 - 理查德·S·萨顿

BTGym

可扩展的事件驱动型、适合强化学习的回测库。基于Backtrader构建，提供OpenAI Gym环境API。

Backtrader 是一个开源的算法交易库：
GitHub: http://github.com/mementum/backtrader
文档与社区：
http://www.backtrader.com/

OpenAI Gym 是……嗯，大家都知道Gym：
GitHub: http://github.com/openai/gym
文档与社区：
https://gym.openai.com/

---

概要

本项目的总体目标是提供一个集成Gym的框架，用于在[接近]真实世界的算法交易环境中运行强化学习实验。

免责声明：
此处提供的代码属于研究/开发级别。
可能不稳定、存在错误、性能不佳，并且可能会发生变化。

请注意，该软件包既不是开箱即用的盈利工具，也不提供可以直接收敛的强化学习解决方案。
可以将其视为一个用于设置复杂非平稳随机环境实验的框架。

作为一项研究项目，目前阶段的BTGym很难为终端用户提供简单的使用体验，因为要设置有意义的实验，需要一定的编程实践经验以及对强化学习理论的基本了解。

---

新闻与更新说明

---

目录

• 安装
• 快速入门
• 描述
  • 问题设定
  • 数据采样方法
• 文档与社区
• 已知缺陷与限制
• 路线图
• 更新消息

---

安装

强烈建议在专用的虚拟环境中运行BTGym。

将btgym仓库克隆或复制到本地磁盘，进入该目录并运行：pip install -e .以安装软件包及其所有依赖项：

git clone https://github.com/Kismuz/btgym.git

cd btgym

pip install -e .

要更新到最新版本：

cd btgym

git pull

pip install --upgrade -e .

注意事项：

1. BTGym需要Matplotlib 2.0.2版本，如果你的版本是2.1，请降级安装：

   pip install matplotlib==2.0.2

2. LSOF工具应安装在你的操作系统中，但某些Linux发行版默认并未安装，详情请参见：https://en.wikipedia.org/wiki/Lsof

---

快速入门

使用所有默认参数创建Gym环境非常简单：

from btgym import BTgymEnv

MyEnvironment = BTgymEnv(filename='../examples/data/DAT_ASCII_EURUSD_M1_2016.csv',)

添加更多控制选项可能如下所示：

from gym import spaces
from btgym import BTgymEnv

MyEnvironment = BTgymEnv(filename='../examples/data/DAT_ASCII_EURUSD_M1_2016.csv',
                         episode_duration={'days': 2, 'hours': 23, 'minutes': 55},
                         drawdown_call=50,
                         state_shape=dict(raw=spaces.Box(low=0,high=1,shape=(30,4))),
                         port=5555,
                         verbose=1,
                         )

更多选项请参阅文档：快速入门 >>

详细教程请查看示例目录 >>。

---

一般描述

问题设定

• 离散动作设置： 考虑一种设置，其中有一项无风险资产充当经纪账户现金，另有K项（默认为1项）风险资产。对于每项风险资产，都有一条历史价格记录线，称为“数据线”。除了资产数据线之外，还可以选择性地包含若干外生数据线，这些数据线承载着一些信息和统计数据，例如经济指数、编码后的新闻、宏观经济指标、天气预报等，它们被认为与决策相关。在此设置下假设：

  1. 所有资产均无利率；
  2. 经纪商的操作均为固定规模的市价单（“买入”、“卖出”、“平仓”），允许做空；
  3. 交易成本通过经纪商佣金进行建模；
  4. 满足“市场流动性”和“资本冲击”的假设；
  5. 所有提供的数据线的时间索引一致；

• 该问题被建模为针对股票/外汇交易的离散时间有限 horizon 部分可观测马尔可夫决策过程：

  • 对于每项资产，交易代理的动作空间是离散的（0：保持不动；1：买入；2：卖出；3：平仓）；
  • 环境是分段式的：设置了最大回合时长及回合终止条件；
  • 在每个回合的每个时间步，代理会收到一个状态观测值，该观测值是一个张量，包含了所包含的每条数据线最近m个时间嵌入式预处理后的数值，并根据某种随机策略发出动作；
  • 代理的目标是通过学习最优策略来最大化预期累计资本；

• 连续动作设置[测试版]： 该设置与连续投资组合优化问题的定义密切相关；它与上述设置的不同之处在于：

  1. 基础经纪商操作是实数：对于添加的K项风险资产，a[i]的取值范围为[0,1]，且0<=i<=K，同时满足SUM{a[i]} = 1。每个动作都是一个市场目标订单，用于调整投资组合，使第i项资产的权重达到a[i]*100%；
  2. 整个单步经纪商操作是一个字典，形式为：{cash_name: a[0], asset_name_1: a[1], ..., asset_name_K: a[K]}；
  3. 不允许做空；

• 对于强化学习而言，这意味着拥有一个K+1维的连续动作空间。

回测代理训练的数据选择选项：

注意：数据处理方式仍在开发中，可能会有所变化。[2018年1月7日]

• 随机采样： 将历史价格变动数据集划分为训练集、交叉验证集和测试集。由于代理的行为不会影响市场，因此可以在每次回合中从训练数据集中随机抽取一段连续的数据。这似乎是数据效率最高的方法。交叉验证和测试则像往常一样，在“最近”的数据上进行；
• 顺序采样： 将整个数据集按顺序输入，就像代理正在进行实时交易一样，逐个回合地进行。这种方法最接近现实，但数据效率最低，同时也是解决非平稳性的自然方式；
• 滑动时间窗采样： 结合了上述两种方法，每个回合从相对较短的时间段内随机采样，然后从最远端向最近端滑动。相比随机采样，这种方法应该更不容易导致过拟合。

---

文档与社区

• 阅读 文档与 API 参考。
• 浏览 开发 Wiki。
• 查看已打开和已关闭的 问题。
• 前往 BTGym Slack 频道。如果您是新用户，请使用此邀请链接 https://join.slack.com/t/btgym/shared_invite/zt-750fx9ky-hT0o6diVw1f4Oa1FGZLf4A 加入。

---

已知的 bug 和限制：

• 需要 Matplotlib 2.0.2 版本；
• 导入 pyplot 并在导入 btgym 之前使用 %matplotlib inline magic 时会出现 matplotlib 后端警告。建议先导入 btacktrader 和 btgym，以确保选择正确的后端；
• 尚未在 Python < 3.5 的环境中测试过；
• 在 Windows 下似乎无法正常工作；部分已完成
• 默认配置为接受来自 www.HistData.com 的外汇 1 分钟数据；
• 目前仅实现了随机数据采样；
• 没有内置的数据集拆分功能，用于划分训练/验证/测试子集； 已完成
• 目前只能交易一种股票或货币对 已完成
• 环境中尚未实现“跳帧”功能； 已完成
• 除了使用 PyCharm 集成观察器外，没有绘图功能。 不确定是否适用于日内策略。 [部分] 已完成
• 创建新环境会终止所有使用指定网络端口的进程。请注意您的 Jupyter 内核。 已修复

---

待办事项与路线图：

• 完善参数应用优先级的逻辑（引擎 vs 策略 vs kwargs vs 默认值）；
• API 参考；
• 示例；
• 跳帧功能；
• 数据集的 tr/cv/t 划分方法；
• 状态渲染；
• 整个 episode 的正确渲染；
• TensorBoard 集成；
• 多智能体异步操作功能（例如用于 A3C）：
• 专用数据服务器；
• 多模态观测空间形状；
• BTgym 的 A3C 实现；
• BTgym 的 UNREAL 实现；
• BTgym 的 PPO 实现；
• RL^2 / MAML / DARLA 的适配——正在进行中；
• 从示范中学习；——部分完成
• 风险敏感型智能体的实现；
• 顺序和滑动时间窗采样；
• 多种工具的交易；
• Docker 镜像；——CPU 版本，由 Signalprime 贡献，
• TF Serving 模型序列化功能；

新闻与更新：

• 2019年1月10日：

  • 现已提供由 Signalprime（https://github.com/signalprime）贡献的 Docker CPU 版本，详情请参阅 btgym/docker/README.md；

• 2019年2月9日：

  • 在 model_based_stat_arb 示例文件夹中新增了 分析数据模型介绍 笔记本。

• 2019年1月25日：更新内容：

  • lstm_policy 类现在要求同时存在 internal 和 external 观测子空间，并且允许两者均为单层嵌套子空间（之前仅对外部子空间适用）；所有声明的子空间均由独立的卷积编码器进行编码；
  • policy deterministic action 选项现已针对离散动作空间实现，可由 syncro_runner 使用；默认情况下，该选项在测试 episode 中启用；
  • data_feed 类现在可通过 dataframe 关键字参数接受 pd.dataframes 作为历史数据源（之前仅支持 .csv 文件）；

• 2019年1月18日：更新内容：

  • 数据模型 类正在积极开发中，以支持基于模型的框架：
    • 新增了常用统计量的增量估计器类（均值、方差、协方差、线性回归等）；
    • 实现了增量式奇异谱分析类；
    • 针对一对资产价格，提出了双因素状态空间模型；
  • 新增了 data_feed 迭代器类，用于向训练框架提供由上述模型生成的合成数据；
  • strategy_gen_6 的数据处理和预处理流程已被重新设计：
    • 对市场数据进行 SSA 分解；
    • 将数据模型状态作为策略的额外输入；
    • 基于方差的经纪人统计数据归一化处理；

• 2018年12月11日：更新与修复：

  • training Launcher 类 增加了保存和重新加载模型参数的便捷功能，详情请参阅 https://github.com/Kismuz/btgym/blob/master/examples/unreal_stacked_lstm_strat_4_11.ipynb；
  • 基于模型/无模型结合 方法包处于早期开发阶段，现已加入 btgym.reserach；

• 2018年11月17日：更新与修复：

  • 对基础数据提供者类的 episode 采样进行了小幅修复；
  • btgym.datafeed.synthetic 子包更新：新增了随机过程生成器等；
  • 新的 btgym.research.startegy_gen_5 子包： 实现了高效的无参数信号预处理，以及其他小幅改进；

• 2018年10月30日：更新与修复：

  • 修复了 numpy 随机状态问题，该问题导致在 POSIX 操作系统上多个工作进程之间种子重复；
  • 新增合成数据馈送生成器——添加了简单的 Ornstein-Uhlenbeck 过程数据生成类；详情请参阅 btgym/datafeed/synthetic/ou.py 和 btgym/research/ou_params_space_eval；

• 2018年10月14日：更新：

  • 基础奖励函数重新设计 -> 算法性能显著提升；

• 2018年7月20日：软件包重大更新：

  • 智能体架构增强：

    • 为 LSTM 智能体配备了带有注意力机制的卷积状态编码器；
    • 在卷积层和 LSTM 层中增加了 dropout 正则化；

  • 基础策略更新：为 get_state 方法命名引入新规范，详情请参阅 BaseStrategy 类；

  • 多数据源和多资产交易 以两种方式实现：

    • 通过 MultiDiscreteEnv 类实现 离散动作 空间；
    • 通过 PortfolioEnv 类实现 连续动作 空间，该环境与连续投资组合优化问题密切相关；
      • 描述和文档：
        • MultiDataFeed: https://kismuz.github.io/btgym/btgym.datafeed.html#btgym.datafeed.multi.BTgymMultiData
        • ActionSpace: https://kismuz.github.io/btgym/btgym.html#btgym.spaces.ActionDictSpace
        • MultiDiscreteEnv: https://kismuz.github.io/btgym/btgym.envs.html#btgym.envs.multidiscrete.MultiDiscreteEnv
        • PortfolioEnv: https://kismuz.github.io/btgym/btgym.envs.html#btgym.envs.portfolio.PortfolioEnv

• 示例： - MultiDiscreteEnv: https://github.com/Kismuz/btgym/blob/master/examples/multi_discrete_setup_intro.ipynb - PortfolioEnv: https://github.com/Kismuz/btgym/blob/master/examples/portfolio_setup_BETA.ipynb - 多资产设置注意事项： - 添加这些功能迫使对整个软件包进行了大幅重构； 预计会出现一些 bug、部分向后不兼容以及示例失效等问题——请务必报告； - 当前的算法和智能体架构在处理多条数据线时表现尚可，但在多资产设置下却难以应对。 尤其是在连续动作的情况下，智能体几乎无法在训练数据上实现收敛； - 目前的奖励函数设计似乎并不合适，需要重新调整； - beta 版本中的连续动作空间仍需改进，特别是在经纪商订单执行逻辑以及连续 A3C 的动作采样流程方面（目前采用的是狄利克雷过程）； - 多离散动作空间更为一致，但受动作空间基数呈指数级增长的影响，投资组合资产数量受到严重限制（而数据线数量则不受此限）。 一种可行方案是根据需求使用尽可能多的数据线，同时将投资组合资产数量限制在 1 到 4 个之间； - 目前尚未提供适用于多资产设置的引导策略——仍在开发中； - 所有除 episode 渲染模式之外的其他模式均已暂时禁用； - 整个系统对资源的需求极其庞大；

• 2018年2月17日：首次将引导策略搜索思想（GPS）应用于 btgym 设置的结果可见 此处。

  • TensorBoard 摘要已更新，增加了额外的可视化内容： 包括动作分布、价值函数和 LSTM 状态；这些内容均在同一份笔记本中展示。

• 2018年2月6日：对所有 A3C 智能体架构进行统一更新：

  • 所有全连接层现均已替换为噪声网络层， 参见 Fortunato 等人发表的论文《用于探索的噪声网络》（https://arxiv.org/abs/1706.10295）；

  • 需要注意的是，熵正则化仍然保留，其值维持在约 0.01 左右，以确保充分的探索能力；

  • 策略输出分布通过层归一化技术进行“居中”处理；

    • 上述改进使训练迭代速度提升了约两倍；

• 2018年1月20日：新增项目维基页面；

• 2018年1月12日：对日志记录进行了小幅修复，并启用了 BTgymDataset 的训练/测试数据划分。同时，通过 episode_train_test_cycle 关键字参数，实现了 AAC 框架的训练/测试循环。

• 2018年1月7日：更新内容：

  • 对数据管道进行了重大重构。实现了“领域 → 试验 → 赛局”的采样流程。有关动机及正式定义，请参阅 本草稿第 1 节数据部分、API 文档以及 入门示例。此次更改应保持向后兼容性。 简而言之，这是为即将到来的元学习算法所必需的基础框架。
  • 日志记录方面：现已改用 Python 的 logbook 模块。此举应能消除 Windows 系统下的错误。
  • 实现了堆叠 LSTM 策略智能体。该智能体基于 DeepMind 论文 （https://arxiv.org/pdf/1611.03673.pdf）中的 NAV_A3C，并做了一些小修改。基本用法 可参见 示例。 目前仍处于研究阶段，需进一步调优；不过其速度已快于简单的 LSTM 智能体， 能够在 6 个月的 1 分钟数据集上实现收敛。

• 2017年12月5日：btgym 内部通信优化 >> 速度提升约 5%。

• 2017年12月2日：通过 BTgymSequentialTrial() 类实现了基础的“滑动时间窗训练/测试”框架。更新：现已替换为 BTgymSequentialDataDomain 类。

• 2017年11月29日：实现了基础的元学习 RL^2 功能。

  • 有关说明请参阅 Trial_Iterator 类 和 RL^2 策略。
  • 其有效性尚未经过测试，后续将提供更多示例。

• 2017年11月24日：A3C/UNREAL 终于适配了 BTGym 环境。

  • 新增了使用合成简单数据（正弦波）和历史金融数据的示例， 详见 示例目录；
  • 在 /research/DevStartegy_4_6 中展示了基于潜在函数的奖励塑造结果；
  • 正在进行顺序/随机试验数据迭代器的开发工作（类似于滑动时间窗），目前已进入最困难的部分：对抗非平稳性的挑战即将到来。

• 2017年11月14日：BaseAAC 框架进行了重构；新增了按工作者批次训练选项和 LSTM 时间展平选项；Atari 示例也已更新；详情请参阅 文档。

• 2017年10月30日：重大更新，存在部分向后不兼容：

  • BTGym 现在可以被视为一个由两部分组成的软件包：一部分是环境本身，另一部分则是专为解决算法交易任务而优化的强化学习算法。后者的基础工作已完成。目前已实现三种优势演员-评论家风格的算法：A3C 本身、其 UNREAL 扩展以及 PPO。这些算法的核心逻辑似乎已经实现正确，但仍需进一步深入调试 BTGym。 目前可以查看 Atari 测试。
  • 最终，基础的 文档和 API 参考 现已发布。

• 2017年9月27日：新增 A3C test_4.2：

  • 在估计器架构搜索、状态表示和奖励塑造方面取得了一些进展；

• 2017年9月22日：新增 A3C test_4：

  • 通过了在小型（1 个月）EURUSD 1 分钟柱状图数据集上的训练收敛测试；

• 2017年9月20日：新增优化后的正弦波测试 在此处。

  • 该笔记本介绍了一些关于状态表示、奖励塑造、模型架构和超参数选择的基本思路。 通过这些调整，正弦波的合理性测试能够更快且更稳定地收敛。

• 2017年8月31日：A3C 算法的基本实现已完成，并被整合到 BTgym 软件包中。

  • 算法逻辑一致性测试已通过；
  • 目前仍处于早期阶段，接下来将开展观测状态特征和策略估计器架构方面的实验；
  • 请查看 examples/a3c 目录。

• 23.08.17：环境/数据集规范中的 filename 参数现在可以是一个 CSV 文件列表。

  • 对于创建较大的数据集非常方便；
  • 所有文件中的数据会被拼接在一起，并进行均匀采样；
  • 不会进行记录重复检查或格式一致性检查。

• 21.08.17：更新：BTgym 现在使用多模态观测空间。

  • 使用的空间是 gym 的简单扩展：DictSpace(gym.Space)——一个核心 gym 空间组成的字典（目前尚未嵌套）。
  • 定义在 btgym/spaces.py 中。
  • raw_state 是默认的 OHLC 价格 Box 空间。继承 BTgymStrategy 类并重写 get_state() 方法，以计算环境观测的所有部分。
  • 只要观测字典中的每个条目都是秩不超过 3 的 Box 空间，并且在环境的 render_modes 关键字参数中传递相同的键，就可以对观测字典中的每个条目进行渲染。 “Agent” 模式已更名为“state”。请参阅更新后的示例。

• 07.08.17：BTgym 现在针对多环境实例的异步操作进行了优化。

  • 使用专门的数据服务器来管理数据集；
  • 整体内部网络连接的稳定性和错误处理得到了改进；
  • 请参阅 examples 目录下的示例 async_btgym_workers.ipynb。

• 15.07.17：更新，向后不兼容：现在状态观测可以是任意秩的张量。

  • 因此，维度顺序约定发生了变化，以确保与现有 TensorFlow 模型的兼容性：时间嵌入从现在起成为第一个维度，例如，形状为 (30, 20, 4) 的状态表示 30 步的时间嵌入，包含 20 个特征和 4 个“通道”。为了仅进行二维可视化，只能渲染其中一个“通道”，可通过设置环境关键字参数 render_agent_channel=0 来选择；
  • 示例已更新；
  • 现在做好比以后再做更好。

• 11.07.17：渲染大战仍在继续：在内存占用较低的情况下提高了稳定性， 新增了环境关键字参数 render_enabled=True；当设置为 False 时 - 所有渲染功能都会被禁用。这有助于提升性能。

• 5.07.17：添加了 TensorBoard 监控包装器；修复了 pyplot 的内存泄漏问题。

• 30.06.17：示例更新，新增了“设置：全速前进”的操作指南。

• 29.06.17：升级：请务必运行 pip install --upgrade -e .

  • 重大渲染重构：新增了 human、agent、episode 等模式；渲染过程现在由服务器执行，并以 rgb numpy 数组 的形式返回给环境。图像可以通过 matplotlib 或 pillow.Image（推荐）显示。
  • 新增了“渲染操作指南”，并更新了“基本设置”示例。
  • 内部改动：环境状态分为 raw_state（价格数据）和 state（特征化表示）。策略类中新增了 get_raw_state() 方法。
  • 新的软件包依赖：matplotlib 和 pillow。

• 25.06.17： 实现了基础渲染功能。

• 23.06.17： alpha 0.0.4： 添加了跳帧功能， 重新定义了参数继承逻辑， 提升了整体稳定性；

• 17.06.17： 首个可用的 alpha 版本 v0.0.2。

BTGym 快速上手指南

BTGym 是一个基于 Backtrader 构建、兼容 OpenAI Gym API 的可扩展事件驱动强化学习回测库。它旨在为算法交易环境中的强化学习实验提供框架支持。

注意：本项目处于研究/开发阶段，代码可能不稳定且随时变动。它并非“开箱即用”的盈利工具，使用者需具备一定的编程能力及强化学习理论基础。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux 或 macOS（Windows 支持尚不完善）。
• Python 版本：Python 3.5 或更高版本。
• 系统工具：必须安装 lsof 实用程序（部分 Linux 发行版默认未安装，可通过包管理器安装，如 sudo apt-get install lsof）。
• 关键依赖版本：Matplotlib 必须为 2.0.2 版本。如果您已安装 2.1 或更高版本，请先降级，否则会导致运行错误。

2. 安装步骤

建议在专用的虚拟环境中运行 BTGym 以避免依赖冲突。

第一步：克隆仓库

git clone https://github.com/Kismuz/btgym.git
cd btgym

第二步：调整 Matplotlib 版本

在安装主程序前，强制安装指定版本的 Matplotlib：

pip install matplotlib==2.0.2

(国内用户可使用清华源加速：pip install matplotlib==2.0.2 -i https://pypi.tuna.tsinghua.edu.cn/simple)

第三步：安装 BTGym 及依赖

使用编辑模式安装，以便后续开发或更新：

pip install -e .

(国内用户可使用清华源加速：pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple)

升级现有安装

如果需要更新到最新版本：

cd btgym
git pull
pip install --upgrade -e .

3. 基本使用

BTGym 的核心是创建一个继承自 Gym 环境的交易环境。以下是两种最常用的初始化方式。

最小化示例（默认参数）

使用默认配置快速加载一个外汇数据文件并创建环境：

from btgym import BTgymEnv

MyEnvironment = BTgymEnv(filename='../examples/data/DAT_ASCII_EURUSD_M1_2016.csv')

自定义配置示例

通过传递参数控制回测时长、最大回撤阈值、状态空间形状等：

from gym import spaces
from btgym import BTgymEnv

MyEnvironment = BTgymEnv(
    filename='../examples/data/DAT_ASCII_EURUSD_M1_2016.csv',
    episode_duration={'days': 2, 'hours': 23, 'minutes': 55},  # 设置单集时长
    drawdown_call=50,                                         # 设置最大回撤阈值
    state_shape=dict(raw=spaces.Box(low=0, high=1, shape=(30, 4))), # 定义状态空间
    port=5555,                                                # 指定端口
    verbose=1,                                                # 开启详细日志
)

下一步建议： 初始化环境后，您可以像使用标准 OpenAI Gym 一样调用 reset(), step(action), 和 render() 方法来训练您的强化学习代理。更多高级用法请参考项目 examples 目录下的示例代码。