Personae - 强化学习与监督学习方法及量化交易环境

Personae 是一个实现深度强化学习和监督学习领域论文中提出的方法，并将其应用于金融市场的代码库。

目前，Personae 包含 4 种强化学习实现、3 种监督学习实现，以及一个支持股票和期货的金融市场模拟环境。（做空功能仍在开发中）

更多强化学习和监督学习方法正在持续更新中！

警告

本项目正在进行重构，

计划从 2018 年 8 月 24 日开始，持续到大约 2018 年 9 月 1 日——也就是我成功找到工作的那一天。

注意事项

• 输入特征较为简单。
• 日度频率显然不够。
• 建议用户根据自身需求替换此处的特征。

内容

• 深度确定性策略梯度 (DDPG)
  使用 TensorFlow 实现 DDPG。

  arXiv:1509.02971: Continuous control with deep reinforcement learning

• 双 DQN
  使用 TensorFlow 实现双 DQN。

  arXiv:1509.06461: Deep Reinforcement Learning with Double Q-learning

• 斗士-DQN
  使用 TensorFlow 实现斗士-DQN。

  arXiv:1511.06581: Dueling Network Architectures for Deep Reinforcement Learning

• 策略梯度
  使用 TensorFlow 实现策略梯度。

  NIPS. Vol. 99. 1999: Policy gradient methods for reinforcement learning with function approximation

• DA-RNN (DualAttnRNN)
  使用 TensorFlow 实现 arXiv:1704.02971 中提出的 DA-RNN。

  arXiv:1704.02971: A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

• TreNet (HNN)
  使用 TensorFlow 实现 TreNet。

  IJCAI 2017. Hybrid Neural Networks for Learning the Trend in Time Series

• Naive-LSTM (LSTM)
  使用 TensorFlow 实现简单的 LSTM 模型。

  arXiv:1506.02078: Visualizing and Understanding Recurrent Networks

环境

实现了一个基础的金融市场模拟环境。

• 市场
  实现了市场、交易者和持仓等组件，作为一个 gym 环境（无需依赖 gym 库），可以为 RL 或 SL 模型提供回归或序列数据生成的环境。
  目前，市场支持股票数据和期货数据。

此外，更多功能正在持续开发中。

实验

• 深度确定性策略梯度 (DDPG)
• 双 DQN
• 斗士-DQN
• 策略梯度 (PG)
  使用 2012 年 1 月 1 日至 2018 年 1 月 1 日的股票数据集训练一个代理在股票市场上进行交易，其中 70% 为训练数据，30% 为测试数据。

总收益与基准收益。（测试集）

• DA-RNN (DualAttnRNN)
• Naive-LSTM (LSTM)
• TreNet (HNN)
  使用 2008 年 1 月 1 日至 2018 年 1 月 1 日的股票数据集训练一个预测模型来预测股价，其中 70% 为训练数据，30% 为测试数据。

对 4 只银行股的价格预测实验。（测试集）

需求

在开始测试之前，需要满足以下要求。

• Python 3.5
• TensorFlow 1.4
• numpy
• scipy
• pandas
• rqalpha
• sklearn
• tushare
• matplotlib
• mongoengine
• CUDA（可选）
• ta-lib（可选）
• Docker（可选）
• PyTorch（可选）

建议使用 Docker，这样可以避免手动安装所有依赖项，直接运行整个项目。

此外，您还可以使用 Ansible 运行 CUDA-Playbook 和 Docker-Playbook，以安装 CUDA 和 Nvidia-Docker，从而在 Docker 容器中运行测试。

使用方法

如果您使用 Docker

关于基础镜像

该项目的基础镜像是 ceruleanwang/personae，而 personae 继承自 ceruleanwang/quant-base。

镜像 ceruleanwang/quant-base 继承自 nvidia/cuda:8.0-cudnn6-runtime。因此，请确保您的 CUDA 和 cuDNN 版本正确。

指令

首先，您需要确保 MongoDB 中已存储股票数据。

如果没有，您可以使用本项目中的爬虫来抓取股票或期货数据，但在开始之前，务必确保 MongoDB 服务正在运行。

如果 MongoDB 服务未运行，您也可以通过以下命令启动一个 MongoDB 容器（可选）：

docker run -p 27017:27017 -v /data/db:/data/db -d --network=your_network mongo

然后，您可以使用爬虫抓取股票数据，命令如下：

docker run -t -v local_project_dir:docker_project_dir --network=your_network ceruleanwang/personae spider/stock_spider.py

同样，您也可以使用以下命令抓取期货数据：

docker run -t -v local_project_dir:docker_project_dir --network=your_network ceruleanwang/personae spider/future_spider.py

请注意设置您想要抓取的股票或期货代码，默认的股票代码是：

stock_codes = ["600036", "601328", "601998", "601398"]

默认的期货代码是：

future_codes = ["AU88", "RB88", "CU88", "AL88"]

这些代码可以在以下文件中修改：

• 默认参数解析器

之后，您只需运行模型即可：

docker run -t -v local_project_dir:docker_project_dir --network=yuor_network ceruleanwang/personae algorithm/RL 或 SL/algorithm_name.py

如果您使用 Conda

您可以自行创建一个环境，安装 Python 3.5 及所有所需依赖项，然后按照自己的方式运行算法。

需要注意的是，在 mongoengine 的配置中，hostname 必须设置为您自己的。

关于训练与测试

目前，所有使用 TensorFlow 实现的模型都支持持久化。在训练或测试模型时，您可以修改许多参数。 例如，以下代码展示了一些可以被修改的参数：

env = Market(codes, start_date="2008-01-01", end_date="2018-01-01", **{
    "market": market,
    "mix_index_state": True,
    "training_data_ratio": training_data_ratio,
})

algorithm = Algorithm(tf.Session(config=config), env, env.trader.action_space, env.data_dim, **{
    "mode": mode,
    "episodes": episode,
    "enable_saver": True,
    "enable_summary_writer": True,
    "save_path": os.path.join(CHECKPOINTS_DIR, "RL", model_name, market, "model"),
    "summary_path": os.path.join(CHECKPOINTS_DIR, "RL", model_name, market, "summary"),
})

待办事项

• 更多论文的实现。
• 更多高频股票数据。

Personae 快速上手指南

Personae 是一个基于 TensorFlow 的开源项目，实现了多种深度强化学习（RL）和监督学习（SL）算法，并将其应用于股票和期货市场的量化交易模拟环境中。

环境准备

系统要求

• 操作系统: Linux / macOS (Windows 需通过 Docker 或 WSL)
• Python 版本: 3.5+
• 深度学习框架: TensorFlow 1.4
• 数据库: MongoDB (用于存储行情数据)

前置依赖

核心依赖库包括：

• numpy, scipy, pandas, sklearn
• rqalpha, tushare (数据获取)
• matplotlib, mongoengine
• 可选: CUDA (GPU 加速), TA-Lib (技术指标), PyTorch

建议: 推荐使用 Docker 运行，可避免手动配置复杂的环境依赖。

---

安装步骤

方案一：使用 Docker（推荐）

1. 拉取镜像 该项目提供了预构建的 Docker 镜像，基于 NVIDIA CUDA 环境。

   docker pull ceruleanwang/personae
   

2. 启动 MongoDB 服务 Personae 需要 MongoDB 存储数据。你可以本地安装或使用容器：

   docker run -p 27017:27017 -v /data/db:/data/db -d --network=host mongo
   

   注：若在不同网络环境下，请将 --network=host 替换为具体的网络名称 --network=your_network。

3. 获取行情数据 在运行模型前，需先将股票或期货数据爬取并存入 MongoDB。

   爬取股票数据（默认代码：600036, 601328 等）：

   docker run -t -v $(pwd):/app --network=host ceruleanwang/personae python spider/stock_spider.py
   

   爬取期货数据（默认代码：AU88, RB88 等）：

   docker run -t -v $(pwd):/app --network=host ceruleanwang/personae python spider/future_spider.py
   

   提示：如需修改标的代码，请编辑 helper/args_parser.py 文件。

方案二：使用 Conda 手动安装

1. 创建虚拟环境

   conda create -n personae python=3.5
   conda activate personae
   

2. 安装依赖

   pip install tensorflow==1.4 numpy scipy pandas rqalpha sklearn tushare matplotlib mongoengine
   # 可选安装
   # pip install torch
   # 安装 TA-Lib 需先安装系统级库
   

3. 配置数据库连接 修改 base/model/__init__.py 中的 mongoengine 配置，将 host 设置为你本地的 MongoDB 地址。

---

基本使用

运行训练与测试

确保 MongoDB 中已有数据后，即可运行算法脚本。以下以运行强化学习算法为例：

# 语法格式
docker run -t -v $(pwd):/app --network=host ceruleanwang/personae python algorithm/RL/<算法名称>.py

# 示例：运行 Double DQN
docker run -t -v $(pwd):/app --network=host ceruleanwang/personae python algorithm/RL/DoubleDQN.py

参数配置说明

在代码中可以通过字典形式自定义训练参数。主要参数包括数据区间、训练集比例及模型保存路径等：

env = Market(codes, start_date="2008-01-01", end_date="2018-01-01", **{
    "market": market,
    "mix_index_state": True,
    "training_data_ratio": 0.7,  # 70% 训练数据
})

algorithm = Algorithm(tf.Session(config=config), env, env.trader.action_space, env.data_dim, **{
    "mode": "train",             # 模式：train 或 test
    "episodes": 1000,            # 训练轮数
    "enable_saver": True,        # 是否保存模型
    "enable_summary_writer": True,
    "save_path": "./checkpoints/RL/DoubleDQN/model",
    "summary_path": "./checkpoints/RL/DoubleDQN/summary",
})

支持算法列表

• 强化学习 (RL): DDPG, Double-DQN, Dueling-DQN, Policy Gradient
• 监督学习 (SL): DA-RNN (DualAttnRNN), TreNet (HNN), Naive-LSTM

注意: 本项目使用的输入特征较为基础（日线级别），建议在实际应用中替换为更丰富的特征工程数据以提升效果。