概述

本项目实现了一个基于深度强化学习（特别是深度Q学习）训练的股票交易机器人。为了便于学习，实现过程保持简单，并尽可能贴近论文中讨论的算法。

简介

一般来说，强化学习是一类机器学习技术，它允许我们创建能够通过与环境交互来学习的智能体。这些智能体会通过试错的方式学习最优策略。这种方法在许多现实世界任务中尤为有用，因为在这些任务中，由于任务本身的性质、缺乏合适的标注数据等原因，监督学习可能并不是最佳选择。

这里的关键思想是，这种技术可以应用于任何可以被粗略描述为马尔可夫过程的现实世界任务。

方法

本工作使用了一种无模型强化学习技术，称为深度Q学习（Q学习的神经网络变体）。在每个时间步（即一个“episode”），智能体观察当前状态（过去n天的股票价格表示），选择并执行一个动作（买入/卖出/持有），然后观察下一个状态，接收奖励信号（投资组合价值的变化），最后根据计算出的损失梯度调整其参数。

多年来，Q学习算法已经进行了多次改进，本项目实现了其中的几种：

• 原始DQN
• 使用固定目标分布的DQN
• 双重DQN
• 优先级经验回放
• 对抗网络架构

结果

模型使用2010年至2017年的GOOG股票数据进行训练，并在2019年进行了测试，获得了1141.45美元的利润（在2018年验证时获得863.41美元的利润）：

您可以使用提供的笔记本来获取类似您模型评估的可视化结果。

一些注意事项

• 在任何给定状态下，智能体每次只能决定买入或卖出一只股票。这样做是为了尽可能简化问题，因为决定买入或卖出多少股票实际上属于投资组合再平衡的问题。
• n天窗口特征表示是一个向量，包含所交易股票调整后收盘价的连续差值，随后进行sigmoid变换，以将数值归一化到[0, 1]范围内。
• 由于训练过程是顺序进行的，建议在CPU上进行训练。每完成一个交易episode后，我们会回放经验（对一个小批量进行一轮迭代）并更新模型参数。

数据

您可以从Yahoo! Finance下载历史金融数据用于训练，也可以直接使用data/目录下已有的示例数据集。

快速入门

要使用本项目，您需要安装所需的Python包：

pip3 install -r requirements.txt

现在您可以打开终端并开始训练智能体：

python3 train.py data/GOOG.csv data/GOOG_2018.csv --strategy t-dqn

训练完成后，运行评估脚本，让智能体做出交易决策：

python3 eval.py data/GOOG_2019.csv --model-name model_GOOG_50 --debug

现在您就已经准备就绪了！

致谢

• @keon 的deep-q-learning
• @edwardhdlu 的q-trader

参考文献

• 使用深度强化学习玩Atari游戏
• 通过深度强化学习实现人类水平的控制
• 带有双重Q学习的深度强化学习
• 优先级经验回放
• 用于深度强化学习的对抗网络架构

trading-bot 快速上手指南

本项目是一个基于深度强化学习（Deep Q-Learning）的股票交易机器人，旨在通过简单的实现帮助开发者理解算法原理。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6+
• 前置依赖：
  • pip 包管理工具
  • 历史股票数据（可从 Yahoo! Finance 下载，或使用项目 data/ 目录下的示例数据）

提示：国内用户安装依赖时，推荐使用清华或阿里镜像源以加速下载：

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆或下载本项目到本地。
2. 进入项目目录，安装所需的 Python 依赖包：

pip3 install -r requirements.txt

基本使用

1. 训练模型

使用历史数据训练智能体。以下命令使用 GOOG 的历史数据进行训练，并采用 t-dqn 策略：

python3 train.py data/GOOG.csv data/GOOG_2018.csv --strategy t-dqn

注：由于训练过程具有序列性，建议在 CPU 上运行。

2. 评估与测试

训练完成后，使用测试数据评估模型表现并生成交易决策：

python3 eval.py data/GOOG_2019.csv --model-name model_GOOG_50 --debug

执行完毕后，终端将输出交易结果，您也可参考项目提供的 visualize.ipynb 笔记本生成可视化图表。