强化学习交易

该项目在股票市场中应用强化学习，智能体尝试学习交易策略。目标是验证智能体是否能够学会解读市场行情。本项目献给现实生活中的英雄杰西·利弗莫尔以及我所认识的最优秀的人之一瑞安·布斯：https://github.com/ryanabooth。

需要注意的一点是，tensor-reinforcement 目录下的代码是最新的版本，如果你对这个项目感兴趣，应该阅读或运行该目录下的代码。其他目录暂时无需关注，因为我目前没有在这些部分进行开发。
你可以在以下链接查看我在开发过程中的思考日志：https://github.com/deependersingla/deep_trader/blob/master/deep_thoughts.md

在此之前，我也曾使用过强化学习，相关内容可以参见：http://somedeepthoughtsblog.tumblr.com/post/134793589864/maths-versus-computation

<更新> 现在我经营一家专注于强化学习交易的公司，因此无法解答与该项目相关的问题。

复现 DQN 的步骤

a) 进入 tensor-reinforcement 目录：
b) 从以下链接下载数据并复制到 tensor-reinforcement 目录中：https://drive.google.com/file/d/0B6ZrYxEMNGR-MEd5Ti0tTEJjMTQ/view 和 https://drive.google.com/file/d/0B6ZrYxEMNGR-Q0YwWWVpVnJ3YmM/view?usp=sharing。
c) 在 tensor_reinforcement 目录下创建 saved_networks 文件夹，用于保存模型。
d) 运行 python dqn_model.py

复现 PG 的步骤

a) 进入 tensor-reinforcement 目录：
b) 在 tensor_reinforcement 目录下创建 saved_networks 文件夹，用于保存模型。
c) 运行 python pg_model.py

关于项目的首次迭代

流程：
最初，我使用 Chainer 框架来实现监督学习和强化学习。然而，在项目进行过程中，AlphaGo 的出现（https://research.googleblog.com/2016/01/alphago-mastering-ancient-game-of-go.html）促使我开始研读萨顿关于强化学习的书籍（https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html）、AlphaGo 及其相关论文，以及大卫·西尔弗的讲座（http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html，这些资料非常出色）。

时隔一段时间后，我重新回到这个项目，发现许多变化已经发生。如今，包括 DeepMind 在内的各大研究机构都在使用 TensorFlow。因此，我决定放弃 Chainer，转而采用 TensorFlow。未来将充满 exciting 的挑战。

策略网络

我将从简单的前馈神经网络开始。不过，我也倾向于使用卷积神经网络，因为当输入发生微小变化时，卷积网络不会改变输出。例如，在图像识别任务中，像素值的细微变化并不会导致图像被判定为不同。直观上，我认为股票价格的变化也是如此：小幅波动不应触发交易。但这里的问题在于归一化处理。经过归一化后，数值上的大幅变化会被压缩成很小的输入值，因此从前馈网络入手更为合适。

前馈网络

我计划先从两层网络开始，虽然这只是一个基础的架构，但我们可以先观察其效果，再逐步扩展到更深的网络。在输出层，我将使用 Sigmoid 非线性函数，使输出值介于 0 和 1 之间。隐藏层的所有神经元将使用 ReLU 激活函数。通过两层网络，我假设第一层 w1 能够判断市场是牛市、熊市还是平稳；第二层则可以根据第一层的判断结果决定采取何种行动。

训练

我将进行 x 轮训练，每轮包含 y 个时间步长。策略网络需要在每一轮中做出 x*y 次决策，决定是持有、买入还是做空。每次训练结束后，我会根据奖励情况标注每个决策的好坏，并据此更新网络。随后，我将在改进后的网络上再次进行 x 轮训练，如此循环往复。就像蒙特卡洛树搜索一样，随着训练次数的增加，策略会逐渐减少错误决策，提高正确决策的比例。尽管在训练过程中可能会出现一些失误，但从整体来看，由于我们会重复数百万次同样的操作，最终效果将会趋于优化。

以回合制训练

我计划采用回合制训练，而非连续训练。这样做的主要原因是，我不必在智能体每执行一次动作后都计算奖励，而这在交易中是非常复杂的。相反，我可以根据整个回合结束时的投资组合价值来计算终端奖励：投资组合最终价值 - 回合内产生的交易成本 - 投资组合初始价值。此外，我认为这种训练方式能够激励智能体以回合为单位学习交易策略，从而降低市场中异常事件或情绪波动带来的风险。

这也意味着我需要验证以下假设：
a) 不同长度的回合
b) 不同类型的奖励：是采用回合结束时的终端奖励，还是在每个时间步长后给予奖励？
如同所有人工智能项目一样，这个过程也将充满反复试验。因此，我需要编写高质量的代码，并妥善保存所有实验结果，以便对比分析哪些方法有效，哪些无效。当然，我们的最终目标是确保智能体在实际交易中保持盈利。

更多信息请参见： https://docs.google.com/document/d/12TmodyT4vZBViEbWXkUIgRW_qmL1rTW00GxSMqYGNHU/edit

数据来源

1. 如果你想直接运行这个仓库，可以使用以下数据源，配置即刻完成：https://drive.google.com/open?id=0B6ZrYxEMNGR-MEd5Ti0tTEJjMTQ
   
2. Nifty 数据：https://drive.google.com/folderview?id=0B8e3dtbFwQWUZ1I5dklCMmE5M2M&ddrp=1%20%E2%81%A0%E2%81%A0%E2%81%A0%E2%81%A09:05%20PM%E2%81%A0%E2%81%A0%E2%81%A0%E2%81%A0%E2%81%A0
   
3. Nifty 期货：http://www.4shared.com/folder/Fv9Jm0bS/NSE_Futures
   
4. Google Finance
   
5. Interactive Brokers：我之所以选择 IB，是因为我在那里开设了账户。
   

关于如何使用 IB 获取数据的参考文档： https://www.interactivebrokers.com/en/software/api/apiguide/tables/historical_data_limitations.htm https://www.interactivebrokers.com/en/software/api/apiguide/java/historicaldata.htm 股票的符号为 STK，指数的符号为 IND。

强化学习资源

https://github.com/aikorea/awesome-rl ，如果你是认真的，这份资源列表就足够了。

deep_trader 快速上手指南

deep_trader 是一个基于强化学习（Reinforcement Learning）的股票交易模拟项目，旨在训练智能体学习读取市场数据（Tape Reading）并做出交易决策。本项目主要使用 TensorFlow 实现 DQN（深度 Q 网络）和 PG（策略梯度）算法。

注意：作者已转向商业化运营，不再回复该项目相关问题。最新代码位于 tensor-reinforcement 目录，其他目录已停止维护。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应 Python 环境）
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • TensorFlow (项目已从 Chainer 迁移至 TensorFlow)
  • NumPy
  • Pandas (用于数据处理)
• 存储空间：预留足够空间存放网络模型和数据集

安装步骤

1. 克隆项目并进入核心目录

git clone https://github.com/deependersingla/deep_trader.git
cd deep_trader/tensor-reinforcement

2. 下载数据集

项目依赖特定的历史数据进行训练。请手动下载以下两个文件并放入当前的 tensor-reinforcement 目录中：

• 数据文件 1
• 数据文件 2

(注：原 README 未提供国内镜像源，如下载缓慢，请自行尝试科学上网或寻找替代数据源)

3. 创建模型保存目录

在运行脚本前，需手动创建用于存储训练好的神经网络模型的文件夹：

mkdir saved_networks

4. 安装 Python 依赖

确保已安装 TensorFlow 及其他必要库（根据项目实际 requirements 情况，若无私有列表则按需安装）：

pip install tensorflow numpy pandas

基本使用

项目提供了两种主要的强化学习模型复现步骤，请根据需求选择运行。

选项 A：运行 DQN 模型 (Deep Q-Network)

执行以下命令开始 DQN 模型的训练与测试：

python dqn_model.py

选项 B：运行 PG 模型 (Policy Gradient)

执行以下命令开始策略梯度模型的训练与测试：

python pg_model.py

运行说明

• 训练机制：模型采用 episodic（片段式）训练模式。智能体将在每个片段（Episode）结束时根据投资组合的最终价值（扣除交易成本）获得奖励，而非每一步都计算奖励。
• 决策输出：网络输出为 0 到 1 之间的值（Sigmoid 激活），智能体将据此决定持有、买入或做空。
• 结果观察：训练初期智能体可能会做出错误决策，随着迭代次数增加（百万级尝试），策略将逐渐收敛至最优解。

---

更多开发思路与技术细节可参考原作者的思考日志：deep_thoughts.md