Q-Trader

一种将Q学习应用于（短期）股票交易的实现。该模型使用n天的收盘价窗口来决定在给定时刻的最佳行动是买入、卖出还是持币观望。

由于采用短期状态表示，该模型在捕捉长期趋势方面表现不佳，但在预测市场高点和低点方面却相当出色。

结果

以下是一些在测试集上的示例结果：

标普500指数，2015年。盈利431.04美元。

阿里巴巴集团控股有限公司，2015年。亏损351.59美元。

苹果公司，2016年。盈利162.73美元。

谷歌公司，2017年8月。盈利19.37美元。

运行代码

要训练模型，请从Yahoo! Finance下载训练和测试CSV文件，并将其放入data/目录中：

mkdir model
python train ^GSPC 10 1000

训练完成后（至少需要200个回合才能得到结果）：

python evaluate.py ^GSPC_2011 model_ep1000

参考文献

使用Keras和Gym进行深度Q学习 - Q学习概述及智能体骨架代码

Q-Trader 快速上手指南

Q-Trader 是一个基于 Q-learning 算法实现的短期股票交易模型。它利用 n 天的收盘价窗口来判断当前最佳操作是买入、卖出还是持有。该模型擅长预测短期波峰和波谷，但不适用于长期趋势决策。

环境准备

• 系统要求：支持 Python 的操作系统（Linux / macOS / Windows）。
• 前置依赖：
  • Python 3.x
  • 必要的 Python 库（通常包括 numpy, pandas, keras, gym 等，建议参考项目 requirements.txt 若有）。
  • 网络连接（用于从 Yahoo! Finance 下载数据）。

提示：国内开发者在安装 Python 依赖时，推荐使用清华或阿里镜像源以加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：若项目根目录无 requirements.txt，请根据报错手动安装缺失库)

安装步骤

1. 克隆项目代码到本地：

   git clone https://github.com/edwardhdlu/q-trader.git
   cd q-trader
   

2. 创建模型存储目录：

   mkdir model
   

3. 准备数据： 前往 Yahoo! Finance 下载目标股票的历史数据（CSV 格式），并将训练集和测试集文件放入 data/ 目录下。

   • 例如：下载 S&P 500 (^GSPC) 的数据。

基本使用

1. 训练模型

使用以下命令开始训练。以下示例针对 ^GSPC 数据，设置窗口大小为 10，训练 1000 个回合（episodes）：

python train ^GSPC 10 1000

注意：为了获得有效的结果，建议至少训练 200 个回合（episodes）。

2. 评估模型

训练完成后（例如生成了 model_ep1000 模型文件），使用以下命令在测试集上评估模型表现：

python evaluate.py ^GSPC_2011 model_ep1000

执行后，程序将输出该时间段内的交易损益情况（如示例中的盈利 $431.04 或亏损 $351.59 等）。