Surpriver - 在股票大幅波动前发现高动量个股

利用异常检测和机器学习技术，在股票价格出现大幅波动之前，提前识别出高动量个股。Surpriver 通过机器学习分析成交量与价格走势，挖掘可能引发股价大幅波动的异常模式。

文件说明

路径	描述
surpriver	主文件夹。
└  dictionaries	用于保存数据字典以便后续使用的文件夹。
└  figures	本 GitHub 仓库中的图表文件。
└  stocks	您希望分析的所有股票列表。
data_loader.py	从 Yahoo Finance 加载数据的模块。
detection_engine.py	主要模块，用于对数据进行异常检测，并找出价格和成交量模式最异常的股票。
feature_generator.py	生成价格和成交量收益率特征以及大量技术指标。

使用方法

依赖包

您需要安装以下软件包来训练和测试模型：

• Scikit-learn
• Numpy
• Tqdm
• Yfinance
• Pandas
• Scipy
• Ta

您可以使用以下命令一次性安装所有依赖包。请注意，该脚本是基于 Python 3 编写的。

pip install -r requirements.txt

使用 Docker 运行

如果您熟悉 Docker 并了解其使用方法，也可以选择使用 Docker 来运行本工具。以下是使用 Docker 运行该工具的步骤：

• 首先构建容器：docker build . -t surpriver
• 然后将 docker-compose.yml.template 文件复制为新的 docker-compose.yml 文件。
• 将 <C:\\path\\to\\this\\dir> 替换为您当前的工作目录。
• 启动容器：docker-compose up -d
• 在执行以下任何命令时，请在命令前加上 docker exec -it surpriver。

今日预测结果

如果您想直接获取今日最异常的股票，只需运行以下命令即可得到具有最异常模式的股票列表。我们将在后续章节中更详细地介绍该命令。

获取今日最异常的股票

当您尚未保存数据字典且首次运行时：

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 0 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 1 --is_test 0 --future_bars 0

此命令将为您提供在过去 14 根 60 分钟 K 线 中异常得分最高的 25 只股票。同时，它会将用于预测的所有数据存储到 dictionaries/data_dict.npy 文件中。以下是各参数的详细说明：

• top_n：您希望查看的最异常股票总数。
• min_volume：成交量过滤条件。平均成交量低于此值的股票将被忽略。
• data_granularity_minutes：用于分析的数据粒度。可选值包括 1 分钟、5 分钟、15 分钟、30 分钟、60 分钟。
• history_to_use：用于分析异常模式的历史 K 线数量。
• is_save_dictionary：是否将用于分析的股票数据保存为字典。启用此选项可以在后续进一步分析数据时节省时间。
• data_dictionary_path：数据字典的保存路径。
• is_load_from_dictionary：是从数据字典加载数据，还是直接从 Yahoo Finance 下载数据。您可以在此处使用之前保存的数据字典进行多次运行。
• is_test：您可以通过保留部分近期数据作为未来数据，来测试预测的准确性，即观察预测出的最异常股票在未来是否确实出现了较大波动。如果此值为 1，则 future_bars 的值应大于 5。
• future_bars：从近期历史数据中保留一定数量的 K 线用于测试。
• output_format：结果输出格式。如果选择 CLI，结果将打印到控制台；如果选择 JSON，则会生成一个包含当日结果的 JSON 文件。默认为 CLI。

当您已保存数据字典时，只需运行以下命令：

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 1 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 0 --is_test 0 --future_bars 0 --output_format 'CLI'

请注意 is_save_dictionary 和 is_load_from_dictionary 参数的变化。

以下是一个单次预测结果的示例。请注意，负分表示更高的异常和不寻常模式，而正分则表示正常模式。分数越低越好。

最后一根 K 线时间：2020-08-25 11:30:00-04:00
股票代码：SPI
异常得分：-0.029
今日成交量（今日指上述日期）：313.94K
过去 5 天平均成交量：206.53K
过去 20 天平均成交量：334.14K
过去 5 根 K 线波动率：0.013
过去 20 根 K 线波动率：0.038
未来绝对价格变动总和：72.87

历史数据测试

如果你对在交易中使用机器学习和人工智能持怀疑态度，实际上你可以用历史数据来测试该工具的预测结果。用于测试的两个最重要的命令行参数是 is_test 和 future_bars。如果将前者设置为 1，并将后者设置为大于 5 的值，那么该工具会留出相应数量的数据用于分析，并利用这些数据之前的记录来进行异常检测预测。随后，它会查看剩余的数据，以评估预测的效果如何。以下是根据以下命令生成的散点图示例。

查找异常股票并在历史数据上进行测试

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 0 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 1 --is_test 1 --future_bars 25

如果你已经生成了数据字典，可以使用以下命令，其中我们将 is_load_from_dictionary 设置为 1，而 is_save_dictionary 设置为 0。

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 1 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 0 --is_test 1 --future_bars 25

如上图所示，异常股票（得分 < 0）在未来平均而言往往具有更高的绝对涨跌幅。这证明了该工具的预测确实针对那些在未来几小时/几天内波动幅度高于平均水平的股票。这里有一个问题：会不会是因为该工具只是挑选出了波动性最高的股票，而这类股票自然会在未来产生较大的绝对涨跌幅呢？为了证明并非如此，以下是上述命令所得到的更详细统计信息：

--> 未来表现
未来绝对涨跌幅与异常分数之间的相关系数（越低越好，范围为 (-1, 1)）：**-0.23**
异常股票未来的总绝对涨跌幅：**89.660**
正常股票未来的总绝对涨跌幅：**43.000**
异常股票的未来平均波动率：**0.332**
正常股票的未来平均波动率：**0.585**
异常股票的历史波动率：**2.528**
正常股票的历史波动率：**2.076**

可以看出，正常股票与异常股票的历史波动率相差并不大。然而，异常股票的未来总绝对涨跌幅却是正常股票的两倍。

对加密货币的支持

现在你可以指定要使用的数据源以及对应的股票列表。

python detection_engine.py --top_n 25 --min_volume 500 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 0 --data_dictionary_path 'dictionaries/feature_dict.npy' --is_save_dictionary 1 --is_test 0 --future_bars 0  --data_source binance --stock_list cryptos.txt

• data_source：指定从哪里获取数据，目前支持的选项有 binance 和 yahoo_finance（默认）。
• stocks_list：stocks 目录下哪个文件包含待分析的股票代码列表。默认为 stocks.txt。

结果

我们将每周发布一组参数下的前 25 名结果。

2020年8月31日至9月5日：https://pastebin.com/L5T2BYUx

局限性

该工具仅能发现价格和成交量组合行为异常的股票，而无法预测股票的具体走势方向。这可能是我未来会实现的功能，但目前你仍需结合图表并进行自己的基本面和技术面分析来判断股价走向。

许可证

由 Tradytics 制作

版权所有 © 2020 至今，Tradytics.com

Surpriver 快速上手指南

Surpriver 是一个利用异常检测和机器学习技术，通过分析成交量与价格行为来识别潜在大幅波动股票的开源工具。它能帮助你在股价大幅变动前发现异常模式。

环境准备

系统要求

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.x (推荐 Python 3.8+)
• 可选容器化：Docker & Docker Compose (如果你偏好容器化部署)

前置依赖

本项目依赖以下 Python 库：

• Scikit-learn
• Numpy
• Tqdm
• Yfinance (用于获取雅虎财经数据)
• Pandas
• Scipy
• Ta (技术分析指标库)

国内加速建议：在安装依赖时，建议使用国内镜像源（如清华源或阿里源）以提升下载速度。

安装步骤

方式一：直接安装 (推荐)

1. 克隆项目代码到本地。
2. 进入项目目录，使用 pip 安装依赖。

# 使用国内镜像源安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 Docker

如果你熟悉 Docker，可以使用容器化运行：

1. 构建镜像：

   docker build . -t surpriver
   

2. 配置 compose 文件： 将 docker-compose.yml.template 复制为 docker-compose.yml，并修改其中的路径占位符 <C:\\path\\to\\this\\dir> 为你当前的工作目录绝对路径。

3. 启动容器：

   docker-compose up -d
   

   注：后续运行命令时，需在命令前加上 docker exec -it surpriver。

基本使用

获取今日最异常的股票

这是最常用的场景：扫描市场，找出过去一段时间内价格和成交量模式最异常的前 N 只股票。

场景 A：首次运行（无缓存数据）

该命令会从 Yahoo Finance 下载数据，进行分析，并将数据字典保存到本地以便下次复用。

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 0 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 1 --is_test 0 --future_bars 0

参数解读：

• --top_n 25: 返回异常得分最高的 25 只股票。
• --min_volume 5000: 过滤掉平均成交量低于 5000 的股票。
• --data_granularity_minutes 60: 使用 60 分钟 K 线数据进行分析 (可选: 1, 5, 15, 30, 60)。
• --history_to_use 14: 分析最近 14 根 K 线的历史数据。
• --is_save_dictionary 1: 保存处理后的数据字典，加速后续运行。

场景 B：已有缓存数据（快速运行）

如果你已经运行过上述命令并生成了 data_dict.npy，可以直接加载数据进行快速预测：

python detection_engine.py --top_n 25 --min_volume 5000 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 1 --data_dictionary_path 'dictionaries/data_dict.npy' --is_save_dictionary 0 --is_test 0 --future_bars 0 --output_format 'CLI'

结果解读

运行成功后，终端将输出类似以下的信息：

Last Bar Time: 2020-08-25 11:30:00-04:00
Symbol: SPI
Anomaly Score: -0.029
Today Volume (Today = Date Above): 313.94K
Average Volume 5d: 206.53K
...
Future Absolute Sum Price Changes: 72.87

关键点说明：

• Anomaly Score (异常得分)：分数越低（负值越大），表示异常程度越高。正数通常代表正常模式。
• 功能限制：该工具仅识别“异常波动”，不预测涨跌方向。你需要结合图表和其他基本面分析（DD）来判断是做多还是做空。

进阶：加密货币支持

Surpriver 也支持加密货币数据（需指定数据源和代币列表）：

python detection_engine.py --top_n 25 --min_volume 500 --data_granularity_minutes 60 --history_to_use 14 --is_load_from_dictionary 0 --data_dictionary_path 'dictionaries/feature_dict.npy' --is_save_dictionary 1 --is_test 0 --future_bars 0  --data_source binance --stock_list cryptos.txt