MachineLearningStocks Python 版：入门项目与指南

2021年2月更新：MachineLearningStocks 已不再积极维护

MachineLearningStocks 旨在成为一个直观且高度可扩展的模板项目，用于将机器学习应用于股票预测。我希望这个项目能帮助你理解使用机器学习预测股价走势的整体工作流程，并体会其中的一些微妙之处。当然，在按照本指南操作并尝试该项目后，你绝对应该做出自己的改进——如果你苦于不知道该做什么，在本 README 末尾我附上了一份长长的可能性清单：任君挑选。

具体而言，我们将使用 pandas 清理和准备历史股价与基本面数据集，然后应用 scikit-learn 分类器来发现股票基本面（如市盈率 PE ratio、负债权益比 debt/equity、流通股 float 等）与后续年度价格变化（相对于指数）之间的关系。接着我们进行简单的回测，最后对当前数据生成预测。

虽然我不会基于这段代码的预测进行实盘交易，但我确实相信你可以将这个项目作为盈利交易系统的起点——我实际上已经使用基于该项目的代码进行实盘交易，取得了相当不错的结果（回测回报约 20%，实盘交易 10-15%）。

这个项目对我个人意义重大。这是我的第一个正式 Python 项目，是我第一次真正接触机器学习（ML, Machine Learning），也是我第一次使用 git。一开始，我的代码充斥着不良实践和低效之处：此后我已尝试修正大部分问题，但请注意可能仍存在一些小问题（欢迎提出 issue，或 fork 后提交 PR）。自从第一版以来，这个项目和我作为程序员都有了很大的成长，但总有改进的空间。

免责声明：这纯粹是一个教育性项目。请注意，回测表现往往具有欺骗性——交易风险自负！

MachineLearningStocks 预测哪些股票将跑赢大盘，但它并不建议如何最好地将它们组合成投资组合。我刚刚发布了 PyPortfolioOpt，这是一个投资组合优化库，使用经典的有效前沿技术（efficient frontier，并带有现代改进）来生成风险高效的投资组合。从预测跑赢的股票中生成最优配置可能是提高风险调整后回报的好方法。

本指南已交叉发布于我的学术博客 reasonabledeviations.com

目录

• 目录
• 概述
  • 2018年5月24日更新
  • 2019年10月更新
• 快速开始
• 准备工作
• 历史数据
  • 历史股票基本面数据
  • 历史价格数据
• 创建训练数据集
  • 预处理历史价格数据
  • 特征
    • 估值指标
    • 财务数据
    • 交易信息
  • 解析
• 回测
• 当前基本面数据
• 股票预测
• 单元测试
• 后续方向
  • 数据获取
  • 数据预处理
  • 机器学习
• 贡献

概述

使用机器学习进行股票预测的整体工作流程如下：

1. 获取历史基本面数据——这些是特征（features）或预测变量（predictors）
2. 获取历史股价数据——这将构成因变量或因变量标签（label，即我们试图预测的目标）
3. 预处理数据
4. 使用机器学习模型从数据中学习
5. 回测机器学习模型的表现
6. 获取当前基本面数据
7. 基于当前基本面数据生成预测

这是一个非常概括的概述，但原则上这就是构建基于基本面的机器学习股票预测器所需的全部内容。

2018年5月24日更新

本项目使用 pandas-datareader 从 Yahoo Finance 下载历史价格数据。然而，在过去几周里，这变得极不稳定——似乎 Yahoo 添加了一些措施来阻止批量下载其数据。我会尝试添加修复方案，但目前请注意 download_historical_prices.py 可能已弃用。

作为临时解决方案，我已上传 stock_prices.csv 和 sp500_index.csv，以便项目的其余部分仍能正常运行。

2019年10月更新

我预计经过这么长时间后会出现许多数据问题。为此，我决定上传其他 CSV 文件：keystats.csv（parsing_keystats.py 的输出）和 forward_sample.csv（current_data.py 的输出）。

快速开始

如果你想扔掉说明书立即上手，请克隆本项目，然后下载并解压 数据文件 到同一目录。接着，打开终端实例并 cd 到项目的文件路径，例如：

cd Users/User/Desktop/MachineLearningStocks

然后，在终端中运行以下命令：

pip install -r requirements.txt
python download_historical_prices.py
python parsing_keystats.py
python backtesting.py
python current_data.py
pytest -v
python stock_prediction.py

否则，请按照下面的分步指南操作。

准备工作

本项目使用 Python 3.6，以及常见的数据科学库 pandas 和 scikit-learn。如果你使用的是低于 3.6 的 Python 3.x 版本，在使用 f-strings（格式化字符串字面量）进行字符串格式化的任何地方都会遇到语法错误。这些 fortunately 很容易修复（只需使用你喜欢的方法重建字符串），但我确实鼓励你升级到 3.6，以享受 f-strings 的优雅。完整的依赖列表包含在 requirements.txt 文件中。要一次性安装所有依赖，请在终端中运行以下代码：

pip install -r requirements.txt

首先，克隆本项目并解压。该文件夹将成为我们的工作目录，因此请确保将终端实例 cd 到此目录中。

历史数据

数据获取和预处理可能是大多数机器学习项目中最困难的部分。但这是必要的，所以最好不要烦恼，继续前进。

对于这个项目，我们需要三个数据集：

1. 历史股票基本面数据（Historical stock fundamentals）
2. 历史股票价格数据（Historical stock prices）
3. 历史标普500指数价格（Historical S&P500 prices）

我们需要标普500指数价格作为基准：如果标普500在同一时期增长了10%，那么5%的股票增长就没有太大意义，因此所有股票收益都必须与该指数进行比较。

历史股票基本面数据

历史基本面数据实际上很难找到（至少免费的很难找到）。虽然像 Quandl 这样的网站确实有数据集可用，但你通常需要支付相当高的费用。

事实证明，有一种方法可以从 Yahoo Finance 免费解析这些数据。我不会详细介绍，因为 Sentdex 已经为我们完成了这项工作。在他的页面上，你可以找到一个名为 intraQuarter.zip 的文件，你应该下载、解压，并将其放在你的工作目录中。与该项目相关的是名为 _KeyStats 的子文件夹，其中包含 HTML 文件，保存了2003年至2013年间标普500所有股票的基本面数据，按股票分类。然而，在这个阶段，数据还无法使用——我们必须将其解析为格式良好的 CSV 文件，然后才能进行任何机器学习（ML, Machine Learning）。

历史价格数据

在项目的第一次迭代中，我使用了 pandas-datareader，这是一个极其方便的库，可以将股票数据直接加载到 pandas 中。然而，在雅虎财经更改其用户界面后，datareader 不再工作，所以我转而使用 Quandl，它有一些股票代码的免费股票价格数据，以及 Python API。但是，由于 pandas-datareader 已经修复，我们将改用这个。

同样，我们可以轻松使用 pandas-datareader 访问 SPY 股票代码的数据。如果不行，可以手动从 yahoo finance 下载，放入项目目录并重命名为 sp500_index.csv。

可以通过在终端中输入以下命令来运行下载历史价格数据的代码：

python download_historical_prices.py

创建训练数据集

我们对训练数据的最终目标是拥有特定股票在特定时间的基本面"快照"，以及该股票相应的后续年度表现。

例如，如果我们的"快照"包含2005年1月28日 AAPL 的所有基本面数据，那么我们还需要知道 AAPL 在2005年1月28日至2006年1月28日之间的价格变化百分比。这样我们的算法就可以学习基本面如何影响股票价格的年度变化。

事实上，这稍微简化了。实际上，算法最终要学习的是基本面如何影响股票相对于标普500指数的超额收益（outperformance）。这就是为什么我们还需要指数数据。

预处理历史价格数据

当 pandas-datareader 下载股票价格数据时，它不包含周末和公共假期（市场关闭时）的行。

然而，参考上面 AAPL 的例子，如果我们的快照包含2005年1月28日的基本面数据，我们想看看一年后的价格变化，我们会得到一个令人不快的惊喜：2006年1月28日是星期六。这是否意味着我们必须丢弃这个快照？

绝不是——数据太宝贵了，不能随意丢弃。作为变通方案，我决定"向前填充（fill forward）"缺失的数据，即我们假设2006年1月28日星期六的股票价格等于2006年1月27日星期五的股票价格。

特征（Features）

以下是雅虎财经上可用的一些有趣变量列表。

估值指标（Valuation measures）

• 'Market Cap'（市值）
• Enterprise Value（企业价值）
• Trailing P/E（市盈率，过去12个月）
• Forward P/E（远期市盈率）
• PEG Ratio（市盈率相对盈利增长比率）
• Price/Sales（市销率）
• Price/Book（市净率）
• Enterprise Value/Revenue（企业价值/收入）
• Enterprise Value/EBITDA（企业价值/息税折旧摊销前利润）

财务数据（Financials）

• Profit Margin（利润率）
• Operating Margin（营业利润率）
• Return on Assets（资产收益率，ROA）
• Return on Equity（净资产收益率，ROE）
• Revenue（收入）
• Revenue Per Share（每股收入）
• Quarterly Revenue Growth（季度收入增长）
• Gross Profit（毛利润）
• EBITDA（息税折旧摊销前利润）
• Net Income Avi to Common（归属于普通股股东的净利润）
• Diluted EPS（稀释每股收益）
• Quarterly Earnings Growth（季度盈利增长）
• Total Cash（现金总额）
• Total Cash Per Share（每股现金总额）
• Total Debt（总债务）
• Total Debt/Equity（债务权益比）
• Current Ratio（流动比率）
• Book Value Per Share（每股账面价值）
• Operating Cash Flow（经营现金流）
• Levered Free Cash Flow（杠杆自由现金流）

交易信息（Trading information）

• Beta（贝塔系数）
• 50-Day Moving Average（50日移动平均线）
• 200-Day Moving Average（200日移动平均线）
• Avg Vol (3 month)（3个月平均成交量）
• Shares Outstanding（流通股数）
• Float（流通股本）
• % Held by Insiders（内部人士持股比例）
• % Held by Institutions（机构持股比例）
• Shares Short（空头股数）
• Short Ratio（空头比率）
• Short % of Float（空头占流通股本比例）
• Shares Short (prior month)（上月空头股数）

解析（Parsing）

然而，所有这些数据都被锁定在 HTML 文件中。因此，我们需要构建一个解析器。在这个项目中，我使用正则表达式（regex, Regular Expression）进行解析，但请注意，通常非常不建议使用正则表达式解析 HTML。然而，我认为正则表达式在易于理解方面可能更胜一筹（本项目具有教育性质），而且根据经验，正则表达式在这种情况下工作正常。

这是使用的确切正则表达式：

r'>' + re.escape(variable) + r'.*?(\-?\d+\.*\d*K?M?B?|N/A[\\n|\s]*|>0|NaN)%?(</td>|</span>)'

虽然看起来很晦涩，但它所做的只是搜索特征的第一次出现（例如"Market Cap"），然后向前查找，直到找到一个数字紧跟着 </td> 或 </span>（表示表格条目的结束）。上述表达式的复杂性考虑了解析中的一些细微之处：

• 数字前面可能有负号
• 雅虎财经有时使用 K、M 和 B 分别作为千、百万和十亿的缩写
• 一些数据以百分比形式给出
• 某些数据点缺失，因此我们必须寻找"N/A"或"NaN"而不是数字

价格数据的预处理和基本面数据（keystats）的解析都包含在 parsing_keystats.py 中。在终端中运行以下命令：

python parsing_keystats.py

你应该会看到 keystats.csv 文件出现在你的工作目录中。现在我们已经准备好了训练数据，可以真正进行机器学习了。

回测（Backtesting）

回测可以说是任何量化策略中最重要的部分：在实盘交易之前，你必须有某种方式来测试算法的性能。

尽管回测很重要，但我最初并不想在这个仓库中包含回测代码。原因如下：

• 回测是混乱且经验性的。代码使用起来不太友好，实际上需要大量手动交互。
• 回测很难做对，如果做错了，你会被高回报所欺骗。
• 开发和处理回测可能是学习机器学习和股票的最佳方式——你会看到什么有效、什么无效，以及你不懂什么。

尽管如此，由于回测的重要性，我认为如果没有回测，就不能真正称之为"机器学习股票项目模板"。因此，我包含了一个简化的回测脚本。请注意，这个回测实现存在一个致命缺陷，会导致回测回报高得多。这是一个相当微妙的点，但我让你自己去发现 :)

在终端中运行以下命令：

python backtesting.py

你应该会得到类似这样的结果：

Classifier performance
======================
Accuracy score:  0.81
Precision score:  0.75

Stock prediction performance report
===================================
Total Trades: 177
Average return for stock predictions:  37.8 %
Average market return in the same period:  9.2%
Compared to the index, our strategy earns  28.6 percentage points more

再次强调，这个表现看起来好得令人难以置信，几乎肯定是这样。

当前基本面数据（Current fundamental data）

现在我们已经用数据训练并回测了模型，我们希望对当前数据生成实际预测。

像往常一样，我们可以从老牌的雅虎财经（Yahoo Finance）抓取数据。我的方法实际上是直接下载每只股票的数据统计页面（这是苹果公司的页面），然后像以前一样使用正则表达式（regex）进行解析。

事实上，正则表达式应该几乎相同，但由于雅虎多次更改了他们的用户界面（UI），存在一些细微差异。每当雅虎财经更改其UI时，项目的这部分就需要修复，所以如果你无法让项目运行，问题很可能出在这里。

在终端中运行以下命令：

python current_data.py

然后脚本会开始将HTML下载到工作目录下的forward/文件夹中，然后解析这些数据并输出文件forward_sample.csv。你可能会看到某些股票代码的一些杂项错误（例如"Exceeded 30 redirects."），但这是正常的。

股票预测（Stock prediction）

现在我们有了训练数据和当前数据，终于可以生成实际预测了。项目的这部分非常简单：你只需要决定OUTPERFORMANCE参数的值（一只股票必须跑赢标普500指数（S&P500）的百分比才被视为"买入"）。我默认将其设置为10，但可以通过修改文件顶部的变量轻松更改。继续运行脚本：

python stock_prediction.py

你应该会得到类似这样的结果：

21 stocks predicted to outperform the S&P500 by more than 10%:
NOC FL SWK NFX LH NSC SCHL KSU DDS GWW AIZ ORLY R SFLY SHW GME DLX DIS AMP BBBY APD

单元测试（Unit testing）

我包含了一些单元测试（在tests/文件夹中），用于检查一切是否正常运行。然而，由于项目某些功能的性质（下载大型数据集），在运行测试之前，你必须先运行所有代码一次。否则，测试本身将不得不下载大量数据（我认为这不是最优的）。

因此，我建议你在运行了所有其他脚本之后（可能除了stock_prediction.py）再运行测试。

要运行测试，只需在项目目录的终端实例中输入以下内容：

pytest -v

请注意，在tests/目录中包含__init__.py文件被认为不是最佳实践（详见此处），但我还是这样做了，因为它简单且实用。

下一步方向（Where to go from here）

我说过这个项目是可扩展的，所以这里有一些想法可以帮助你开始，并可能提高回报（不保证）。

数据获取（Data acquisition）

我个人相信，更高质量的数据是决定你表现的最终因素。以下是一些想法：

• 探索Sentdex的intraQuarter.zip中的其他子文件夹。
• 解析所有公司向SEC（美国证券交易委员会）提交的年度报告（查看Edgar数据库）
• 尝试找到可以抓取基本面数据的网站（这是我的解决方案）。
• 放弃美股，走向全球——也许在流动性较低的市场中能找到更好的结果。看看特征的预测能力是否因地理位置而异，这将很有趣。
• 购买Quandl数据，或尝试另类数据（alternative data）。

数据预处理（Data preprocessing）

• 使用BeautifulSoup构建更强大的解析器
• 在这个项目中，我只是忽略了任何缺失数据的行，但这大大减少了数据集的大小。有什么方法可以填补其中一些数据吗？
  • 提示：如果市盈率（PE ratio）缺失，但你知道股价和每股收益……
  • 提示2：苹果公司3月份的账面价值（book value）与6月份的账面价值有多大不同？
• 某种形式的特征工程（feature engineering）
  • 例如，计算格雷厄姆数（Graham's number）并将其用作特征
  • 有些特征可能是冗余的。为什么不删除它们以加快训练速度？
• 加快keystats.csv的构建速度。
  • 提示：不要不断追加到一个不断增长的数据框（dataframe）中！将其分块处理

机器学习

修改机器学习部分可能是最简单且最有趣的环节。

• 如果你认真对待结果，最重要的事情是找出当前回测（backtesting）设置中的问题并加以修复。这可能会是一次相当清醒的体验，但如果你的回测做得正确，这意味着在测试集上观察到的任何超额收益（outperformance）都可以用于实际交易（再次提醒，请自行判断风险）。
• 尝试不同的分类器（classifier）——有大量研究支持使用支持向量机（SVM, Support Vector Machine）等方法。不要忘记其他分类器可能需要特征缩放（feature scaling）等预处理。
• 超参数调优（Hyperparameter tuning）：使用网格搜索（gridsearch）为你的分类器找到最优超参数。但要确保不要过拟合（overfit）！
• 让它更深度——尝试神经网络（neural network）（一个简单的入门方式是使用 sklearn.neural_network）。
• 将分类问题转化为回归（regression）问题：如果我们尝试预测股票的收益率（return）而不是它是否跑赢大盘，会取得更好的结果吗？
• 多次运行预测（也许使用不同的超参数？），并选择投资中最常见的k只股票。如果算法不是确定性的（如随机森林 Random Forest 的情况），这一点尤为重要。
• 尝试不同的 outperformance 参数值。
• 我们真的应该尝试预测原始收益吗？如果一只股票实现了20%的收益，但是通过高波动性（volatile）实现的，会发生什么？
• 尝试绘制不同特征的重要性，以"看看机器看到了什么"。

贡献

欢迎随意 fork、尝试修改并提交 PR（Pull Request）。我非常感谢任何错误修复或更多的单元测试。

这个项目最初基于 Sentdex 优秀的机器学习教程，但此后已大幅演进，代码几乎完全不同。完整系列也可在他的网站上找到。

---

想了解更多类似内容，请访问我的学术博客 reasonabledeviations.com/。

MachineLearningStocks 快速上手指南

环境准备

项目	要求
Python 版本	3.6+（必须支持 f-string）
操作系统	Windows / macOS / Linux
核心依赖	pandas, scikit-learn, pandas-datareader

安装步骤

1. 克隆项目

git clone https://github.com/surelyourejoking/MachineLearningStocks.git
cd MachineLearningStocks

2. 安装依赖

# 国内用户建议使用清华镜像加速
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载数据文件

从 PythonProgramming.net 下载 intraQuarter.zip，解压到项目根目录。

若 Yahoo Finance 接口不稳定，项目已内置 stock_prices.csv 和 sp500_index.csv 备用数据。

基本使用

快速运行（推荐）

按顺序执行以下命令：

# 下载历史股价数据
python download_historical_prices.py

# 解析基本面数据，生成训练集
python parsing_keystats.py

# 回测模型性能
python backtesting.py

# 获取当前基本面数据
python current_data.py

# 运行单元测试
pytest -v

# 生成股票预测
python stock_prediction.py

核心流程说明

步骤	脚本	输出
数据获取	download_historical_prices.py	历史股价 CSV
特征工程	parsing_keystats.py	keystats.csv（训练集）
回测验证	backtesting.py	回测性能报告
当前数据	current_data.py	forward_sample.csv
预测生成	stock_prediction.py	股票预测结果

关键特征变量

项目使用以下三类基本面指标：

• 估值指标：市盈率（P/E）、市净率（P/B）、PEG 比率、企业价值/EBITDA 等
• 财务指标：利润率、ROE、ROA、负债权益比、现金流等
• 交易指标：Beta、均线、换手率、做空比例、机构持仓等

输出解读

stock_prediction.py 最终输出为预测跑赢标普 500 的股票列表，格式示例：

预测 outperform 的股票：
- AAPL: 0.82
- MSFT: 0.79
...

数值为分类器预测概率，越高表示模型置信度越强。

---

⚠️ 风险提示：本项目仅供教育用途，回测表现不代表实际收益，实盘交易风险自负。