安装库

使用 pip install -U git+https://github.com/emoen/Machine-Learning-for-Asset-Managers 命令进行安装。

>>> from Machine_Learning_for_Asset_Managers import ch2_fitKDE_find_best_bandwidth as c
>>> import numpy as np
>>> c.findOptimalBWidth(np.asarray([21,3]))
{'bandwidth': 10.0}

资产管理者的机器学习

本项目实现了由Marcos López de Prado教授所著的《资产管理者的机器学习（量化金融要素）》一书中代码片段及习题的实现。该书链接为：https://www.amazon.com/Machine-Learning-Managers-Elements-Quantitative/dp/1108792898。

此项目主要用于个人学习。若希望直接应用书中的概念，建议前往Hudson & Thames公司，他们已在mlfinlab中实现了这些概念及其他更多内容。

如需实际应用，请参考以下仓库：Machine-Learning-for-Asset-Managers-Oslo-Bors。

注意：在第4章中，书中“最优聚类数”算法（ONC）的实现存在一个错误。（论文《利用无监督学习方法检测虚假投资策略》，de Prado和Lewis，2018年中的代码与此不同，但同样不正确）。相关讨论请见：https://quant.stackexchange.com/questions/60486/bug-found-in-optimal-number-of-clusters-algorithm-from-de-prado-and-lewis-201。

ONC采用的子空间分治法可能存在潜在问题：当将某个子空间嵌入到具有较大特征值的空间中时，较大的空间可能会扭曲子空间中发现的聚类结构。ONC正是将子空间嵌入到由相关性矩阵中最大特征值构成的空间中，从而导致这一问题。更严谨的问题描述可参见：https://math.stackexchange.com/questions/4013808/metric-on-clustering-of-correlation-matrix-using-silhouette-score/4050616#4050616。

因此，应进一步研究其他聚类算法，例如层次聚类。

第2章 去噪与去偏

马尔琴科-帕斯图尔理论概率密度函数与经验密度函数：

图2.1：马尔琴科-帕斯图尔理论概率密度函数与经验密度函数：

使用恒定残差特征值法对含信号的随机矩阵进行去噪。该方法通过固定随机特征值来实现。具体参见代码片段2.5。

图2.2：应用残差特征值法前后特征值的对比：

经过去偏后的协方差矩阵可用于计算最小方差组合。有效前沿是自最小方差组合开始的最小方差前沿的上半部分。而经去噪处理后的协方差矩阵则更为稳定，不易受变化影响。

注：练习2.7：“扩展代码片段2.2中的fitKDE函数，使其能够通过交叉验证估计最佳带宽（bWidth）”。

脚本ch2_fitKDE_find_bandwidth.py实现了上述过程，并生成了图2.3中的绿色核密度估计曲线：

图2.3：计算得到的带宽（绿线）与直方图、PDF曲线。绿线更加平滑。找到的带宽为：0.03511191734215131

来自代码片段2.3——含信号的随机矩阵：直方图展示了含信号的随机矩阵特征值的分布情况。随后，以fitKDE作为经验密度函数，计算理论概率密度函数的方差。因此，找到fitKDE中合适的带宽值，对于确定理论MP-PDF最可能的方差至关重要。

图2.4：含信号特征值的直方图与PDF曲线

第3章 距离度量

• 距离度量的定义：
  1. 不可区分元素同一性：d(x,y) = 0 => x=y
  2. 对称性：d(x,y) = d(y,x)
  3. 三角不等式。
  • 1、2、3共同保证非负性：d(x,y) >= 0
• 皮尔逊相关系数
• 距离相关系数
• 角距离
• 信息论中的共依存/熵依赖
  • 交叉熵：H[X] = - Σ_{s ∈ SX} p[x] log (p[x])
  • 基拉巴-莱布勒散度：D_KL[p||q] = - Σ_{s ∈ SX} p[x] log (q[x]/p[x]) = p[x] Σ_{s ∈ S} log (p[x]/q[x])
  • 交叉熵：H_c[p||q] = H[x] = D_KL[p||q]
  • 互信息：已知Y后X的不确定性降低：I[X,Y] = H[X] - H[X|Y] = H[X] + H[Y] - H[X,Y] = E_X[D_KL[p[y|x]||p[y]]]
  • 信息差异：VI[X,Y] = H[X|Y] + H[Y|X] = H[X,Y] - I[X,Y]。它是给定一个变量时另一个变量的预期不确定性：VI[X,Y] = 0 <=> X=Y
  • 基拉巴-莱布勒散度并非距离度量，而信息差异则是。

>>> ss.entropy([1./2,1./2], base=2)
1.0
>>> ss.entropy([1,0], base=2)
0.0
>>> ss.entropy([1./3,2./3], base=2)
0.9182958340544894

1. 抛硬币时的信息量为1比特
2. 确定性结果的信息量为0比特
3. 不公平抛硬币时的信息量小于1比特

• 角距离：p_d = sqrt(1/2 - (1-rho(X, Y)))
• 绝对角距离：p_d = sqrt(1/2 - (1-|rho|(X, Y)))
• 平方角距离：p_d = sqrt(1/2 - (1-rho^2(X, Y)))

标准角距离更适合用于多头投资组合的应用场景。而平方角距离和绝对角距离则更适合多空投资组合。

第4章 最优聚类

使用无监督学习方法，最大化组内相似性并最小化组间相似性。考虑形状为N×F的矩阵X，其中N表示对象数量，F表示特征数量。利用这些特征计算N个对象之间的邻近度（相关性、互信息），形成一个N×N的邻近度矩阵。

聚类算法主要分为两类：划分式和层次式：

1. 连通性：层次聚类
2. 质心：如K均值聚类
3. 分布：高斯混合模型
4. 密度：寻找连通的密集区域，如DBSCAN、OPTICS
5. 子空间：基于特征和观测两个维度建模。示例

生成随机块状相关性矩阵用于模拟具有相关性的金融工具。代码片段4.3展示了这一用途，并结合了片段4.1和4.2中定义的“最优聚类数”（ONC）算法。该算法无需预先设定聚类数量（与K均值不同），而是采用“肘部法”来确定停止增加聚类的时机。当组内相关性较高而组间相关性较低时，即可得到最优聚类数。轮廓系数被用来最小化组内距离并最大化组间距离。

随机块状相关性矩阵。浅色表示高相关性，深色表示低相关性。在本例中，块数K=6，最小块大小minBlockSize=2，金融工具数量N=30
将ONC算法应用于随机块状相关性矩阵。ONC能够找到所有聚类。

第5章 金融标签

• 固定时间窗口法
• 时间柱法
• 成交量柱法

三重屏障法是指持仓直到：

1. 未实现盈利目标达成
2. 未实现亏损达到上限
3. 持仓超过最大柱数限制

趋势扫描法的核心思想是识别趋势，并让其持续运行，直至趋势不再有效，而不设置任何障碍。

带有高斯噪声的正弦波上的趋势扫描标签示例：

使用t值进行趋势扫描，t值反映了对趋势的信心。1表示高度看涨，-1表示高度看跌。

书中介绍的向前看算法之外，另一种方法是从最新数据点开始，向后回溯至指定窗口大小的数据范围。例如，若最新数据点位于索引20处，窗口大小为3到10天，则向后算法会从索引17至20逐次回溯至索引11至20，从而仅考虑最近期的信息。

使用向后回溯方式的趋势扫描及t值

第6章 特征重要性分析

“p值并不衡量原假设或备择假设不成立的概率，也不代表结果的重要性。”

在一组包含信息性、冗余性和噪声性解释变量上计算的p值。解释变量并未呈现最高的p值。

“回测并非研究工具，特征重要性才是。”（洛佩兹·德·普拉多）平均不纯度减少（MDI）算法解决了p值存在的四个问题中的三个：

1. MDI不依赖于树结构、代数表达式，也不依赖于残差的随机性或分布特性（如y=b₀+b₁*x_i+ε）。
2. 通常单一样本估计出的贝塔系数方差较大，而MDI通过随机森林集成中的多棵树进行自助采样，从而降低方差。
3. 在MDI中，目标不是估计描述原假设概率的代数方程系数（b_hat_0、b_hat_1）。
4. MDI不进行交叉验证，因此无法纠正样本内计算偏差。

MDI算法示例

图6.4显示，ONC正确识别出六个相关聚类（每个信息性特征对应一个聚类，再加上一个噪声特征聚类），并将冗余特征归入其源自的信息性特征所在的聚类。由于各聚类间的相关性较低，无需用残差替换原有特征。

接下来，将聚类后的MDI方法应用于聚类后的数据：

图6.5 聚类后的MDI

相比非聚类的MDI，聚类后的MDI效果更好。最后，将聚类后的MDA方法应用于同一数据：

图6.6 聚类后的MDA

结论：与噪声特征相关的C_5聚类并不重要，其余各聚类的重要性相近。

第7章 投资组合构建

凸优化方法可用于计算最小方差投资组合和最大夏普比率投资组合。

条件数的定义：最大特征值与最小特征值之比的绝对值，即A_n_n / A_m_m。条件数反映了由协方差结构引起的不稳定程度。

迹的定义：矩阵对角线元素之和，即trace = sum(diag(A))。

高度相关的时序数据会导致相关性矩阵的条件数较高。

马科维茨的诅咒

相关性矩阵C只有在相关系数$\ro = 0$——即完全不相关时——才是稳定的。

分层风险平价（HRP）在样本外蒙特卡洛实验中表现优于马科维茨模型，但在样本内却并非最优。

代码片段7.1展示了由信号引起的相关性矩阵不稳定现象。

>>> corr0 = mc.formBlockMatrix(2, 2, .5)
>>> corr0
array([[1. , 0.5, 0. , 0. ],
       [0.5, 1. , 0. , 0. ],
       [0. , 0. , 1. , 0.5],
       [0. , 0. , 0.5, 1. ]])
>>> eVal, eVec = np.linalg.eigh(corr0)
>>> print(max(eVal)/min(eVal))
3.0

图7.1 块对角相关性矩阵热图

代码片段7.2创建了相同的块对角矩阵，但其中一个区块占主导地位。然而，条件数仍然相同。

>>> corr0 = block_diag(mc.formBlockMatrix(1,2, .5))
>>> corr1 = mc.formBlockMatrix(1,2, .0)
>>> corr0 = block_diag(corr0, corr1)
>>> corr0
array([[1. , 0.5, 0. , 0. ],
       [0.5, 1. , 0. , 0. ],
       [0. , 0. , 1. , 0. ],
       [0. , 0. , 0. , 1. ]])
>>> eVal, eVec = np.linalg.eigh(corr0)
>>> matrix_condition_number = max(eVal)/min(eVal)
>>> print(matrix_condition_number)
3.0

这表明，仅降低两个区块中的一个区块内部的相关性，并不能降低矩阵的条件数。这也说明，马科维茨解中的不稳定性可以追溯到那些占主导地位的区块。

图7.2 占主导地位的块对角相关性矩阵热图

嵌套聚类优化算法（NCO）

NCO提供了一种策略，用于解决马科维茨诅咒对现有均值方差配置方法的影响。

1. 步骤：对相关性矩阵进行聚类
2. 步骤：使用去噪后的协方差矩阵计算簇内最优配置
3. 步骤：使用接近对角矩阵的简化协方差矩阵计算簇间最优配置，此时优化问题接近于理想化的马科维茨情形，即当$\ro$ = 0时

第8章 测试集过拟合

回测是对投资策略在过去表现的一种历史模拟。在多重测试的情况下，回测会受到选择偏差的影响：研究人员会在历史数据上运行数百万次测试，并报告其中表现最好的结果（即过拟合的结果）。本章研究如何衡量选择偏差的影响。

精确率与召回率

多重测试下的精确率与召回率

夏普比率

夏普比率 = μ/σ

“虚假策略”定理

研究人员可能会运行大量历史模拟，并只报告表现最佳的一次（最大夏普比率）。然而，最大夏普比率的分布并不等于预期的夏普比率。因此，存在多重重复测试下的选择偏差（SBuMT）。

实验结果

一项蒙特卡洛实验表明，即使预期夏普比率是0（E[sharp_ratio]），最大夏普比率的期望值也会增加（E[max(sharp_ratio)] = 3.26）。这意味着，即便实际上并不存在有效的投资策略，某些策略仍可能显得颇具前景。

当进行多次试验时，最大夏普比率的期望值将高于随机试验中夏普比率的期望值（当真实夏普比率=0且方差>0时）。

图8.1 虚假策略定理的实验结果与理论结果对比

通胀夏普比率

“虚假策略”定理的主要结论是：除非$max_k{SR^_k}>>E[max_k{SR^_k}]$，否则所发现的策略很可能是假阳性。

多重测试下的第二类错误

第一类错误与第二类错误之间的相互作用

附录A：基于合成数据的测试

无论是通过重采样还是蒙特卡洛方法

Machine-Learning-for-Asset-Managers 快速上手指南

本指南旨在帮助中国开发者快速安装并使用 Machine-Learning-for-Asset-Managers 库。该库实现了 Marcos López de Prado 教授著作《Machine Learning for Asset Managers》中的代码片段和练习，专注于量化金融中的机器学习应用（如去噪、距离度量、聚类和特征重要性分析）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows。
• Python 版本：推荐 Python 3.7 及以上版本。
• 前置依赖：
  • pip (Python 包管理工具)
  • numpy (用于数值计算，库内部会自动处理部分依赖，但建议预先安装)
  • git (用于从 GitHub 直接安装)

提示：国内用户若遇到网络连接问题，可配置 pip 使用国内镜像源（如清华源、阿里源）加速下载。

安装步骤

该库未发布到 PyPI，需通过 GitHub 源码直接安装。

1. 基础安装

打开终端或命令行工具，执行以下命令：

pip install -U git+https://github.com/emoen/Machine-Learning-for-Asset-Managers

2. 国内加速安装（推荐）

如果您在中国大陆地区，建议使用国内镜像源以提高下载速度和稳定性。以下命令使用清华大学开源软件镜像站：

pip install -U git+https://github.com/emoen/Machine-Learning-for-Asset-Managers -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以直接在 Python 环境中导入模块并使用其功能。以下示例演示了如何调用第二章中的函数，通过交叉验证寻找核密度估计（KDE）的最佳带宽（bandwidth）。

最简单的使用示例

>>> from Machine_Learning_for_Asset_Managers import ch2_fitKDE_find_best_bandwidth as c
>>> import numpy as np

# 调用 findOptimalBWidth 函数计算最佳带宽
# 输入为一个包含数据的 numpy 数组
>>> result = c.findOptimalBWidth(np.asarray([21, 3]))

# 输出结果是一个字典，包含计算出的 bandwidth 值
>>> print(result)
{'bandwidth': 10.0}

功能简述

该库涵盖了书中多个核心章节的实现，主要包括：

• 第 2 章：去噪与去调（Denoising and Detoning），包括 Marcenko-Pastur 分布拟合。
• 第 3 章：距离度量，支持皮尔逊相关系数、角距离、互信息等。
• 第 4 章：最优聚类（Optimal Clustering），实现了 ONC 算法以确定最佳聚类数量。
• 第 5 章：金融标签生成，包括三重屏障法（Triple-Barrier Method）和趋势扫描法。
• 第 6 章：特征重要性分析，实现了平均不纯度减少（MDI）算法。

注意：本项目主要用于学习和复现书中的概念。对于生产环境的量化交易应用，建议参考更成熟的 mlfinlab 库。此外，书中第 4 章的 ONC 算法实现存在已知理论缺陷（在处理大特征值子空间嵌入时可能失真），使用时请结合层次聚类等替代方案进行评估。