Spark机器学习算法研究与源码分析

  本项目对spark ml包中各种算法的原理加以介绍并且对算法的代码实现进行详细分析，旨在加深自己对机器学习算法的理解，熟悉这些算法的分布式实现方式。

本系列文章支持的spark版本

  本系列文章大部分的算法基于spark 1.6.1，少部分基于spark 2.x。

本系列的目录结构

  本系列目录如下：

• 数据类型
• 基本统计
  • summary statistics（概括统计）
  • correlations（相关性系数）
  • tratified sampling（分层取样）
  • hypothesis testing（假设检验）
  • random data generation（随机数生成）
  • Kernel density estimation（核密度估计）
• 协同过滤
  • 交换最小二乘
• 分类和回归
  • 线性模型
    • SVMs(支持向量机)
    • 逻辑回归
    • 线性回归
    • 广义线性回归
  • 朴素贝叶斯
  • 决策树
  • 组合树
    • 随机森林
    • 梯度提升树
  • 生存回归
  • 保序回归
• 聚类
  • k-means||算法
  • GMM（高斯混合模型）
  • PIC（快速迭代聚类）
  • LDA（隐式狄利克雷分布)
  • 二分k-means算法
  • 流式k-means算法
• 最优化算法
  • 梯度下降算法
  • 拟牛顿法
  • NNLS(非负最小二乘)
  • 带权最小二乘
  • 迭代再加权最小二乘
• 降维
  • EVD（特征值分解）
  • SVD（奇异值分解）
  • PCA（主成分分析）
• 特征抽取和转换
  • 特征抽取
    • TF-IDF
    • Word2Vec
    • CountVectorizer
  • 特征转换
    • Tokenizer
    • StopWordsRemover
    • n-gram
    • Binarizer
    • PolynomialExpansion
    • Discrete Cosine Transform (DCT)
    • StringIndexer
    • IndexToString
    • OneHotEncoder
    • VectorIndexer
    • Normalizer(规则化)
    • StandardScaler（特征缩放）
    • MinMaxScaler
    • MaxAbsScaler
    • Bucketizer
    • ElementwiseProduct(元素智能乘积)
    • SQLTransformer
    • VectorAssembler
    • QuantileDiscretizer
  • 特征选择
    • VectorSlicer
    • RFormula
    • ChiSqSelector(卡方选择器)

说明

  本专题的大部分内容来自spark源码、spark官方文档，并不用于商业用途。转载请注明本专题地址。 本专题引用他人的内容均列出了参考文献，如有侵权，请务必邮件通知作者。邮箱地址：endymecy@sina.cn。

  本专题的部分文章中用到了latex来写数学公式,可以在浏览器中安装MathJax插件用来展示这些公式。

  本人水平有限，分析中难免有错误和误解的地方，请大家不吝指教，万分感激。

License

  本文使用的许可见 LICENSE

spark-ml-source-analysis 快速上手指南

spark-ml-source-analysis 并非一个可独立安装运行的软件包或库，而是一个开源学习项目。它包含了针对 Apache Spark ML 包中各种算法的原理介绍、源码详细分析文章及数学公式推导。

本指南旨在帮助开发者快速搭建阅读环境，高效利用该项目进行 Spark 机器学习源码研究。

1. 环境准备

由于本项目本质是技术文档集合（Markdown + LaTeX 公式），无需复杂的编译环境，但为了获得最佳阅读体验（特别是数学公式渲染），建议准备以下环境：

• 操作系统：Windows / macOS / Linux 均可。
• 核心依赖：
  • Git：用于克隆项目代码。
  • 浏览器：推荐 Chrome 或 Edge。
  • MathJax 插件（重要）：项目中大量使用 LaTeX 编写数学公式。原生 Markdown 预览器可能无法直接渲染公式。
    • 方案 A（推荐）：在浏览器安装 MathJax Plugin for Github 扩展（Chrome/Edge 商店搜索即可）。
    • 方案 B：使用支持 MathJax 的本地 Markdown 编辑器（如 Typora、VS Code + Markdown Preview Enhanced 插件）。
• 前置知识：
  • 熟悉 Java 或 Scala 语言（源码主要基于这两种语言）。
  • 了解 Apache Spark 基础概念（本项目主要基于 Spark 1.6.1 及少量 2.x 版本）。

2. 安装步骤（获取源码）

通过 Git 将项目克隆到本地即可开始阅读。鉴于仓库托管平台，国内用户建议使用镜像加速或直接克隆。

# 克隆项目到本地目录
git clone https://github.com/endymecy/spark-ml-source-analysis.git

# 进入项目目录
cd spark-ml-source-analysis

提示：如果 GitHub 访问速度慢，可尝试使用国内代码托管平台（如 Gitee）搜索同名项目是否有镜像，或在命令中加入 --depth 1 参数加快克隆速度： git clone --depth 1 https://github.com/endymecy/spark-ml-source-analysis.git

3. 基本使用（开始阅读）

本项目没有可执行的二进制文件或 API 调用命令，其“使用”方式即查阅文档。

3.1 浏览目录结构

项目按算法领域分类，主要包含以下核心模块：

• 基本统计：相关性、假设检验、核密度估计等。
• 分类和回归：线性模型 (SVM, 逻辑回归)、决策树、随机森林、GBDT 等。
• 聚类：K-Means, GMM, LDA, 流式聚类等。
• 协同过滤：ALS (交替最小二乘)。
• 最优化算法：梯度下降、L-BFGS, NNLS 等底层优化器原理。
• 降维：PCA, SVD, EVD。
• 特征工程：TF-IDF, Word2Vec, 各类转换器 (Tokenizer, Scaler) 等。

3.2 阅读示例

假设你想研究 逻辑回归 (Logistic Regression) 的源码实现：

1. 本地文件访问： 直接在文件管理器中打开克隆后的文件夹，导航至： 分类和回归/线性模型/逻辑回归/logic-regression.md

2. 浏览器预览（推荐）：

   • 确保已安装 MathJax 插件。
   • 直接在浏览器中打开上述 .md 文件，或通过 GitHub 网页版查看。
   • 你将看到包含算法数学推导、Spark 源码片段解析以及分布式实现逻辑的详细文章。

3. 结合源码对照： 文章中会引用具体的 Spark 源码类名（如 LogisticRegression.scala）。建议同时打开 Apache Spark 官方 GitHub 仓库，切换到项目对应的 Spark 版本分支（主要为 v1.6.1），对照阅读具体代码实现，以达到最佳学习效果。

---

注：本项目内容主要用于学习和研究，非商业用途。引用内容已标注参考文献，版权归原作者所有。