针对机器学习的黑客数学

“尽你所能以最不拘一格、最不敬且最具原创性的方式，努力钻研你最感兴趣的事物。”——理查德·费曼

数学素养，尤其是线性代数和统计学方面的熟练程度，是任何从事数据科学职业的人所必需的。本次工作坊的目标是介绍这些领域中一些在数据科学应用中反复使用的关键概念。我们的方法被称为“黑客式”教学：我们不从公式和证明入手，而是通过编写代码来教授这些概念，并在实际应用中加以实践。如果只讲概念而不教如何使用，这些知识就很难真正掌握。

本次工作坊将注重深度而非广度。我们选择了三个主题——假设检验、监督学习和无监督学习——并会深入讲解：50% 的时间用于概念介绍，另外 50% 则用于编写代码实现这些概念。

更多详情请访问 http://amitkaps.com/hackermath

立即体验：

模块 #1：假设检验

数学概念

• 基本指标：均值、方差、协方差、相关系数
• 离散概率分布：伯努利分布、二项分布
• 累积分布函数、概率质量函数
• 连续概率分布：泊松分布、均匀分布、正态分布、贝塔分布、伽马分布
• 累积分布函数、概率密度函数

机器学习应用

• 直接模拟
• 随机打乱
• 自助法
• 应用于 A/B 测试

模块 #2：监督学习

数学概念

• 矩阵运算基础
• 矩阵行列式、逆矩阵
• 线性代数基础
• 求解 Ax=b（当 A 为 nxn 时）
• 求解 Ax=b（当 A 为 nxp+1 时）

机器学习应用

• 线性回归
• L2 正则化
• 梯度下降法
• 线性分类器
• 逻辑回归

模块 #3：无监督学习

数学概念

• 矩阵投影
• 求解 Ax=λx（当 A 为 nxn 时）
• 特征向量与特征值
• 向量空间中的距离

机器学习应用

• 降维
• 主成分分析
• 聚类分析

目标受众

• 具备编程背景，希望掌握数据科学所需的数学知识，并对各类数据科学问题有所了解的人。
• 数据科学初学者，或已有数据分析经验（至少会使用 Excel）并希望进一步提升技能、迈向数据科学职业生涯更高阶段的人。

先修条件

• 对线性代数有基本了解会有帮助。不过我们知道你可能早已忘记了在学校或大学学到的内容。为此，我们推荐观看 @3blue1brown 的精彩视频合集《线性代数的本质》（链接），以直观生动的方式重新学习。
• 另外，具备一定的微积分知识也会有所帮助。如果你想复习一下微积分基础，同样可以参考 @3blue1brown 的视频合集《微积分的本质》（链接），用可视化的方式进行学习。
• 编程能力是必须的。至少应能编写条件语句、使用循环、熟练定义函数，并能够理解代码片段、构思程序逻辑。由于我们将使用 Python，建议你先复习一下 Python 的基础知识。具体来说，我们期望你掌握以下内容的前三节：http://anandology.com/python-practice-book/。

软件要求

本次工作坊需要使用 Python 数据科学栈。请提前安装 Anaconda for Python 3.5，其中包含了我们所需的所有工具。对于更感兴趣的学员，我们将使用 Jupyter Notebook 作为开发环境。课程中会用到 numpy、scipy、seaborn、matplotlib、plotnine、statsmodels 和 scikit-learn 等库。

本次工作坊的代码仓库地址为：https://github.com/amitkaps/hackermath/

---

作者：

Amit Kapoor

Bargava Subramanian

HackerMath 快速上手指南

HackerMath 是一个面向机器学习爱好者的开源工作坊项目，旨在通过“黑客方式”（即编写代码而非推导公式）来掌握数据科学核心的线性代数与统计学概念。本项目涵盖假设检验、监督学习和无监督学习三大模块。

环境准备

系统要求

• 操作系统：Windows / macOS / Linux
• Python 版本：推荐 Python 3.5 或更高版本（项目基于 Python 3.5 构建，高版本通常兼容）
• 前置知识：
  • 具备基础编程能力（条件判断、循环、函数定义）。
  • 了解基础线性代数与微积分概念（推荐观看 3Blue1Brown 的相关视频系列进行复习）。

核心依赖库

项目依赖完整的 Python 数据科学栈，主要包括：

• numpy, scipy
• matplotlib, seaborn, plotnine
• statsmodels, scikit-learn
• jupyter notebook

安装步骤

推荐使用 Anaconda 发行版，它已预装上述所有必要库，可避免繁琐的环境配置。

方案一：使用 Anaconda（推荐）

1. 下载并安装 Anaconda (Python 3.x)。

   国内加速：清华大学开源软件镜像站提供 Anaconda 安装包及源加速，访问 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载。

2. 克隆项目仓库：

   git clone https://github.com/amitkaps/hackermath.git
   cd hackermath
   

3. 启动 Jupyter Notebook：

   jupyter notebook
   

   浏览器将自动打开，导航至项目目录即可运行 .ipynb 文件。

方案二：在线免安装体验（Binder）

如果不想在本地安装环境，可以直接点击以下链接在浏览器中运行完整环境：

方案三：手动安装依赖（仅限已有 Python 环境）

如果你已安装 Python 但不想使用 Anaconda，请执行以下命令安装依赖（建议使用国内镜像源加速）：

pip install numpy scipy matplotlib seaborn statsmodels scikit-learn jupyter plotnine -i https://pypi.tuna.tsinghua.edu.cn/simple

随后克隆仓库并启动：

git clone https://github.com/amitkaps/hackermath.git
cd hackermath
jupyter notebook

基本使用

本项目以 Jupyter Notebook 形式组织内容，分为三个主要模块。启动 Jupyter 后，按顺序打开以下笔记文件进行学习：

1. 模块 1：假设检验 (Hypothesis Testing)

   • 文件示例：Module_01_Hypothesis_Testing.ipynb (具体文件名请以仓库实际为准)
   • 内容：通过代码模拟均值、方差、分布（伯努利、正态等），实现 A/B 测试和自助法（Bootstrapping）。

2. 模块 2：监督学习 (Supervised Learning)

   • 文件示例：Module_02_Supervised_Learning.ipynb
   • 内容：手写矩阵运算，从零实现线性回归、L2 正则化、梯度下降及逻辑回归。

3. 模块 3：无监督学习 (Unsupervised Learning)

   • 文件示例：Module_03_Unsupervised_Learning.ipynb
   • 内容：通过代码理解特征值/特征向量，实现主成分分析（PCA）和聚类分析。

最简单的运行示例：

在 Jupyter Notebook 界面中，打开任意一个 .ipynb 文件，选中代码单元格并按下 Shift + Enter 即可逐段运行代码，观察数学概念如何通过 numpy 和 scikit-learn 转化为实际应用。

例如，在监督学习模块中，你将看到类似以下的代码逻辑来求解线性方程 $Ax=b$：

import numpy as np

# 定义矩阵 A 和向量 b
A = np.array([[3, 1], [1, 2]])
b = np.array([9, 8])

# 求解 x
x = np.linalg.solve(A, b)
print(x)

通过修改代码中的数值并重新运行，你可以直观地理解线性代数在机器学习算法底层的作用。