自2018年以来的重要变化

• 增加了关于仅用支持向量重新训练SVM的笔记
• 增加了关于逻辑回归拟合及更一般的softmax风格线性条件概率模型的矩匹配解释的笔记

自2017FOML到2018年的重要变化

• 在弹性网课程中详细阐述了反对稀疏性的理由，以补充幻灯片上关于稀疏性的原因——“Lasso带来特征稀疏性：那又如何？”
• 增加了关于条件期望的笔记，因为许多学生觉得相关符号很困惑。
• 增加了关于弹性网相关特征定理的笔记，该笔记基本上是将Zou和Hastie 2005年的论文“通过弹性网进行正则化与变量选择”翻译成我们课堂的符号，并去掉了不必要的中心化条件，采用了更标准的相关性定义。
• EM算法讲解的改动：增加了若干图表（第10至14页），以说明变分方法的一般思想，并明确指出边际对数似然正是变分下界点上的逐点上确界(第31和32页)。
• 对表示定理的处理现在放在提及核函数之前，并将其描述为基本线性代数的一个有趣推论：“看看解总是位于由数据张成的子空间内。这很有趣（只要多练习就显而易见）。我们现在可以将优化问题限制在这个子空间……”
• 核方法课程被重写，大幅减少了对特征映射的引用。当我们只讨论核化时，这些额外的符号似乎并不必要。
• 用10分钟的拉格朗日对偶性总结取代了1小时的拉格朗日对偶性速成课，实际上我从未讲过这个内容，而是留作选读材料。
• 增加了关于伯努利赌博机的汤普森采样简短笔记，作为我们贝叶斯统计单元的一个有趣应用。
• 作业2中lasso回归的编程题显著改进。
• 作业5中新增了逻辑回归的书面和编程题目（展示了ERM与条件概率模型公式的等价性，以及实现正则化逻辑回归）。
• 新的反向传播作业作业7（与Philipp Meerkamp和Pierre Garapon合作完成）。

自2017年到2017FOML的重要变化

• 这个版本的课程没有机器学习先修要求，因此增加了几节基础课程：
  • 增加了关于黑盒机器学习的课程。
  • 增加了关于评估分类器性能的标准方法的课程。
• 增加了关于SVM对偶性的主要结论的笔记。
• 与其详细推导SVM对偶问题，在新课程中，我只是陈述对偶形式并强调从互补松弛条件中获得的见解，尤其关注“数据中的稀疏性”。
• 删除了SVM的几何推导以及所有关于硬间隔SVM的提及。这一直很受学生欢迎，但我认为不值得花那么多时间。它最适合作为仿射空间、投影及其他基础线性代数的复习。
• 删除了大部分AdaBoost课程，仅保留了作为指数损失前向阶段加法建模的特殊情况的提及(第24至29页)。
• 新的实例解析用于用线性和梯度提升模型预测泊松分布。
• 新的反向传播模块。

自2016年到2017年的重要变化

• 关于SVM几何方法的新课程（Brett）
• 关于主成分分析的新课程（Brett）
• 增加了k-means++的幻灯片（Brett）
• 增加了关于一维RBF核的显式特征向量的幻灯片
• 创建了笔记本，用于重新生成Hastie书中的有bug的lasso/弹性网图（Vlad）
• 线性模型的L2约束使预测函数具有Lipschitz连续性（感谢Brian Dalessandro指出这一点）。
• 扩展了关于L1/L2/弹性网与相关随机变量的讨论（感谢Brett提供的图表）

从2015年到2016年的主要变化

• 新增了关于多类分类的讲座[（https://davidrosenberg.github.io/mlcourse/Archive/2016/Lectures/9a.multiclass.pdf）]，以及对**结构化预测**的介绍
• 新增了关于多类合页损失和多类SVM的作业[（https://davidrosenberg.github.io/mlcourse/Archive/2016/Homework/hw6-multiclass/hw6.pdf）]
• 新增了关于贝叶斯方法的作业[（https://davidrosenberg.github.io/mlcourse/Archive/2016/Homework/hw7-bayesian/hw7.pdf）]，特别是**贝塔二项模型、层次模型、经验贝叶斯ML-II、MAP-II**
• 新增了关于相关变量与L1、L2及弹性网络正则化的简短讲座[（https://davidrosenberg.github.io/mlcourse/Archive/2016/Lectures/2.Lab.elastic-net.pdf）]
• 补充了一些有关次梯度方法的细节，包括一个单页证明，说明次梯度下降会将我们导向凸函数的极小值点（基于Boyd的笔记）
• 补充了一些关于方向导数、梯度和一阶近似的复习笔记
• 轻松讨论了SGD与GD的收敛速度，顺便补上了SGD的定理（之前遗漏了）
• 因时间不足，删掉了原本基于纪尧姆·奥博津斯基的幻灯片的维度灾难讨论)
• 新增了关于表示定理的讲座（第12页起）（不涉及再生核希尔伯特空间），并介绍了其在核化中的应用（基于Shalev-Shwartz和Ben-David的书）
• 删除了原定用于引入核的核机器方法（第16页），该方法基于凯文·墨菲的书中的思路
• 增加了EM算法收敛定理（第20页），基于Vaida的结果
• 新增了关于梯度提升的更多细节的讲座[（https://davidrosenberg.github.io/mlcourse/Archive/2016/Lectures/8.Lab.more-boosting.pdf）]，包括一些变体的简要介绍（**随机梯度提升**、**LogitBoost**、**XGBoost**）
• 新增了实操示例，用于用广义线性模型和梯度提升模型预测指数分布
• 对2015年的广义线性模型讲座进行了重构，该讲座最初从自然指数族（第15页）开始，逐步推导出GLM的定义（第20页）。相反，这次更一般地介绍了条件概率模型，重点是使用极大似然估计，并给出了多个例子；正式引入指数族和广义线性模型的内容被移到最后；
• 在凸优化讲座中去掉了等式约束以简化内容，但如果你想恢复这些约束，请查看这里
• 因时间不足，删掉了关于贝叶斯朴素贝叶斯的内容
• 删掉了对k-means目标函数（第9页）的正式讨论
• 删掉了信息论的简要介绍。最初加入是因为我们需要引入KL散度和吉布斯不等式，以便为EM算法做准备。数学预备知识现在已放在这里（第15页）。

可能的未来主题

基础技术

• 高斯过程
• MCMC（或至少吉布斯采样）
• 重要性采样
• 密度比估计（用于协变量偏移、异常检测、条件概率建模）
• 局部方法（knn、局部加权回归等）

应用

• 协作过滤/矩阵分解（基于这篇关于矩阵分解的讲座和Brett关于PCA的讲座）
• 排序学习及相关概念
• 贝尔特/从日志数据中学习？
• 广义可加模型用于可解释的非线性拟合（平滑法、基函数法和梯度提升法）
• 自动超参数搜索（使用高斯过程、随机搜索、超带等）
• 主动学习
• 域偏移/协变量偏移适应
• 强化学习（通往REINFORCE的最小路径）

潜变量模型

• PPCA/因子分析及其非高斯推广
  • 如果能获取数据，人格类型可作为因子分析的例子？
• 变分自编码器
• 潜狄利克分配/主题模型
• 图像和文本的生成模型（我们关注的是生成内容的人类感知质量，而非测试样本的似然性）（GAN及其同类）

贝叶斯模型

• 相关向量机
• BART
• 高斯过程回归与条件概率模型

技术要点

• 过拟合验证集？
• 与针对温和函数的次梯度收敛论文的链接

其他

• 类别不平衡
• 黑箱特征重要性度量（基于Ben 2018年讲座）
• 分位数回归与条件预测区间（或许融入损失函数相关的作业中）；
• 更深入地介绍基础神经网络：权重初始化、梯度消失/爆炸，可能还包括批归一化
• 完成“结构化预测”部分，包括束搜索/Viterbi算法
  • 给出与MEMM/CRF对应的概率模型类比
• 生成式与判别式（Jordan & Ng的朴素贝叶斯与逻辑回归，以及包含正则化的全新实验）
• 关于因果关系的一些内容？
• DART
• LightGBM和CatBoost对分类特征的高效处理（即在回归树中处理分类特征）

引用信息

机器学习课程资料由多位作者创作，采用< a rel="license" href="http://creativecommons.org/licenses/by/4.0/">知识共享署名4.0国际许可协议授权。本仓库中每份文档的作者均被视为该文档的许可持有者。

mlcourse 快速上手指南

环境准备

• 系统要求：Linux / macOS / Windows（推荐 WSL2）
• 前置依赖：
  • Python 3.8+
  • pip
  • Git

推荐使用 conda 或 pyenv 管理 Python 环境，国内用户可使用清华源加速：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库：

git clone https://github.com/davidrosenberg/mlcourse.git
cd mlcourse

2. 安装依赖（推荐使用 requirements.txt）：

pip install -r requirements.txt

若无 requirements.txt，可手动安装常用包：
pip install numpy scipy scikit-learn matplotlib jupyter pandas

3. 启动 Jupyter Notebook（用于交互式学习）：

jupyter notebook

基本使用

打开课程笔记或作业文件，例如：

# 查看 Homework #2：Lasso 回归编程任务
open Homework/hw2.pdf
# 或在 Jupyter 中打开示例 Notebook
jupyter notebook Homework/hw2.ipynb

最简单示例：运行一个线性回归练习（假设已有数据 X, y）

from sklearn.linear_model import Lasso
import numpy as np

# 示例数据
X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

# 训练 Lasso 回归
lasso = Lasso(alpha=0.1)
lasso.fit(X, y)

# 预测
print(lasso.predict([[5]]))

所有课程材料（笔记、作业、代码）均位于项目目录下，建议按 Archive/2018/ 或 Notes/ 目录顺序学习。