在线机器学习 是机器学习的一个子集，其中数据按顺序到达。与更传统的批量学习不同，在线学习方法每次只用一个数据点逐步更新自身。

• 课程和书籍
• 博客文章
• 软件
  • 建模
  • 部署
• 论文
  • 线性模型
  • 支持向量机
  • 神经网络
  • 决策树
  • 无监督学习
  • 时间序列
  • 漂移检测
  • 异常检测
  • 度量学习
  • 图论
  • 集成模型
  • 专家学习
  • 主动学习
  • 其他
  • 综述
  • 通用算法
  • 超参数调优
  • 评估

课程和书籍

• 使用Python进行流式数据的机器学习
• IE 498：在线学习与决策制定
• 在线学习导论
• 机器学习的本质 — 提供了关于Vowpal Wabbit内部工作原理的一些见解，尤其是关于在线线性学习的幻灯片。
• 使用MOA的实际示例进行数据流的机器学习
• 麻省理工学院的机器学习在线方法
• 流式处理101：超越批处理的世界
• 预测、学习与博弈
• 在线凸优化导论
• 强化学习与随机优化：序贯决策的统一框架 — 全书基于应用学习/优化问题中的在线学习范式构建，其中第3章 在线学习是参考内容。
• 纽约大学CILVR实验室的大数据课程 — 重点介绍线性模型和多臂赌博机。部分课程由Vowpal Wabbit的创建者John Langford讲授。
• 个性化机器学习 — 哥伦比亚大学Tony Jebara教授的课程，涵盖多臂赌博机。
• 在线学习简介
• 流式数据分析 - 米兰理工大学的课程。

博客文章

• Fennel AI关于在线推荐系统的博客文章
• 使用Bytewax和Redpanda进行异常检测（Bytewax，2022年）
• 在线机器学习中的predict/fit转换（Max Halford，2022年）
• 实时机器学习：挑战与解决方案（Chip Huyen，2022年）
• 使用River进行异常检测（Matias Aravena Gamboa，2021年）
• 在线机器学习的简要介绍（Saulo Mastelini，2021年）
• 机器学习正在走向实时化（Chip Huyen，2020年）
• 正确评估在线机器学习模型的方法（Max Halford，2020年）
• 什么是在线机器学习？（Max Pagels，2018年）
• 它是什么以及谁需要它（数据科学中心，2015年）

软件

更多内容请参见这里。

建模

• River — 一个用于通用在线机器学习的Python库。
• dask
• Jubatus
• Flink ML - Apache Flink的机器学习库
• LIBFFM — 一个用于场感知因子分解机的库
• LIBLINEAR — 一个用于大规模线性分类的库
• LIBOL — 一组使用一阶和二阶梯度下降法训练的在线线性模型。目前已不再维护。
• MOA
• scikit-learn — 部分 scikit-learn的估计器可以处理增量更新，尽管这通常是为了小批量学习设计的。另请参阅“使用scikit-learn计算”页面。
• Spark Streaming — 并非严格意义上的在线学习，而是将数据划分为固定的时间间隔进行小批量处理。
• SofiaML
• StreamDM — 一个基于Spark Streaming的机器学习库。
• Tornado
• VFML
• Vowpal Wabbit

部署

• KappaML
• django-river-ml — 一个用于部署River模型的Django插件
• chantilly — 一个旨在与River兼容的原型（之前为Creme）

论文

线性模型

• 全局最优的快速迭代线性最大似然分类器（2023）
• 用于CTR预测的领域感知因子分解机（2016）
• 在Facebook上预测广告点击的实际经验（2014）
• 广告点击预测：一线实践（2013）
• 归一化的在线学习（2013）
• 面向最优单遍大规模学习的平均随机梯度下降法（2011）
• 用于正则化随机学习和在线优化的对偶平均方法（2010）
• 权重向量的自适应正则化（2009）
• 带有累积惩罚项的L1正则化对数线性模型的随机梯度下降训练（2009）
• 置信加权线性分类（2008）
• 精确凸的置信加权学习（2008）
• 在线被动-攻击算法（2006）
• 在线凸优化的对数后悔算法（2007）
• 二阶感知器算法（2005）
• 使用核函数的在线学习（2004）
• 利用随机梯度下降算法求解大规模线性预测问题（2004）

支持向量机

• Pegasos：用于支持向量机的原始估计次梯度求解器（2007）
• 一种新的近似最大间隔分类算法（2001）
• 松弛的在线最大间隔算法（2000）

神经网络

• 持续学习的三种场景（2019）

决策树

• AMF：用于在线学习的聚合蒙德里安森林（2019）
• 蒙德里安森林：高效的在线随机森林（2014）
• 高速数据流挖掘（2000）

无监督学习

• 在线聚类：算法、评估、指标、应用及基准测试（2022）
• 在线层次聚类近似方法（2019）
• DeepWalk：社交表征的在线学习（2014）
• 基于随机表征的在线学习（2014）
• 具有无限词汇表的在线隐狄利克雷分配模型（2013）
• Web规模K均值聚类（2010）
• 稀疏编码的在线字典学习（2009）
• 带有噪声的动态数据流上的密度聚类（2006）
• 通过增量概念聚类获取知识（2004）
• 伪度量的在线与批量学习（2004）
• BIRCH：一种适用于超大型数据库的高效数据聚类方法（1996）

时间序列

• 时间序列预测的在线学习（2013）

漂移检测

• 概念漂移适应综述（2014）

异常检测

• 利用克里斯托费尔-达布克斯核进行在线异常检测（2022）
• 基于蒙德里安波利亚森林的数据流可解释异常检测（2020）
• 流式数据的快速异常检测（2011）

度量学习

• 在线度量学习与快速相似度搜索（2009）
• 信息论视角下的度量学习（2007）
• 伪度量的在线与批量学习（2004）

图论

• DeepWalk：社交表征的在线学习（2014）

集成模型

• 在线提升的最优与自适应算法（2015） — 其实现可在此处找到
• 在线自助法与提升法（2001）
• 在线学习的决策理论推广及其在提升中的应用（1997）

专家学习

• 关于Hedge算法在随机环境下的最优性

主动学习

• 在线主动学习综述（2023）

杂项

• 多输出链模型及其在数据流中的应用（2019）
• 随机梯度MCMC的完整配方（2015）
• 潜在数据模型的在线EM算法（2007） — 源代码可在此处找到
• StreamAI：应对生产环境中持续学习系统的挑战（2023）

调查研究

• 流数据的机器学习：现状、挑战与机遇（2019）
• 在线学习：综合 survey（2018）
• 大数据流中的在线机器学习（2018）
• 增量学习算法及其应用（2016）
• 动态与演化数据中的批处理-增量学习 vs 实例-增量学习
• 凸优化的增量梯度、次梯度及邻近点方法：survey（2011）
• 在线学习与随机逼近（1998）

通用算法

• 在数据流上维护滑动窗口 Skyline（2006）
• 滑动 DFT（2003） — 傅里叶变换的在线变体，简明解释见此处
• 大数据的 sketching 算法

超参数调优

• ChaCha：用于在线 AutoML 的方法（2021）

评估

• 数据流的延迟标注评估（2019）
• 大数据流分类器的高效在线评估（2015）
• 流式学习算法评估中的问题（2009）

Awesome Online Machine Learning 快速上手指南

Awesome Online Machine Learning 并非一个单一的软件库，而是一个精选的在线机器学习（Online Machine Learning）资源列表，涵盖了课程、博客、软件工具及学术论文。在线机器学习是一种数据按顺序到达时进行增量更新的学习范式，区别于传统的批量学习。

本指南将帮助你快速了解该领域的核心工具（以 Python 生态中最流行的 River 库为例），并引导你利用此列表中的资源开始学习。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)。
• Python 版本：建议安装 Python 3.8 或更高版本。
• 包管理工具：推荐使用 pip 或 conda。
• 前置知识：具备基础的 Python 编程能力和机器学习概念（如模型训练、预测）。

国内加速建议： 在中国大陆地区，建议使用国内镜像源安装依赖，以提升下载速度。

• pip 镜像：清华大学开源软件镜像站 (-i https://pypi.tuna.tsinghua.edu.cn/simple)
• Conda 镜像：清华 TUNA 镜像站配置

安装步骤

由于该仓库是资源列表，实际开发中通常直接安装列表中推荐的核心库。目前 Python 生态中最活跃且功能最全的在线机器学习库是 River (原 Creme)。

1. 使用 pip 安装 (推荐)

使用国内镜像源安装 River：

pip install river -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 验证安装

在终端或 Python 交互环境中运行以下命令，若无报错则安装成功：

python -c "import river; print(river.__version__)"

3. 获取其他资源

你可以克隆该仓库以离线浏览推荐的论文、课程链接和更多软件工具列表：

git clone https://github.com/online-ml/awesome-online-machine-learning.git

基本使用

以下示例演示如何使用 River 库进行最简单的在线线性回归。与批量学习不同，在线学习是“来一条数据，学一条数据”（learn_one），并随时可以进行预测（predict_one）。

示例：在线线性回归

from river import linear_model, metrics, preprocessing

# 1. 构建模型管道
# 这里组合了标准化处理器 (StandardScaler) 和 线性回归模型 (LinearRegression)
model = preprocessing.StandardScaler() | linear_model.LinearRegression()

# 2. 定义评估指标
metric = metrics.MSE()

# 3. 模拟流式数据并进行在线学习
# 假设数据逐条到达 (x: 特征，y: 目标值)
dataset = [
    ({'x': 1}, 2),
    ({'x': 2}, 4),
    ({'x': 3}, 6),
    ({'x': 4}, 8),
]

for x, y in dataset:
    # 先预测
    y_pred = model.predict_one(x)
    
    # 更新评估指标
    metric.update(y, y_pred)
    
    # 再学习 (增量更新模型参数)
    model.learn_one(x, y)

print(f"当前均方误差 (MSE): {metric.get():.4f}")

# 4. 对新数据进行预测
new_data = {'x': 5}
prediction = model.predict_one(new_data)
print(f"预测 x=5 时的值：{prediction:.2f}")

下一步探索

参考 awesome-online-machine-learning 仓库中的分类目录深入钻研：

• Software/Modelling: 探索 Vowpal Wabbit, MOA, Flink ML 等其他高性能工具。
• Courses and books: 学习《Machine Learning for Streaming Data with Python》等专著。
• Papers: 阅读关于漂移检测 (Drift detection)、异常检测 (Anomaly detection) 的前沿论文。