使用 scikit-learn 入门机器学习

本系列视频将教你如何使用 Python 中流行的 scikit-learn 库来解决机器学习问题。共有 10 个视频教程，总时长 4.5 小时，每个视频都配有相应的 Jupyter 笔记本。

你可以在 YouTube 上 观看整个系列，并使用 nbviewer 在线 查看所有笔记本。

该系列还以 免费在线课程 的形式提供，包含更新的内容、测验以及结业证书。

注意： 此仓库中的笔记本已更新为使用 Python 3.9.1 和 scikit-learn 0.23.2。原始笔记本（视频中展示的）使用的是 Python 2.7 和 scikit-learn 0.16，可以从 archive 分支下载。你可以阅读这篇 博客文章了解我是如何更新代码的。

目录

1. 什么是机器学习？它是如何工作的？(视频, 笔记本)

   • 什么是机器学习？
   • 机器学习的两大主要类别是什么？
   • 机器学习有哪些例子？
   • 机器学习是如何“工作”的？

2. 为机器学习搭建 Python 环境：scikit-learn 和 Jupyter Notebook (视频, 笔记本)

   • scikit-learn 有哪些优点和缺点？
   • 如何安装 scikit-learn？
   • 如何使用 Jupyter Notebook？
   • 有哪些好的 Python 学习资源？

3. 使用著名的 iris 数据集入门 scikit-learn (视频, 笔记本)

   • 什么是著名的 iris 数据集？它与机器学习有什么关系？
   • 我们如何将 iris 数据集加载到 scikit-learn 中？
   • 如何用机器学习术语描述一个数据集？
   • scikit-learn 对数据处理有哪四个关键要求？

4. 使用 scikit-learn 训练机器学习模型 (视频, 笔记本)

   • 什么是 K 近邻分类模型？
   • scikit-learn 中模型训练和预测的四个步骤是什么？
   • 我如何将这一模式应用到其他机器学习模型上？

5. 在 scikit-learn 中比较机器学习模型 (视频, 笔记本)

   • 如何选择适合我的监督学习任务的模型？
   • 如何为该模型选择最佳的超参数？
   • 如何估计我的模型在未见数据上的表现？

6. 数据科学流水线：pandas、seaborn、scikit-learn (视频, 笔记本)

   • 如何使用 pandas 库将数据读入 Python？
   • 如何使用 seaborn 库可视化数据？
   • 什么是线性回归？它是如何工作的？
   • 如何在 scikit-learn 中训练和解释线性回归模型？
   • 回归问题有哪些评估指标？
   • 如何选择要包含在模型中的特征？

7. 用于调参、模型选择和特征选择的交叉验证 (视频, 笔记本)

   • 使用训练/测试集划分进行模型评估有什么缺点？
   • K 折交叉验证如何克服这一局限？
   • 交叉验证可以用来进行超参数搜索、模型选择和特征选择吗？
   • 交叉验证还有哪些可能的改进方法？

8. 高效地搜索最优超参数 (视频, 笔记本)

   • 如何利用 K 折交叉验证来搜索最优超参数？
   • 如何使这一过程更加高效？
   • 如何同时搜索多个超参数？
   • 在进行实际预测之前，应该如何处理这些超参数？
   • 如何降低这一过程的计算开销？

9. 评估分类模型 (视频, 笔记本)

   • 模型评估的目的是什么？常见的评估方法有哪些？
   • 分类准确率的用途是什么？它有哪些局限性？
   • 混淆矩阵如何描述分类器的性能？
   • 可以从混淆矩阵中计算哪些指标？
   • 如何通过调整分类阈值来改善分类器性能？
   • ROC 曲线的用途是什么？
   • 曲线下的面积（AUC）与分类准确率有何不同？

10. 构建机器学习工作流 (视频, 笔记本)

    • 为什么应该使用 Pipeline？
    • 如何使用 OneHotEncoder 对分类特征进行编码？
    • 如何使用 ColumnTransformer 将 OneHotEncoder 应用于选定的列？
    • 如何构建并交叉验证一个 Pipeline？
    • 如何使用 Pipeline 对新数据进行预测？
    • 为什么在预处理阶段应该使用 scikit-learn 而不是 pandas？

附加视频

在 2016 年的 PyCon 大会上，我主讲了一门 3 小时的教程，它以本系列视频为基础，重点讲解基于文本的数据处理。你可以在 YouTube 上观看该教程视频：教程视频。

以下是我在课程中涵盖的主题：

1. 在 scikit-learn 中构建模型（复习）
2. 将文本表示为数值数据
3. 将基于文本的数据集读入 pandas
4. 对数据集进行向量化
5. 构建并评估模型
6. 比较不同模型
7. 深入分析模型以获取更多见解
8. 在另一个数据集上实践这一工作流程
9. 调优向量化器（讨论）

请访问这个 GitHub 仓库，以获取教程笔记本及许多其他推荐资源。

scikit-learn-videos 快速上手指南

本指南基于 scikit-learn-videos 开源项目，旨在帮助开发者通过 10 个视频教程和对应的 Jupyter Notebook，快速掌握使用 Python 的 scikit-learn 库解决机器学习问题。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、macOS 或 Linux 均可。
• Python 版本：推荐安装 Python 3.9.1 或更高版本（原视频基于 Python 2.7，但仓库代码已更新至 Python 3）。
• 核心依赖库：
  • scikit-learn (版本 0.23.2 或更高)
  • pandas (用于数据处理)
  • matplotlib & seaborn (用于数据可视化)
  • jupyter (用于运行交互式笔记本)
• 网络环境：需要访问 YouTube 观看视频教程，或访问 GitHub 下载源码。国内用户建议使用镜像源加速包安装。

安装步骤

1. 安装 Python 环境

如果您尚未安装 Python，建议下载并安装 Anaconda 发行版，它预装了上述大部分科学计算库。若使用原生 Python，请确保已安装 pip。

2. 安装依赖包

打开终端（Terminal）或命令提示符（CMD），执行以下命令安装所需库。国内用户推荐使用清华或阿里镜像源以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-learn pandas matplotlib seaborn jupyter notebook

3. 获取教程代码

克隆项目仓库到本地，以便运行配套的 Jupyter Notebook：

git clone https://github.com/justmarkham/scikit-learn-videos.git
cd scikit-learn-videos

4. 启动 Jupyter Notebook

进入目录后，启动 Notebook 服务：

jupyter notebook

浏览器将自动打开，您可以点击对应的 .ipynb 文件（如 01_machine_learning_intro.ipynb）开始学习。

基本使用

本项目的核心是通过代码复现视频中的机器学习流程。以下是一个基于教程第 3 和第 4 部分的最小化使用示例，演示如何加载经典的鸢尾花（Iris）数据集并训练一个 K-近邻（KNN）分类模型。

请在 Jupyter Notebook 中新建一个单元格，运行以下代码：

# 1. 导入必要的库
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 2. 加载数据集
iris = load_iris()
X = iris.data       # 特征数据
y = iris.target     # 标签数据

# 3. 划分训练集和测试集 (测试集占 20%)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 4. 初始化模型 (使用 K=1 的 KNN 分类器)
knn = KNeighborsClassifier(n_neighbors=1)

# 5. 训练模型
knn.fit(X_train, y_train)

# 6. 进行预测
y_pred = knn.predict(X_test)

# 7. 评估模型准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Model Accuracy: {accuracy:.2f}")

# 8. 对新数据进行预测示例
# 假设有一朵新花：花萼长 5.0, 宽 2.9, 花瓣长 1.0, 宽 0.2
new_sample = [[5.0, 2.9, 1.0, 0.2]]
prediction = knn.predict(new_sample)
print(f"Predicted class: {iris.target_names[prediction][0]}")

后续学习建议： 按照仓库中的 Table of Contents 顺序，依次打开 01_ 到 10_ 开头的 Notebook 文件，结合对应的 YouTube 视频教程（需网络条件）或免费在线课程进行深入系统学习。