---

**教程、示例、资料合集，以及所有属于模式分类、机器学习和数据挖掘范畴的内容。**

章节

• 机器学习与模式分类简介
• 预处理
• 模型评估
• 参数估计
• 机器学习算法
  • 贝叶斯分类
  • 逻辑回归
  • 神经网络
  • 集成方法
• 聚类
• 数据收集
• 数据可视化
• 统计模式分类示例
• 书籍
• 讲座
• 应用
• 资源

[下载PDF版本] 此流程图。

---

机器学习与模式分类简介

[返回顶部]

• 预测建模、监督式机器学习和模式分类——宏观视角 [Markdown]

• 入门：数据——使用Python的科学计算包为机器学习任务及其他数据分析准备数据 [IPython nb]

• 使用scikit-learn进行简单线性监督分类入门 [IPython nb]

---

预处理

[返回顶部]

• 特征提取

  • 分类任务中对类别型特征进行编码的技巧与窍门 [IPython nb]

• 缩放与归一化

  • 关于特征缩放：标准化与最小-最大缩放（归一化） [IPython nb]

• 特征选择

  • 顺序特征选择算法 [IPython nb]

• 降维

  • 主成分分析（PCA） [IPython nb]
  • 变量在进行PCA之前进行缩放和均值中心化的影响 [PDF] [HTML]
  • 基于协方差矩阵与相关矩阵的PCA [IPython nb]
  • 线性判别分析（LDA） [IPython nb]
  • 核技巧及基于PCA的非线性降维 [IPython nb]

• 文本表示

  • scikit-learn中的TF-IDF详解 [IPython nb]

---

模型评估

[返回顶部]

• 二分类器系统通用性能指标概述 [PDF]
• 交叉验证
  • 简化你的交叉验证工作流——scikit-learn的Pipeline实战 [IPython nb]
• 机器学习中的模型评估、模型选择与算法选择——第一部分 [Markdown]
• 机器学习中的模型评估、模型选择与算法选择——第二部分 [Markdown]

---

参数估计

[返回顶部]

• 参数化技术

  • 最大似然估计（MLE）简介 [IPython nb]
  • 如何计算不同分布的最大似然估计（MLE） [IPython nb]

• 非参数化技术

  • 基于Parzen窗技术的核密度估计 [IPython nb]
  • K近邻（KNN）技术

• 回归分析

  • 线性回归

    • 最小二乘法拟合 [IPython nb]

  • 非线性回归

---

机器学习算法

[返回顶部]

贝叶斯分类

• 朴素贝叶斯与文本分类 I - 简介与理论 [PDF]

逻辑回归

• 使用 scikit-learn 进行外存学习和模型持久化 [IPython 笔记本]

神经网络

• 人工神经元与单层神经网络 - 机器学习算法的工作原理 第一部分 [IPython 笔记本]

• 激活函数速查表 [IPython 笔记本]

集成方法

• 在 scikit-learn 中实现加权多数规则集成分类器 [IPython 笔记本]

决策树

• 决策树分类速查表 [IPython 笔记本]

---

聚类

[返回顶部]

• 基于原型的聚类
• 层次聚类
  • 完全链接聚类与 Python 中的热图 [IPython 笔记本]
• 基于密度的聚类
• 基于图的聚类
• 基于概率的聚类

---

数据收集

[返回顶部]

• 使用 Python 和 Beautiful Soup 收集梦幻足球数据 [IPython 笔记本]

• 下载你的 Twitter 时间线并用 Python 转换为词云 [IPython 笔记本]

• 将 MNIST 数据读取到 NumPy 数组中 [IPython 笔记本]

---

数据可视化

[返回顶部]

• 星球大战 API 的探索性分析 [IPython 笔记本]

• Matplotlib 示例 - Iris 数据集的探索性数据分析 [IPython 笔记本]

• 各国人工智能出版物分布

[IPython 笔记本] [PDF]

---

统计模式分类示例

[返回顶部]

• 监督学习

  • 参数化方法

    • 单变量正态密度

      • 例1：2 类，方差相等，先验概率相等 [IPython 笔记本]
      • 例2：2 类，方差不等，先验概率相等 [IPython 笔记本]
      • 例3：2 类，方差相等，先验概率不等 [IPython 笔记本]
      • 例4：2 类，方差不等，先验概率不等，使用损失函数 [IPython 笔记本]
      • 例5：2 类，方差不等，先验概率相等，使用损失函数，采用柯西分布 [IPython 笔记本]

    • 多变量正态密度

      • 例5：2 类，方差不等，先验概率相等，使用损失函数 [IPython 笔记本]
      • 例7：2 类，方差相等，先验概率相等 [IPython 笔记本]

  • 非参数化方法

---

书籍

[返回顶部]

Python 机器学习

• 亚马逊链接
• 出版社链接
• GitHub 代码仓库

---

讲座

[返回顶部]

监督机器学习与模式分类导论：全局视角

[在 SlideShare 上查看]

[下载 PDF]

MusicMood - 基于歌词的自动音乐情绪预测中的机器学习

[在 SlideShare 上查看]

[下载 PDF]

---

应用

[返回顶部]

MusicMood - 基于歌词的自动音乐情绪预测中的机器学习

该项目旨在为希望聆听欢快歌曲的用户构建一个音乐推荐系统。这样的系统不仅可以在阴雨绵绵的周末用来愉悦心情；特别是在医院、其他医疗机构或餐厅等公共场所，MusicMood 分类器还可以用来在人群中传播积极的情绪。

[musicmood GitHub 仓库]

mlxtend - 用于 Python 数据分析和机器学习库的扩展及辅助模块库。

[mlxtend GitHub 仓库]

---

资源

[返回顶部]

• 可直接复制粘贴的 LaTeX 公式 [Markdown]

• 开源数据集 [Markdown]

• 免费的机器学习电子书 [Markdown]

• 用不到 50 字解释的数据科学术语 [Markdown]

• Python 中常用的数据科学库 [Markdown]

• 通用技巧与建议 [Markdown]

• Python、R、Julia 和 MATLAB 的矩阵速查表 [HTML]

pattern_classification 快速上手指南

pattern_classification 是一个由 Sebastian Raschka 维护的开源知识库，汇集了模式分类、机器学习和数据挖掘领域的教程、示例代码及理论讲解。该项目主要基于 Python 和 scikit-learn，通过 Jupyter Notebook 形式提供从数据预处理到模型评估的完整学习路径。

环境准备

本项目主要依赖 Python 科学计算生态栈。建议在使用前确保系统已安装以下基础环境：

• 操作系统：Windows, macOS, 或 Linux
• Python 版本：推荐 Python 3.8+
• 核心依赖库：
  • numpy
  • scipy
  • scikit-learn
  • matplotlib
  • pandas
  • jupyter (用于运行 .ipynb 笔记文件)

提示：对于国内开发者，建议在安装依赖时使用清华或阿里云镜像源以加速下载。

安装步骤

1. 克隆项目仓库

首先，将项目代码克隆到本地：

git clone https://github.com/rasbt/pattern_classification.git
cd pattern_classification

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 创建隔离环境。以下是使用 pip 配合国内镜像源安装所需库的命令：

# 创建虚拟环境 (可选)
python -m venv ml_env
source ml_env/bin/activate  # Windows 用户请使用: ml_env\Scripts\activate

# 安装核心依赖 (使用清华镜像源)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy scikit-learn matplotlib pandas jupyter

注：由于该项目主要是教程集合，根目录下可能没有统一的 requirements.txt，上述命令安装了运行大多数示例所需的核心包。特定章节若有额外需求，请参考对应 Notebook 开头的导入语句。

基本使用

该项目不包含单一的命令行工具，而是由一系列独立的 Jupyter Notebook 组成。你可以根据学习目标直接打开对应的笔记文件进行交互式学习。

启动 Jupyter Notebook

在项目根目录下运行以下命令启动服务：

jupyter notebook

浏览器会自动打开界面，你可以导航至相应的文件夹（如 machine_learning/, preprocessing/ 等）选择笔记。

最简单的使用示例：线性分类

以下是一个基于 scikit-learn 的简单线性分类示例，对应项目中 machine_learning/scikit-learn/scikit_linear_classification.ipynb 的核心逻辑。你可以在新的 Python 文件或 Notebook 单元格中直接运行：

import numpy as np
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 1. 加载数据 (鸢尾花数据集)
iris = datasets.load_iris()
X = iris.data[:, [2, 3]]  # 仅取花瓣长度和宽度
y = iris.target

# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 3. 特征标准化 (Pre-processing)
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

# 4. 训练逻辑回归模型 (Machine Learning Algorithm)
clf = LogisticRegression(multi_class='ovr', solver='lbfgs')
clf.fit(X_train_std, y_train)

# 5. 模型评估 (Model Evaluation)
accuracy = clf.score(X_test_std, y_test)
print(f"模型准确率: {accuracy:.2f}")

# 6. 预测新样本
sample = np.array([[5.0, 1.5]])
sample_std = sc.transform(sample)
prediction = clf.predict(sample_std)
print(f"预测类别: {iris.target_names[prediction][0]}")

探索更多主题

你可以按照项目目录结构深入学习以下模块：

• 数据预处理 (preprocessing/)：学习特征编码、标准化、PCA 降维等。
• 模型评估 (evaluation/)：掌握交叉验证、性能指标计算。
• 算法实战 (machine_learning/)：涵盖贝叶斯分类、神经网络、集成方法等。
• 数据可视化 (data_viz/)：使用 Matplotlib 进行探索性数据分析。

所有示例均以代码驱动，建议边阅读代码注释边运行单元格，以获得最佳学习效果。