机器学习笔记本

我在学习机器学习和深度学习过程中，从互联网上的各种资源整理的一些实用 Jupyter 笔记本。

NumPy 基础：

1. NumPy 基础

数据预处理：

1. 特征选择：缺失值填充、编码、二值化。

2. 特征缩放：最小-最大缩放、归一化、标准化。

3. 特征提取：CountVectorizer、DictVectorizer、TfidfVectorizer。

回归

1. 线性回归与多元回归

   • a. 理论与推导

   • b. 从零开始实现线性回归

   • c. 线性回归的假设：线性回归的假设、虚拟变量陷阱。

   • d. 使用 Scikit-learn 进行线性回归：使用 Scikit-learn 实现简单和多元线性回归。

2. 向后剔除法：向后剔除法、P 值。

3. 多项式回归

4. 支持向量回归

5. 决策树回归

6. 随机森林回归

7. 使用 Theil-Sen 回归进行鲁棒回归

8. Scikit-learn 中的管道

分类

1. 逻辑回归

   • a. 逻辑回归与梯度下降

   • b. 逻辑回归的推导

   • c. 使用梯度下降实现逻辑回归

   • d. 使用 Scikit-learn 进行逻辑回归

2. 正则化

   • a. 正则化

   • b. 逻辑回归中的正则化

3. K 最近邻

4. 支持向量机

5. 朴素贝叶斯

6. 决策树

聚类

1. K 均值聚类

2. 小批量 K 均值聚类

3. 层次聚类

4. 聚类的应用——图像量化

5. 聚类的应用——异常检测

模型评估

1. 交叉验证及其类型

2. 混淆矩阵、精确率、召回率

3. R平方

4. ROC曲线、AUC

5. 轮廓系数

关联规则挖掘

1. Apriori算法

2. Eclat模型

强化学习

1. 上界置信区间算法

2. 汤普森采样

自然语言处理

1. 情感分析

神经网络

1. 什么是激活函数

2. 经典神经网络

3. 反向传播推导

4. Python中的反向传播

5. 卷积神经网络

6. 长短期记忆神经网络（LSTM）

资料来源 / 参考文献：

1. 吴恩达的机器学习课程（Coursera）
2. 机器学习A-Z（Udemy）
3. 深度学习A-Z（Udemy）
4. 杰弗里·辛顿的神经网络课程（Coursera）
5. Scikit-learn Cookbook（第二版） - 朱利安·阿维拉等

Machine-Learning-Notebooks 快速上手指南

本仓库汇集了机器学习与深度学习学习过程中的实用 Jupyter Notebook 教程，涵盖从 NumPy 基础、数据预处理到各类经典算法（回归、分类、聚类、神经网络等）的理论推导与代码实现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.8 及以上版本
• 核心依赖：
  • Jupyter Notebook 或 JupyterLab
  • NumPy, Pandas, Scikit-learn, Matplotlib
  • TensorFlow 或 PyTorch (用于神经网络部分，视具体 Notebook 需求而定)

提示：国内用户建议使用 清华大学开源软件镜像站 或 阿里云镜像 加速依赖包下载。

安装步骤

1. 克隆项目

打开终端（Terminal 或 CMD），执行以下命令将仓库克隆到本地：

git clone https://github.com/maykulkarni/Machine-Learning-Notebooks.git
cd Machine-Learning-Notebooks

2. 创建虚拟环境（推荐）

为避免依赖冲突，建议创建独立的虚拟环境：

python -m venv ml_env

激活环境：

• Windows:

  ml_env\Scripts\activate
  

• macOS / Linux:

  source ml_env/bin/activate
  

3. 安装依赖

使用国内镜像源安装所需库：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若仓库根目录无 requirements.txt 文件，请直接安装核心库：

pip install numpy pandas scikit-learn matplotlib jupyter notebook -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 启动 Jupyter Notebook

在项目根目录下运行以下命令启动服务：

jupyter notebook

浏览器将自动打开并显示文件列表。

2. 运行示例：线性回归

按照以下路径探索最简单的入门示例：

1. 在文件列表中进入文件夹 02. Regression。
2. 点击打开 1B. Linear Regression and Gradient Descent.ipynb（从零实现线性回归）或 1C. Simple and Multiple Regression using Sci-kit learn.ipynb（使用 Scikit-learn）。
3. 依次点击单元格（Cell）并按下 Shift + Enter 运行代码，观察数据预处理、模型训练及结果可视化过程。

3. 学习路径建议

• 基础入门：先阅读 00. NumPy Basics 熟悉数组操作。
• 数据清洗：查看 01. Data Preprocessing 学习特征选择、缩放与提取。
• 算法实战：根据需求选择 02. Regression（回归）、03. Classification（分类）或 04. Clustering（聚类）中的对应算法笔记。
• 进阶深入：查阅 09. Neural Networks 了解反向传播推导及 CNN、LSTM 实现。

所有 Notebook 均包含理论公式推导与对应的 Python 代码实现，适合边学边练。