Python 机器学习 Jupyter 笔记本（ML 网站）

蒂尔塔焦蒂·萨卡尔博士，弗里蒙特，加利福尼亚州（欢迎在 LinkedIn 上联系我）

---

同时也请查看我整理的这些超级实用的仓库

• 与机器学习、深度学习、人工智能、博弈论、强化学习相关的高引用且有用的论文

• 精心整理的数据科学资源链接合集

需求

• Python 3.6+
• NumPy (pip install numpy)
• Pandas (pip install pandas)
• Scikit-learn (pip install scikit-learn)
• SciPy (pip install scipy)
• Statsmodels (pip install statsmodels)
• MatplotLib (pip install matplotlib)
• Seaborn (pip install seaborn)
• Sympy (pip install sympy)
• Flask (pip install flask)
• WTForms (pip install wtforms)
• Tensorflow (pip install tensorflow>=1.15)
• Keras (pip install keras)
• pdpipe (pip install pdpipe)

---

你可以从我在 Heartbeat 杂志（Medium 平台）上撰写的一篇文章开始：

"使用 Python 进行机器学习的一些必备技巧和窍门"

Pandas 和 Numpy 的基础教程型笔记本

涵盖 NumPy、Pandas、Seaborn、Matplotlib 等主题的广泛功能和操作的 Jupyter 笔记本。

• 详细的 Numpy 操作
• 详细的 Pandas 操作
• Numpy 和 Pandas 快速入门
• Matplotlib 和 Seaborn 快速入门
• 高级 Pandas 操作
• 如何读取各种数据源
• PDF 读取与表格处理演示
• Numpy 操作相比纯 Python 代码有多快？（阅读我在 Medium 上发表的关于此主题的文章：为什么你应该忘记 for 循环，拥抱向量化编程）
• 使用 .npy 文件格式快速读取 Numpy 数据（阅读我在 Medium 上发表的关于此主题的文章：为什么你应该更频繁地使用 .npy 文件）

涵盖回归、分类、聚类、降维以及一些基础神经网络算法的教程型笔记本

回归

• 带 t 统计量生成的简单线性回归

• 在 Python 中执行线性回归的多种方法及其速度比较（参阅我在 freeCodeCamp 上撰写的文章：用 Python 进行数据科学：8 种线性回归方法及其速度对比）

• 带有正则化的多元回归

• 使用 scikit-learn 管道功能 进行多项式回归（参阅我在 Towards Data Science 上撰写的文章：用 Python 进行机器学习：一种简单而稳健的非线性数据拟合方法）

• 决策树和随机森林回归（展示了随机森林作为稳健/正则化的元估计器，能够有效避免过拟合）

• 针对线性回归问题的详细可视化分析和拟合优度诊断测试

• 使用 Scikit-learn 的 HuberRegressor 进行鲁棒线性回归

---

分类

• 逻辑回归/分类 (这里是 Notebook)

• k 最近邻分类 (这里是 Notebook)

• 决策树与随机森林分类 (这里是 Notebook)

• 支持向量机分类 (这里是 Notebook) (查看我在 Towards Data Science 上撰写的关于 SVM 和排序算法的文章)

• 朴素贝叶斯分类 (这里是 Notebook)

---

聚类

• K-均值聚类 (这里是 Notebook)

• 相似度传播（展示其时间复杂度及阻尼因子的影响）(这里是 Notebook)

• 均值漂移技术（展示其时间复杂度以及噪声对聚类发现的影响）(这里是 Notebook)

• DBSCAN（展示其如何在不考虑簇形状的情况下，通用性地检测高密度区域，而 k-means 则无法做到）(这里是 Notebook)

• 层次聚类结合树状图，展示如何选择最佳的聚类数量 (这里是 Notebook)

---

降维

• 主成分分析

---

深度学习/神经网络

• 演示 Notebook，说明深度神经网络在复杂非线性函数逼近任务中的优越性
• 使用基础 TensorFlow 方法逐步构建单隐藏层和双隐藏层密集网络。

---

使用符号表达式生成随机数据

• 如何利用 Sympy 包 通过符号数学表达式生成随机数据集。

• 这是我的 Medium 文章：使用符号表达式生成随机回归与分类问题

---

合成数据生成技术

• Notebook 请见这里

简单部署示例（在 Web API 上服务机器学习模型）

• 通过简单的 HTTP 服务器接口服务线性回归模型。用户需要通过执行 Python 脚本来请求预测结果。使用了 Flask 和 Gunicorn。

• 通过 HTTP 网页服务循环神经网络 (RNN)，配备了一个网页表单，用户可以输入参数并点击按钮，基于预先训练好的 RNN 模型生成文本。使用了 Flask、Jinja、Keras/TensorFlow、WTForms。

---

面向对象编程与机器学习

在机器学习背景下实现一些核心的 OOP 原则，例如 构建你自己的类似 Scikit-learn 的估计器，并使其更优秀。

请参阅我在 Medium 上的相关文章：

• 面向数据科学家的面向对象编程：构建你的 ML 估计器
• 简单混合的面向对象编程如何提升你的深度学习原型

---

使用 Pytest 对 ML 代码进行单元测试

请查看 Pytest 目录中的文件及详细说明，以了解如何为机器学习模型编写单元测试代码/模块。

---

内存与性能剖析

对数据科学代码和机器学习模型进行内存占用和计算时间的剖析是一项至关重要但常常被忽视的工作。以下是一些展示相关思路的 Notebook：

• 使用 Scalene 进行内存剖析
• 数据科学代码的时间剖析

Machine-Learning-with-Python 快速上手指南

本指南基于 Dr. Tirthajyoti Sarkar 开源的机器学习教程仓库，提供从数据处理、经典算法到模型部署的完整 Jupyter Notebook 示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：3.6 或更高版本
• 核心依赖库：
  • 数据处理：NumPy, Pandas, SciPy, pdpipe
  • 可视化：Matplotlib, Seaborn
  • 机器学习：Scikit-learn, Statsmodels
  • 深度学习：TensorFlow (>=1.15), Keras
  • Web 部署：Flask, WTForms
  • 符号计算：Sympy

提示：国内用户建议使用清华或阿里镜像源加速安装过程。

安装步骤

1. 克隆项目

首先将仓库克隆到本地：

git clone https://github.com/tirthajyoti/Machine-Learning-with-Python.git
cd Machine-Learning-with-Python

2. 安装依赖

推荐使用 pip 配合国内镜像源一次性安装所有必要组件：

pip install numpy pandas scikit-learn scipy statsmodels matplotlib seaborn sympy flask wtforms pdpipe -i https://pypi.tuna.tsinghua.edu.cn/simple

安装深度学习框架（注意版本兼容性）：

pip install "tensorflow>=1.15" keras -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目主要由一系列 Jupyter Notebooks (.ipynb) 组成，涵盖了从基础操作到高级算法的实战案例。

启动方式

确保已安装 Jupyter Lab 或 Notebook：

pip install jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple
jupyter lab

在浏览器打开后，导航至克隆的项目目录即可看到分类清晰的笔记本文件。

最简单的使用示例：探索 Pandas 与 Numpy 基础

对于初学者，建议从 Pandas and Numpy 文件夹入手，快速掌握数据操作核心。

1. 在 Jupyter 中打开 Pandas and Numpy/Numpy_Pandas_Quick.ipynb。
2. 运行单元格，查看基础的数组创建与 DataFrame 操作演示。

或者，尝试运行一个具体的回归分析示例：

1. 进入 Regression 文件夹。
2. 打开 Linear_Regression_Methods.ipynb。
3. 该笔记本展示了多种执行线性回归的方法及其速度对比。您可以直接修改代码中的数据部分，观察模型拟合效果的变化。

# 示例：在 Notebook 中加载并预览数据（伪代码逻辑参考）
import pandas as pd
import numpy as np

# 读取示例数据
df = pd.read_csv('your_data.csv') 

# 简单的数据预览
print(df.head())

进阶路径推荐

• 数据清洗：阅读 Read_data_various_sources 目录下的笔记，学习如何读取 CSV、PDF 表格等多种格式数据。
• 算法实战：依次浏览 Classification（分类）、Clustering-Dimensionality-Reduction（聚类与降维）目录，每个笔记都包含了算法原理图解与代码实现。
• 模型部署：参考 Deployment 目录，学习如何使用 Flask 将训练好的线性回归或 RNN 模型发布为 Web API。