从零开始的机器学习！

更新：代码实现已迁移到 Python 模块中。Notebook 将仅展示结果和模型对比。

为了重温基础知识，我将尝试仅使用 Python 和有限的 NumPy/ pandas 函数，从头实现一些基础的机器学习算法。我的模型实现将与流行机器学习库（如 scikit-learn）中的现有模型进行比较：

• 带有权重衰减（L2 正则化）的线性回归
• 带有权重衰减的逻辑回归
• 随机森林及其排列特征重要性
  • 随机森林回归器
  • 随机森林分类器
• K 最近邻：监督与非监督
• 用于分类的神经网络
  • 随机梯度下降
  • 多个隐藏层
  • 各种激活函数及其导数（Sigmoid、Softmax、ReLU 等），并为每个隐藏层单独定制
  • L2 正则化
  • Dropout
  • 动态学习率优化器（Momentum、RMSProp 和 Adam）
  • 待办事项：批量归一化

以下 Notebook 使用了 PyTorch 库，因此并非完全从零实现。不过，我尽量避免使用任何高级的 PyTorch 函数：

• PyTorch 神经网络，包含：
  • 自定义数据加载器
  • 单通道图像的数据增强：torchvision 与 fastai 的对比
  • 带有批量归一化和 Dropout 的浅层神经网络
  • 学习率查找器
• 自编码器
• 协同过滤
• 越南语字符级 RNN（Fast.ai）

basic_model_scratch 快速上手指南

basic_model_scratch 是一个旨在通过仅使用 Python 和基础的 NumPy/Pandas 功能，从零实现经典机器学习算法的教育型项目。该项目将自定义实现的模型与 Scikit-learn 等主流库进行对比，适合希望深入理解算法原理的开发者。

环境准备

本项目主要依赖 Python 基础数据科学栈。部分高级示例（如 PyTorch 相关笔记）需要额外安装深度学习框架。

• 操作系统：Windows / macOS / Linux
• Python 版本：推荐 Python 3.8+
• 核心依赖：
  • numpy
  • pandas
  • matplotlib (用于可视化结果)
  • scikit-learn (用于模型对比基准)
• 可选依赖（针对 PyTorch 部分）：
  • torch
  • torchvision
  • fastai (针对越南语 RNN 示例)

安装步骤

1. 克隆仓库 首先从 GitHub 获取源代码：

   git clone https://github.com/anhquan0412/basic_model_scratch.git
   cd basic_model_scratch
   

2. 安装依赖 建议创建虚拟环境后安装依赖。由于原仓库未提供 requirements.txt，请手动安装核心库。

   使用官方源：

   pip install numpy pandas matplotlib scikit-learn jupyter
   

   使用国内镜像源（推荐中国开发者）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas matplotlib scikit-learn jupyter
   

   (可选) 若需运行 PyTorch 相关 Notebook，请安装 torch 及相关库：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision fastai
   

基本使用

本项目主要由 Jupyter Notebooks 组成，每个 Notebook 对应一个算法的实现与演示。

1. 启动 Jupyter Lab/Notebook 在项目根目录下运行：

   jupyter lab
   # 或者
   jupyter notebook
   

2. 选择示例运行 在浏览器打开的界面中，根据你想学习的算法选择对应的 .ipynb 文件。

   • 线性回归 (含 L2 正则化): 打开 linear_regression.ipynb，按顺序执行单元格，观察从零实现的梯度下降过程及与 sklearn 结果的对比。

   • 神经网络分类器: 打开 scratch_neural_net.ipynb，该示例展示了包含多层隐藏层、多种激活函数（Sigmoid, ReLU 等）、Dropout 及动态学习率优化器（Adam, RMSProp）的手写神经网络。

   • 随机森林: 打开 random_forest_regressor.ipynb 或 random_forest_classifier.ipynb，学习如何从头构建决策树集成并计算排列特征重要性。

3. 代码逻辑概览 大多数 Notebook 遵循以下结构：

   • 数据加载与预处理（仅使用 Pandas/NumPy）。
   • 定义模型类（包含 fit 和 predict 方法）。
   • 手动实现损失函数与反向传播（针对神经网络）。
   • 训练模型并绘制损失曲线。
   • 调用 sklearn 同名模型进行效果对比验证。

注意：根据 README 更新说明，核心代码实现已迁移至 Python 模块，Notebook 主要用于展示运行结果和模型对比分析。如需修改算法逻辑，建议直接查看项目中对应的 .py 文件（如有）或在 Notebook 中直接修改代码单元格。