numpy_neuron_network

仅使用numpy从头构建神经网络, 包括如下内容(持续更新中....)

0. 网络中梯度反向传播公式推导

1. 层：FC层,卷积层,池化层,Flatten

2. 激活函数: ReLU、LeakyReLU、PReLU、ELU、SELU

3. 损失函数：均方差、交叉熵

4. 模型的保存、部署

5. 案例学习：线性回归、图像分类

6. 迁移学习、模型精调

7. 进阶：RNN、LSTM、GRU、BN

[TOC]

运行工程

环境：python 3.6.x

依赖：numpy>=1.15.0、Cython、jupyter

a) 下载

git clone https://github.com/yizt/numpy_neuron_network

b) 编译nn/clayers.pyx

cd numpy_neuron_network
python setup.py build_ext -i

c) 启动工程,所有的notebook都可以直接运行

jupyter notebook --allow-root --ip 0.0.0.0

基础知识

0_1-全连接层、损失函数的反向传播 、csdn地址

0_2_1-卷积层的反向传播-单通道、无padding、步长1 、csdn地址

0_2_2-卷积层的反向传播-多通道、无padding、步长1 、csdn地址

0_2_3-卷积层的反向传播-多通道、无padding、步长不为1 、csdn地址

0_2_4-卷积层的反向传播-多通道、有padding、步长不为1 、csdn地址

0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling、GlobalMaxPooling 、csdn地址

0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU 、csdn地址

0_4-优化方法-SGD、AdaGrad、RMSProp、Adadelta、Adam 、csdn地址

DNN练习

1_1_1-全连接神经网络做线性回归 、csdn地址

1_1_2-全连接神经网络做mnist手写数字识别 、csdn地址

CNN练习

2_1-numpy卷积层实现 、csdn地址

2_2-numpy池化层实现 、csdn地址

2_3-numpy-cnn-mnist手写数字识别 、csdn地址

2_4-对抗神经网络 、csdn地址

经典网络

3_1-VGG

进阶

5-1-RNN反向传播

5-2-LSTM反向传播

5-3-GRU反向传播

5-4-RNN、LSTM、GRU实现

5-5-案例-lstm连续文字识别

6-1-Batch Normalization反向传播

6-2-Batch Normalization实现

numpy_neural_network 快速上手指南

numpy_neural_network 是一个仅使用 NumPy 从头构建神经网络的教育型开源项目。它涵盖了从基础的全连接层、卷积层到进阶的 RNN、LSTM 及 Batch Normalization 的完整实现，并提供了详细的反向传播公式推导与案例实战，非常适合希望深入理解深度学习底层原理的开发者。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置相应编译环境)
• Python 版本：3.6.x
• 核心依赖：
  • numpy >= 1.15.0
  • Cython (用于加速卷积层计算)
  • jupyter (用于运行示例 Notebook)

提示：国内用户建议使用清华或阿里镜像源安装依赖，以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy Cython jupyter

安装步骤

1. 克隆项目

将代码仓库下载到本地：

git clone https://github.com/yizt/numpy_neuron_network

2. 编译扩展模块

进入项目目录，编译 nn/clayers.pyx 文件以启用高性能的卷积层实现：

cd numpy_neuron_network
python setup.py build_ext -i

3. 启动开发环境

启动 Jupyter Notebook 服务，即可直接运行项目中的所有案例教程：

jupyter notebook --allow-root --ip 0.0.0.0

基本使用

本项目主要通过 Jupyter Notebook 提供交互式学习体验。安装完成后，您可以根据学习路径直接打开对应的 .ipynb 文件进行实践。

入门示例：全连接神经网络做线性回归

这是最基础的练习，帮助您理解前向传播与反向传播流程。

1. 在 Jupyter 界面中，导航至 DNN 练习 目录。
2. 打开文件 1_1_1-全连接神经网络做线性回归.ipynb (对应文档 1_1_1-全连接神经网络做线性回归.md)。
3. 按顺序执行单元格，观察仅使用 NumPy 实现的梯度下降过程。

进阶示例：CNN 手写数字识别

当您熟悉了基础层后，可以尝试卷积神经网络案例。

1. 导航至 CNN 练习 目录。
2. 打开文件 2_3-numpy-cnn-mnist 手写数字识别.ipynb。
3. 该案例演示了如何组合卷积层、池化层和全连接层来识别 MNIST 数据集。

理论学习

如果您需要先补充数学推导知识，请在项目根目录或 基础知识 章节查看对应的 Markdown 文档（如 0_1-全连接层、损失函数的反向传播.md），其中包含了详细的公式推导过程及 CSDN 博客链接。