• 项目概述
• 我的自制大模型推理框架课程介绍
• 一，数学和编程基础专栏
• 二，神经网络基础部件
• 三，经典卷积神经网络模型
• 四，深度学习炼丹
• 五，深度学习模型压缩
• 六，模型推理部署
• 七，进阶课程
• 参考资料

项目概述

本仓库项目是个人总结的计算机视觉和大语言模型学习笔记，包含深度学习基础知识、神经网络基础部件详解、深度学习炼丹策略、深度学习模型压缩算法、深度学习推理框架代码解析及动手实战。

LLM 基础及推理优化的专栏笔记请参考 llm_note 仓库。

我的自制大模型推理框架课程介绍

1. 框架亮点：基于 Triton + PyTorch 开发的轻量级、且简单易用的大模型推理框架，采用类 Pytorch 语法的 Triton 编写算子，绕开 Cuda 复杂语法实现 GPU 加速。
2. 价格：499。非常实惠和便宜，课程、项目、面经、答疑质量绝对对得起这个价格。
3. 课程优势​：
   • 手把手教你从 0 到 1 实现大模型推理框架。
   • 项目导向 + 面试导向 + 分类总结的面试题。
   • 2025 最新的高性能计算/推理框架岗位的大厂面试题汇总
4. 项目优势​：
   • 架构清晰，代码简洁且注释详尽，覆盖大模型离线推理全流程。​
   • 运用 OpenAI Triton 编写高性能计算 Kernel，开发矩阵乘法内核，效率堪比 cuBLAS。​
   • 依托 PyTorch 进行高效显存管理。​
   • 课程项目完美支持 FlashAttentionV1、V2、V3 与 GQA，以及 PageAttention 的具体实现。​
   • 使用 Triton 编写融合算子，如 KV 线性层融合等。​
   • 适配最新的 llama/qwen2.5/llava1.5 模型，相较 transformers 库，在 llama3 1B 和 3B 模型上，加速比最高可达 4 倍。
5. 分类总结部分面试题：

6. 项目运行效果:

llama3.2-1.5B-Instruct 模型流式输出结果测试：

Qwen2.5-3B 模型（社区版本）流式输出结果测试：

Llava1.5-7b-hf 模型流式输出结果测试:

感兴趣的同学可以扫码联系课程购买，这个课程是我和《自制深度学习推理框架》作者一起合力打造的，内容也会持续更新优化。

一，数学和编程基础专栏

• 深度学习数学基础-概率与信息论
• 深度学习基础-机器学习基本原理
• 随机梯度下降法的数学基础
• Python 编程思维导航

二，神经网络基础部件

1，神经网络基础部件：

1. 神经网络基础部件-卷积层详解
2. 神经网络基础部件-BN 层详解
3. 神经网络基础部件-激活函数详解

2，深度学习基础：

• 反向传播与梯度下降详解
• 深度学习基础-参数初始化详解
• 深度学习基础-损失函数详解
• 深度学习基础-优化算法详解

三，经典卷积神经网络模型

1，卷积神经网络的经典 backbone：

• ResNet网络详解
• DenseNet 网络详解
• ResNetv2 网络详解
• 经典 backbone 网络总结

2，轻量级网络详解：

• MobileNetv1论文详解
• ShuffleNetv2论文详解
• RepVGG论文详解
• CSPNet论文详解
• VoVNet论文解读
• 轻量级模型设计总结

四，深度学习炼丹

1. 深度学习炼丹-数据标准化
2. 深度学习炼丹-数据增强
3. 深度学习炼丹-不平衡样本的处理
4. 深度学习炼丹-超参数设定
5. 深度学习炼丹-正则化策略

五，深度学习模型压缩

1. 深度学习模型压缩算法综述
2. 模型压缩-轻量化网络设计与部署总结
3. 模型压缩-剪枝算法详解
4. 模型压缩-知识蒸馏详解
5. 模型压缩-量化算法详解

六，模型推理部署

1，模型推理部署：

• 卷积神经网络复杂度分析
• 模型压缩部署概述
• 矩阵乘法详解
• 模型推理加速技巧-融合卷积和BN层

2，ncnn 框架源码解析：

• ncnn 源码解析-sample 运行
• ncnn 源码解析-Net 类

3，异构计算

1. 移动端异构计算：neon 编程
2. GPU 端异构计算：cuda 编程，比如 gemm 算法解析与优化

七，进阶课程

1，推荐几个比较好的深度学习模型压缩与加速的仓库和课程资料：

1. 神经网络基本原理教程
2. AI-System：深度学习系统，主要从底层方向讲解深度学习系统等原理、加速方法、矩阵成乘加计算等。
3. pytorch-deep-learning：很好的 pytorch 深度学习教程。

2，一些笔记好的博客链接：

• The Illustrated Transformer：国内比较好的博客大都参考这篇文章。
• C++ 并发编程（从C++11到C++17）：不错的 C++ 并发编程教程。
• What are Diffusion Models?
• annotated_deep_learning_paper_implementations

3，最后，持续高质量创作不易，有 5 秒空闲时间的，可以扫码关注我的公众号-嵌入式视觉，记录 CV 算法工程师成长之路，分享技术总结、读书笔记和个人感悟。

公众号不会写标题党文章，也不输出给大家带来的焦虑的内容！

4，Star History Chart：

参考资料

• 《深度学习》
• 《机器学习》
• 《动手学深度学习》
• 《机器学习系统：设计和实现》
• 《AI-EDU》
• 《AI-System》
• 《PyTorch_tutorial_0.0.5_余霆嵩》
• 《动手编写深度学习推理框架 Planer》
• distill：知识精要和在线可视化
• LLVM IR入门指南
• nanoPyC
• ClassifyTemplate
• pytorch-classification

dl_note 快速上手指南

dl_note 是一个专注于计算机视觉（CV）和大语言模型（LLM）的深度学习学习笔记与实战项目。它涵盖了从数学基础、神经网络部件、经典模型、训练策略（炼丹）、模型压缩到推理部署的全流程知识，并包含基于 Triton + PyTorch 的自制大模型推理框架实战代码。

环境准备

本项目主要基于 Python 和 PyTorch 生态，部分高性能算子依赖 OpenAI Triton。

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+), macOS, Windows (需配置 WSL2 以获得最佳兼容性)
• GPU: 推荐使用 NVIDIA GPU (用于运行 Triton 算子及大模型推理)，显存建议 8GB 以上以流畅运行示例模型。
• Python: 3.8 - 3.10

前置依赖

确保已安装以下基础工具：

• Git
• CUDA Toolkit (版本需与 PyTorch 匹配，建议 11.8 或 12.1+)

安装步骤

1. 克隆项目

git clone https://github.com/HarleysZhang/dl_note.git
cd dl_note

2. 创建虚拟环境

建议使用 Conda 管理环境：

conda create -n dl_note python=3.9
conda activate dl_note

3. 安装核心依赖

安装 PyTorch 及相关深度学习库。国内用户推荐使用清华源或阿里源加速下载。

安装 PyTorch (以 CUDA 11.8 为例):

pip install torch torchvision torchaudio --index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

安装其他依赖: 项目中涉及的笔记主要为 Markdown 文档，若需运行目录下的推理框架代码或示例脚本，请安装以下库：

pip install transformers accelerate triton numpy matplotlib opencv-python

注意: triton 库通常在安装新版 torch 时会自动包含，若缺失请单独 pip install triton。

基本使用

本项目核心内容为结构化的学习笔记，同时包含可运行的推理框架代码。

1. 阅读学习笔记

项目按模块组织，您可以直接在本地或 GitHub 上浏览 Markdown 文件。核心学习路径如下：

• 基础入门: 查看 1-math_ml_basic/ 和 2-deep_learning_basic/ 目录，学习数学基础与神经网络部件（如卷积、BN、激活函数）。
• 模型架构: 进入 3-classic_backbone/ 研读 ResNet, MobileNet, DenseNet 等经典网络详解。
• 训练优化: 参考 4-deep_learning_alchemy/ 获取数据增强、超参数调整及正则化策略。
• 模型压缩与部署: 深入 5-model_compression/ (剪枝、蒸馏、量化) 和 6-model_deploy/ (推理加速、ncnn 源码解析)。

2. 运行自制推理框架示例

项目包含基于 Triton 实现的高性能算子及大模型推理演示。

步骤 A: 准备模型权重 确保已下载支持的模型权重（如 llama3, qwen2.5, llava1.5），或使用 HuggingFace 自动下载。

步骤 B: 执行推理脚本 在项目根目录下，找到对应的推理脚本（通常位于与课程代码相关的子目录中，具体文件名请参考项目最新结构，以下为通用调用逻辑）：

# 示例：调用自定义 Triton 算子进行矩阵乘法测试
import torch
from your_triton_module import matmul_kernel # 需根据实际代码路径导入

# 初始化张量
a = torch.randn(1024, 1024, device='cuda', dtype=torch.float16)
b = torch.randn(1024, 1024, device='cuda', dtype=torch.float16)
c = torch.empty_like(a)

# 执行融合算子 (具体调用方式请参考项目内具体 .py 文件注释)
# matmul_kernel[(grid_size,)](a, b, c, ...) 

步骤 C: 体验流式输出 若已配置好完整推理链路，可运行类似以下命令测试大模型流式生成（具体脚本名请以仓库内实际文件为准，如 run_inference.py）：

python run_inference.py --model_name llama3.2-1.5B-Instruct --stream True

预期效果：终端将逐字输出模型生成的文本，展示类似 README 中 GIF 演示的流式推理能力。

3. 进阶学习

对于希望深入底层优化的开发者，建议结合 6-model_deploy/ 中的 ncnn 源码解析及异构计算（Neon/CUDA）笔记，动手复现矩阵乘法优化与算子融合。