• 我的自制大模型推理框架课程介绍
• 一 transformer 模型
  • 1.1 transformer 模型基础
• 二 LLM 量化推理
• 三 llm 推理优化
  • 3.1 LLM 综合性能分析
  • 3.2 LLM 推理优化-算法层面
  • 3.3 LLM 并行加速
• 四 高性能计算
  • 4.1 triton 笔记
  • 4.2 cuda 笔记
  • 4.3 高性能编程学习资料推荐
• 五 框架解析
• 参考资料

LLM 笔记，包括模型推理、HPC 编程笔记、Transformer 模型结构以及 VLLM 框架代码分析笔记。

我的自制大模型推理框架课程介绍

1. 框架亮点：基于 Triton + PyTorch 开发的轻量级、且简单易用的大模型推理框架，采用类 Pytorch 语法的 Triton 编写算子，绕开 Cuda 复杂语法实现 GPU 内核开发。
2. 价格：499。非常实惠和便宜，课程、项目、面经、答疑质量绝对对得起这个价格。
3. 课程优势​：
   • 手把手教你从 0 到 1 实现大模型推理框架。
   • 项目导向 + 面试导向 + 分类总结的面试题。
   • 2025 最新的高性能计算/推理框架岗位的大厂面试题汇总
4. 项目优势​：
   • 架构清晰，代码简洁且注释详尽，覆盖大模型离线推理全流程。​
   • 运用 OpenAI Triton 编写高性能计算 Kernel，其中矩阵乘法内核效率堪比 cuBLAS。​
   • 基于 PyTorch 实现高效显存管理。​
   • 课程项目完美支持 FlashAttentionV1、V2、V3 与 GQA，以及 PageAttention 的具体实现。​
   • 使用 Triton 编写融合算子，如 KV 线性层融合等。​
   • 适配最新的 qwen3/qwen2.5/llama3/llava1.5 模型，相较 transformers 库，在 llama3 1B 和 3B 模型上，加速比最高可达 4 倍。
5. 分类总结部分面试题：

1. 项目运行效果:

llama3.2-1.5B-Instruct 模型流式输出结果测试：

Qwen2.5-3B 模型（社区版本）流式输出结果测试：

Llava1.5-7b-hf 模型流式输出结果测试:

感兴趣的同学可以扫码联系课程购买，这个课程是我和《自制深度学习推理框架》作者一起合力打造的，内容也会持续更新优化。

一 transformer 模型

1.1 transformer 模型基础

• transformer 论文解读
• transformer 模型代码实现
• llama1-3 模型结构详解
• vit 论文速读
• gpt1-3 论文解读
• Sinusoida 位置编码算法详解
• MLA结构代码实现及优化

二 LLM 量化推理

• SmoothQuant 论文解读
• SmoothQuant 算法源码剖析
• AWQ 论文解读
• AWQ 算法源码剖析

三 llm 推理优化

3.1 LLM 综合性能分析

• llm 推理揭秘论文翻译
• llm 综合分析论文翻译
• llm推理服务框架总结

3.2 LLM 推理优化-算法层面

• online-softmax 论文解读
• flashattention-1 论文解读
• flashattention-2 论文解读
• flashattention-3 论文解读
• flashattention1-2-3 系列总结
• prompt-cache论文速读
• vllm优化之cuda_graph详解

3.3 LLM 并行加速

• 张量并行技术详解

四 高性能计算

4.1 triton 笔记

• 理解 triton 之基础知识
• trito 内核开发基础 1
• trito 内核开发基础 2
• trito 内核开发基础 3
• trito 内核开发基础 4
• trito 内核开发基础 5

4.2 cuda 笔记

GPU 内核开发基础：

• 英伟达 GPU 架构总结
• 英伟达GPU通信和多卡拓扑结构
• 英伟达 GPU 性能分析指导
• Roofline 论文解读
• 理解 Roofline 性能分析模型

CUDA 内核开发笔记：

• CUDA 背景知识
• CUDA 编程模型概述
• CUDA 编程模型进阶
• CUDA 内存组织
• CUDA 执行模型
• CUDA 内核执行配置及线程索引计算
• CUDA 内核优化策略
• CUDA 流介绍

4.3 高性能编程学习资料推荐

1, 英伟达 gpu cuda 编程语法和特性学习资料推荐：

• GPU Architecture and Programming: 了解 GPU 架构和 cuda 编程的入门文档资料，学完可以理解 gpu 架构的基本原理和理解 cuda 编程模型（cuda 并行计算的基本流程）。建议当作学习 cuda 高性能计算编程的第一篇文档（文章）。
• CUDA Tutorial: CUDA 教程，分成四部分：CUDA 基础、GPU 硬件细节、最近的特性和趋势和基于任务的编程实例，提供了完整清晰的 PDF 文档和 cuda 代码实例。建议当作系统性学习 cuda 编程的教程。
• learn-cuda: 完整的 cuda 学习教程，包含高级异步方法内容，特点是有性能实验的代码实例。建议当作学习 cuda 高级特性的教程。
• CUDA C++ Programming Guide：内容很全，直接上手学习比较难，建议当作查缺补漏和验证细节的 cuda 百科全书，目前版本是 12.6。
• 《CUDA C 编程权威指南》：翻译的国外资料，说实话很多内容翻译的非常不行，我最开始跟着这个学习的，学了一周，只是了解了线程、内存概念和编程模型的概述，但是细节和系统性思维没学到，而且翻译的不行，内容也比较过时，完全不推荐，我已经替大家踩过坑了。
• 《CUDA 编程：基础与实践_樊哲勇》：国内自己写的教材，我查资料时候挑着看了一点，基本逻辑是通的，虽然很多原理、概念都讲的特别啰嗦，但实践需要的关键知识点都有讲到，想学中文教程的，可以当作当作了解一个方向的快速阅读资料。
• CUDA-Kernels-Learn-Notes： CUDA 内核编程笔记及实战代码，有很强的实践性，后期可以重点学习，我也准备认真看下代码和文档。

2, cuda/triton 编写 kernel 笔记资料：

• 最基本的通用矩阵乘法（gemm）：https://zhuanlan.zhihu.com/p/657632577
• kernl: 提供了一些 llm 的 triton 版 kernels
• unsloth：专注于大型语言模型推理加速的微调训练方向。提供了开源版本，可以显著提高训练效率，减少内存使用，并且支持 NVIDIA、Intel 和 AMD 的 GPU。Unsloth 的主要特点包括使用 OpenAI 的 Triton 语言重写所有内核。Gemma LLMs 速度提高 2-5 倍，内存减少 80% 内核基于 triton 实现。
• Liger-Kernel: 用于训练的高效 triton 内核实现。
• Efficient-LLM-Inferencing-on-GPUs: README 图片不错，改天看看。

五 框架解析

LLM 推理服务框架技术总结和源码解析：

• tgi 框架初步解析
• vllm推理流程剖析
• vllm优化技术速览
• lightllm 模型推理概述

Star History Chart：

\

参考资料

• CUDA内核学习笔记
• CUDA与基于任务的编程应用
• Transformer推理算法
• LLM推理揭秘：综述与Roofline模型洞察
• CUDATutorial
• NVIDIA CUDA知识库
• cuda_programming
• FreeCodeCamp上CUDA课程的GitHub仓库
• 《人工智能系统》
• 神经网络智能

llm_note 快速上手指南

llm_note 是一个专注于大模型（LLM）推理框架、高性能计算（HPC）编程及 Transformer 模型结构解析的开源学习笔记与项目集合。本项目不仅包含详细的理论文档，还提供了一个基于 Triton + PyTorch 实现的轻量级大模型推理框架实战代码。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 20.04/22.04)，Windows 需使用 WSL2。
• GPU 硬件：NVIDIA GPU（建议显存 ≥ 16GB 以运行较大模型，如 Llama3-8B；小模型如 1B/3B 可在 8GB 显存上测试）。
• 驱动要求：安装最新的 NVIDIA Driver 和 CUDA Toolkit (建议 CUDA 11.8 或 12.x)。
• 前置依赖：
  • Python >= 3.9
  • PyTorch (带 CUDA 支持)
  • Triton (OpenAI Triton)

安装步骤

1. 克隆项目

git clone https://github.com/HarleysZhang/llm_note.git
cd llm_note

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 隔离环境。

# 创建虚拟环境
conda create -n llm_note python=3.10 -y
conda activate llm_note

# 安装 PyTorch (根据实际 CUDA 版本选择，此处以 CUDA 11.8 为例)
# 国内用户推荐使用清华源加速
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 Triton (PyTorch 2.0+ 通常内置或需单独安装对应版本)
pip install triton

# 安装其他必要依赖
pip install transformers accelerate sentencepiece protobuf

注意：本项目核心亮点在于使用 Triton 编写算子。如果您的 PyTorch 版本较新（>=2.0），Triton 通常已集成或可自动适配。若需特定版本的 Triton，请参考官方文档安装。

基本使用

本项目主要包含两部分内容：学习笔记文档和推理框架代码。

1. 阅读学习笔记

所有技术文档均位于项目子目录中，您可以直接在 GitHub 上浏览或使用本地 Markdown 阅读器查看。核心学习路径如下：

• Transformer 基础：查看 1-transformer_model/ 目录，包含论文解读及 Llama/ViT 结构实现。
• 量化与优化：查看 2-llm_compression/ 和 3-llm_infer/，涵盖 SmoothQuant、AWQ 及 FlashAttention 系列算法解析。
• 高性能计算：查看 4-hpc_basic/，包含详细的 Triton 和 CUDA 内核开发教程。
• 框架源码：查看 5-framework/，深入解析 vLLM、TGI 等主流框架源码。

2. 运行自制推理框架示例

项目提供了一套基于 Triton 实现的轻量级推理框架，支持流式输出。以下是运行测试的基本流程（具体脚本路径可能随项目更新调整，请以仓库最新结构为准）：

步骤 A：准备模型权重 确保您已下载对应的模型权重（如 llama3.2-1.5B-Instruct 或 Qwen2.5-3B），并放置在本地目录。

步骤 B：执行推理脚本 在项目根目录或对应的 src/examples 目录下寻找推理入口脚本。假设主脚本为 infer.py（具体文件名请查阅项目最新代码结构）：

# 示例命令：运行 Llama3 1.5B 模型进行流式生成
python infer.py \
    --model_path /path/to/llama3.2-1.5B-Instruct \
    --prompt "请介绍一下人工智能的发展趋势" \
    --max_tokens 512 \
    --stream True

预期效果： 终端将像 README 中演示的那样，逐字流式输出模型生成的回答。该项目针对 Llama3 1B/3B 模型进行了深度优化，相比原生 Transformers 库可获得显著的加速比。

步骤 C：尝试多模态模型 (可选) 如果您配置了足够显存，可尝试运行 Llava 多模态模型测试：

python infer_multimodal.py \
    --model_path /path/to/Llava1.5-7b-hf \
    --image_path ./images/demo.jpg \
    --prompt "描述这张图片的内容"

---

注：由于本项目包含大量教学性质的代码和不断迭代的算子实现，具体脚本参数请以仓库内最新的 examples 文件夹或脚本头部注释为准。