新闻：新课发布，《动手自制大模型推理框架》，全手写CUDA算子，课程框架支持LLaMA2和3.x以及通义千问2.5模型

嗨，各位朋友们好！我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程，迄今已经在 GitHub 上已斩获 2.5k star。 如今在原课程的基础上，我们全新推出了《动手自制大模型推理框架》， 新课程支持Llama系列大模型（包括最新的LLaMA3.2）以及通义千问2.5系列大模型，同时支持 CUDA 加速和 Int8 量化，自推出以来便广受好评。

《动手自制大模型推理框架》课程目录：

https://tvle9mq8jh.feishu.cn/docx/AGb0dpqwfohQ9oxx4QycqbCjnJh

《动手自制大模型推理框架》课程优势

1. 采用最新的C++ 20标准去写代码，统一、美观的代码风格，良好的错误处理；
2. 优秀的项目管理形式，我们采用CMake+Git的方式管理项目，接轨大厂；
3. 授人以渔，教大家怎么设计一个现代C++项目，同时教大家怎么用单元测试和Benchmark去测试验证自己的项目；
4. CPU算子和CUDA双后端实现，对时新的大模型（LLaMA3和通义千问系列）有非常好的支持。

如果你对大模型推理感兴趣，想要深入了解并掌握相关技术，想在校招、秋招面试当中脱颖而出，那么这门《动手自制大模型推理框架》课程绝对不容错过。快来加入我们，一起开启学习之旅吧！ 感兴趣的同学欢迎扫一扫课程下方二维码或者添加微信 lyrry1997 参加课程

《动手自制大模型推理框架》课程项目运行效果

LLaMA1.1b fp32模型，视频无加速，运行平台为Nvidia 3060 laptop，速度为60.34 token/s

KuiperInfer (自制深度学习推理框架)

带领你亲手打造一个深度学习推理框架。关注我的B站空间，获取最新视频更新。

跟随本项目，从零开始自制深度学习推理框架，你将有以下收获：

1. 学习一个深度学习框架背后的知识，掌握现代C++项目的写法，调试技巧和工程经验；
2. 如何设计、编写一个计算图；
3. 实现常见的算子，卷积算子、池化算子、全连接算子等；
4. 在3的基础上，学会常见的优化手段加速算子的执行；
5. 最后你将获得一个属于自己的推理框架，可以推理resnet, unet, yolov5, mobilenet等模型，对面试和知识进阶大有裨益。

视频课程链接：https://space.bilibili.com/1822828582

课程大纲

第二次课程是第一次课程的重置版，内容更加充实和完善，第一次课程大纲见下方章节。

课程节数	进度	课程链接
第一讲 项目预览和环境配置	完成	https://www.bilibili.com/video/BV118411f7yM
第二讲 张量(Tensor)的设计与实现	完成	https://www.bilibili.com/video/BV1hN411k7q7
第三讲 计算图的定义	完成	https://www.bilibili.com/video/BV1vc411M7Yp
第四讲 构建计算图关系和执行顺序	完成	https://www.bilibili.com/video/BV19s4y1r7az
第五讲 KuiperInfer中的算子和注册工厂	完成	https://www.bilibili.com/video/BV1gx4y1o7pj
第六讲 卷积和池化算子的实现	完成	https://www.bilibili.com/video/BV1hx4y197dS
第七讲 表达式层中词法分析和语法分析以及算子的实现	完成	https://www.bilibili.com/video/BV1j8411o7ao
第八讲 自制推理框架支持Resnet网络的推理	完成	https://www.bilibili.com/video/BV1o84y1o7ni
第九讲 自制推理框架支持YoloV5网络的推理	完成	https://www.bilibili.com/video/BV1Qk4y1A7XL

Demo效果

Unet语义分割

🥰 KuiperInfer当前已支持Unet网络的推理，采用carvana的预训练权重

推理复现可参考文末的 运行 Kuiper 的 demo

Yolov5目标检测

Demo直接使用yolov5-s的预训练权重(coco数据集)，使用KuiperInfer推理

第一次课程大纲

我在b站上开了一门教学课程，目前是课程的前13次课程。课程大纲如下，主页是: https://space.bilibili.com/1822828582 , 欢迎大家关注支持。进学习群的方式如上图的二维码。

课程节数	主要内容	进度	课程链接
第一次课	整体框架解读和开发环境配置	完成	https://www.bilibili.com/video/BV1HV4y1A7H8/
第二次课	张量Tensor类的解析和输入数据的内存排布	完成	https://www.bilibili.com/video/BV1Ed4y1v7Gb/
第三次课	从CSV文件中初始化张量Tensor一个实例	完成	https://www.bilibili.com/video/BV1Pg411J7V5/
第四次课	手写第一个算子Relu并完成算子注册工厂类	完成	https://www.bilibili.com/video/BV1bG4y1J7sQ/
第五次课	Im2col的原理和卷积算子的实现	完成	https://www.bilibili.com/video/BV1F841137Ct
第六次课	照猫画虎，完成MaxPooling算子	完成	https://www.bilibili.com/video/BV1m3411S7yy
第七次课	图结构(PNNX)讲解和计算图初步	完成	https://www.bilibili.com/video/BV1VW4y1V7vp
第八次课	读取PNNX并构建自己的计算图	完成	https://www.bilibili.com/video/BV1HY4y1Z7S3
第九次课	卷积算子的实现和im2col加速计算的原理	完成	https://www.bilibili.com/video/BV1F841137Ct
第十次课	再探Tensor类，构建计算图的图关系以及对算子的输入输出预分配	完成	https://www.bilibili.com/video/BV1M54y1K7AG
第十一次课	算子的执行流程	完成	https://www.bilibili.com/video/BV1wY411C7Kv
第十二次课	用我们自制的推理框架完成ResNet网络的推理和图片的分类	完成	https://www.bilibili.com/video/BV1jD4y1M772
第十三次课	用自制的推理框架支持Yolov5模型的推理	完成	https://www.bilibili.com/video/BV1xs4y1J7t2

项目贡献

贡献者列表

感谢以下同学对KuiperInfer的付出

• zjhellofss
• liuxubit
• Azusachan
• wfs2010
• mlmz
• Tigerrr07
• zyt1024
• zpye
• cmcamdy
• superCB
• sanbuphy
• TypeFloat
• Jasmine-up
• PerrySkywalker
• delve-wang
• z-learner
• Meihongtao

如何参与项目贡献？

1. 提交代码增加新功能或修改bug；
2. 提出特别有用的建议；
3. 完善文档或增加单元测试。

本项目和视频课程的关系

• 本项目相当于课程的上游或者预研项目

• 这里的每一个功能都有可能成为视频课程中的知识点，无论是我开发的还是其他同学完善的。

使用的技术和开发环境

• 开发语言：C++ 17
• 数学库：Armadillo + OpenBlas(或者更快的Intel MKL)
• 加速库：OpenMP
• 单元测试：Google Test
• 性能测试：Google Benchmark

安装过程(使用Docker)

1. docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
2. sudo docker run -t -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest /bin/bash
3. cd code
4. git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
5. cd KuiperInfer
6. git checkout -b 你的新分支 study_version_0.02 (如果想抄本项目的代码，请使用这一步切换到study tag)
7. mkdir build
8. cd build
9. cmake -DCMAKE_BUILD_TYPE=Release -DDEVELOPMENT=OFF ..
10. make -j$(nproc)

Tips:

1. 如果需要对KuiperInfer进行开发，请使用 git clone --recursive https://github.com/zjhellofss/KuiperInfer.git 同时下载子文件夹tmp，并在cmake文件中设置$DEVELOPMENT或者指定-DDEVELOPMENT=ON
2. 如果国内网速卡顿，请使用 git clone https://gitee.com/fssssss/KuiperInferGitee.git
3. 如果想获得更快地运行体验，请在本机重新编译openblas或apt install intel-mkl

安装过程(构建Docker镜像)

1. docker build -t kuiperinfer:latest .
2. docker run --name kuiperinfer -it kuiperinfer:latest /bin/bash
3. cd /app
4. 余下步骤参考上述安装过程的步骤4-10

安装过程（不使用 Docker）

1. 使用 git clone --recursive https://github.com/zjhellofss/KuiperInfer.git 克隆仓库。
2. git checkout -b 你的新分支 study_version_0.01（若想直接使用本项目代码，请切换到 study 标签）
3. 安装必要的环境（推荐编译安装 OpenBLAS，以获得更快的运行速度；也可使用 apt install intel-mkl 替代 OpenBLAS）：

   apt install cmake, libopenblas-dev, liblapack-dev, libarpack-dev, libsuperlu-dev
   

4. 下载并编译 Armadillo：https://arma.sourceforge.net/download.html。
5. 编译并安装 glog、Google Test 和 Google Benchmark。
6. 剩余步骤与上述一致。

提示：

1. 在编译 Google Benchmark 时，若遇到缺少 gtest 的错误，可在 Google Benchmark 的 CMake 配置中关闭 gtest 选项。

运行 Kuiper 的 Demo

运行 UNet 的推理

编译完成后，请复制 tmp/unet/demo 文件夹下的 test.png 图片的绝对路径或相对路径，随后在 build/demos 中按以下格式运行推理程序：

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

其中 PNNX 模型的下载地址为：https://cowtransfer.com/s/09c7f337bab443。若推理成功，您将在当前目录下看到分割后的结果图 unet_output.jpg。

运行 YOLOv5 的推理

请在 demos 文件夹下的 yolo_test.cpp 文件中修改以下代码：

const std::string& image_path = "imgs/car.jpg";
const std::string& param_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.param";
const std::string& bin_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.bin";

• image_path 指定图像路径，param_path 为模型的参数文件，bin_path 为模型的权重文件，请替换为您本地的实际路径。
• 模型定义及权重下载地址如下：https://cowtransfer.com/s/9bc43e0905cb40。
• 编译完成后，在项目根目录下执行 ./build/demos/yolo_test。

已支持的算子

总体理念：逐步优化现有算子；必要时再开发未实现的算子。

• 卷积 (Convolution)
• 自适应池化 (AdaptivePooling)
• 最大池化 (MaxPooling)
• 表达式（抽象语法树）(Expression)
• 展平与变形 (Flatten, View)
• Sigmoid
• HardSigmoid
• HardSwish
• ReLU
• 线性变换（矩阵乘法）(Linear)
• Softmax
• 批量归一化 (BatchNorm)
• 上采样 (Upsample)
• SiLU
• 拼接 (Concat)
• 转置卷积 (ConvTranspose)

目录结构

source 是源码目录：

1. data/ 包含张量类 Tensor 的实现及初始化方法。
2. layer/ 包含算子的实现。
3. parser/ 包含 PNNX 表达式的解析类。
4. runtime/ 包含计算图结构、解析及运行时相关代码。

test 是单元测试目录，基本覆盖了所有公共方法的单元测试。

bench 是 Google Benchmark 目录，包含对 MobileNetV3、ResNet18 和 YOLOv5s 的性能测试。

性能测试

测试设备

AMD EPYC 7543（霄龙）15 核处理器（Docker 容器，宿主机共有 32 核）。

编译环境

gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0。

性能结果

耗时通过连续五次运行并取平均值计算。

输入尺寸	模型名称	计算设备	耗时
224×224 batch = 8	MobileNetV3Small	CPU（Armadillo + OpenBLAS）	6.76ms / 图像
224×224 batch = 8	ResNet18	CPU（Armadillo + OpenBLAS）	23.53ms / 图像
224×224 batch = 16	ResNet18	CPU（Armadillo + OpenBLAS）	13.52ms / 图像
640×640 batch = 8	YOLOv5nano	CPU（Armadillo + OpenBLAS）	78.37ms / 图像
640×640 batch = 8	YOLOv5s	CPU（Armadillo + OpenBLAS）	177.54ms / 图像
640×640 batch = 16	YOLOv5s	CPU（Armadillo + OpenBLAS）	134.57ms / 图像

致谢

推理框架 NCNN：在借鉴的代码中保留了 NCNN 的 BSD 协议，详见 https://github.com/Tencent/ncnn。

优秀的数学库 OpenBLAS：https://github.com/xianyi/OpenBLAS。

优秀的数学库 Armadillo：https://arma.sourceforge.net/docs.html。

给予我灵感的 Caffe 框架：https://github.com/BVLC/caffe。

fmath 框架：https://github.com/herumi/fmath/。

KuiperInfer 快速上手指南

KuiperInfer 是一个基于现代 C++ 手写的深度学习推理框架开源项目。通过本项目，你可以从零构建计算图、实现算子（如卷积、池化等），并支持 ResNet、UNet、YoloV5 等模型的推理。新版课程更支持 Llama3 和 Qwen2.5 等大模型及 CUDA 加速。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• 编译器: 支持 C++17 标准的编译器 (GCC 9.4+ 或 Clang)
• 构建工具: CMake 3.10+
• 硬件:
  • CPU: 支持 OpenMP 的多核处理器
  • GPU (可选): NVIDIA 显卡及 CUDA Toolkit (用于新版大模型加速)

前置依赖

项目主要依赖以下数学库和测试框架：

• 数学库: Armadillo, OpenBLAS (或 Intel MKL)
• 其他: Google Test, Google Benchmark, glog
• 包管理: apt (Ubuntu/Debian) 或 yum (CentOS)

提示：若需更快运行速度，推荐手动编译安装 OpenBLAS 或使用 intel-mkl 替代默认 OpenBLAS。

---

安装步骤

方案一：使用 Docker（推荐，环境最省心）

如果你希望快速体验且避免环境配置问题，推荐使用官方提供的 Docker 镜像。

1. 拉取镜像

   docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
   

2. 启动容器

   sudo docker run -t -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest /bin/bash
   

3. 克隆代码并编译 在容器内执行以下命令：

   cd code
   # 国内用户推荐使用 Gitee 镜像加速
   git clone https://gitee.com/fssssss/KuiperInferGitee.git
   cd KuiperInfer
   
   # 切换到学习版本分支 (如需复现课程代码)
   git checkout -b study_version_0.02 
   
   mkdir build && cd build
   cmake -DCMAKE_BUILD_TYPE=Release -DDEVELOPMENT=OFF ..
   make -j$(nproc)
   

方案二：本地源码编译

若需在本地开发或调试，请按以下步骤操作：

1. 安装系统依赖

   sudo apt install cmake libopenblas-dev liblapack-dev libarpack-dev libsuperlu-dev
   # 可选：安装更快的数学库
   # sudo apt install intel-mkl
   

   注：Armadillo、Google Test/Benchmark 可能需要单独下载编译，或参考项目文档进行源码安装。

2. 克隆项目

   # 国内加速源
   git clone https://gitee.com/fssssss/KuiperInferGitee.git
   # 或原始源
   # git clone --recursive https://github.com/zjhellofss/KuiperInfer.git
   
   cd KuiperInfer
   git checkout -b study_version_0.01
   

3. 编译构建

   mkdir build && cd build
   cmake -DCMAKE_BUILD_TYPE=Release -DDEVELOPMENT=OFF ..
   make -j$(nproc)
   

   若遇到 Google Benchmark 编译报错缺少 gtest，可在其 CMake 配置中关闭 gtest 选项。

---

基本使用

编译完成后，可运行内置 Demo 验证框架功能。

1. 运行 UNet 语义分割 Demo

准备工作：

• 下载 UNet 模型文件 (.param 和 .bin)：点击下载
• 准备一张测试图片 test.png，将其放入 tmp/unet/demo 目录或记录其绝对路径。

执行推理： 进入 build/demos 目录，运行以下命令：

./unet_test test.png unet_demo.pnnx.param unet_demo.pnnx.bin

参数说明：图片路径 模型结构文件 模型权重文件

结果：推理成功后，当前目录下将生成 unet_output.jpg，即分割后的结果图。

2. 运行 YoloV5 目标检测 Demo

准备工作：

• 下载 YoloV5 模型文件：点击下载
• 修改源码配置：编辑 demos/yolo_test.cpp，更新以下路径为你的本地实际路径：

  const std::string& image_path = "imgs/car.jpg"; // 替换为图片路径
  const std::string& param_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.param"; // 替换为 param 路径
  const std::string& bin_path = "tmp/yolo/demo/yolov5s_batch8.pnnx.bin";     // 替换为 bin 路径
  

• 重新编译项目以应用更改。

执行推理： 在项目根目录或 build 目录下运行：

./build/demos/yolo_test

结果：程序将输出带有检测框的图片结果。

---

进阶提示：

• 若需开发新功能，请在 CMake 时设置 -DDEVELOPMENT=ON 并确保 clone 时带上 --recursive 参数以获取子模块。
• 项目支持算子包括 Convolution, ReLU, Softmax, BatchNorm 等，详细列表可查看源码 layer/ 目录。