🔥 Msnhnet（V2.0 专注于机器人视觉）🔥

英语| 中文 |CSDN

一个受 Darknet 启发的迷你 PyTorch 推理框架。

支持的操作系统（您也可以自行检查其他操作系统）

	windows	linux	mac	Loongnix
已测试
GPU

CPU 已测试

	Intel i7	raspberry 3B	raspberry 4B	Jeston NX	Loongson
已测试

特性

• 纯 C++ 实现。第三方 BLAS 库为可选，也可使用 OpenBlas。
• 支持的操作系统：Windows、Linux（已测试 Ubuntu）和 Mac OS（未测试）。
• 支持的 CPU：Intel x86、AMD（未测试）以及 ARM（已测试：armv7、armv8、aarch64）。
• 支持 x86 AVX2。（正在进行中……）
• 支持 ARM NEON。（正在进行中……）
• MsnhNet 支持类似 OpenCV 的计算机视觉库。（MsnhCV）
• 支持 3x3 s1 和 3x3 s2 的卷积操作，以及 Winograd 3x3 s1。（仅限 ARM）
• 支持将 Keras 模型转换为 MsnhNet。（Keras 2 和 TensorFlow 1.x）
• 支持 GPU CUDA。（已测试 GTX1080Ti 和 Jetson NX）
• 支持 GPU cuDNN。（已测试 GTX1080Ti 和 Jetson NX）
• 支持 GPU FP16 模式。（已测试 GTX1080Ti 和 Jetson NX。）
• 注：请确认您的显卡是否支持 FP16 全速运行。
• 支持 C API。
• 支持 Keras 2 转 MsnhNet。（Keras 2 和 TensorFlow 1.x，部分算子）
• 支持 PyTorch 2 转 MsnhNet。（部分算子，正在开发中）
• 支持 MsnhnetSharp。
• 支持 MsnhNet 的可视化工具。（类似 Netron）
• 正在开发中……（仅周末进行 (╮（╯＿╰）╭)）

已测试的网络

• lenet5
• lenet5_bn
• alexnet（torchvision）
• vgg16（torchvision）
• vgg16_bn（torchvision）
• resnet18（torchvision）
• resnet34（torchvision）
• resnet50（torchvision）
• resnet101（torchvision）
• resnet152（torchvision）
• darknet53（Pytorch_Darknet53）
• googLenet（torchvision）
• mobilenetv2（torchvision）
• yolov3（u版yolov3）
• yolov3_spp（u版yolov3）
• yolov3_tiny（u版yolov3）
• yolov4（u版yolov3）
• fcns（pytorch-FCN-easiest-demo）
• unet（bbuf keras）
• deeplabv3（torchvision）
• yolov5s🔥（U版yolov5，用于参数提取）

• yolov5m🔥（U版yolov5，用于参数提取）
  

• mobilenetv2_yolov3_lite（cuDNN 在 GTX10** Pascal 显卡上无法工作，请仅使用 GPU 型号）
• mobilenetv2_yolov3_nano（cuDNN 在 GTX10** Pascal 显卡上无法工作，请仅使用 GPU 型号）
• yoloface100k（cuDNN 在 GTX10** Pascal 显卡上无法工作，请仅使用 GPU 型号）
• yoloface500k（cuDNN 在 GTX10** Pascal 显卡上无法工作，请仅使用 GPU 型号）

• 感谢：https://github.com/dog-qiuqiu/MobileNetv2-YOLOV3

• 预训练模型。链接：https://pan.baidu.com/s/1mBaJvGx7tp2ZsLKzT5ifOg 提取码：x53z
• 预训练模型。链接：Google Drive
• 示例 在这里。

YOLO 测试

• Win10 MSVC 2017 I7-10700F

  网络	yolov3	yolov3_tiny	yolov4
  时间	380ms	50ms	432ms

• ARM（Yolov3Tiny CPU）

  CPU	raspberry 3B	raspberry 4B	Jeston NX
  使用 NEON 汇编	？	0.432s	？

YOLO GPU 测试

• Ubuntu16.04 GCC Cuda10.1 GTX1080Ti

  网络	yolov3	yolov3_tiny	yolov4
  时间	30ms	8ms	30ms

• Jetson NX

  网络	yolov3	yolov3_tiny	yolov4
  时间	200ms	20ms	210ms

YOLO GPU cuDNN FP16 测试

• Jetson NX

  网络	yolov3	yolov4
  时间	115ms	120ms

Yolov5s GPU 测试

• Ubuntu18.04 GCC Cuda10.1 GTX2080Ti

  网络	yolov5s	yolov5s_fp16
  时间	9.57ms	8.57ms

MobileNet Yolo GPU cuDNN 测试

• Jetson NX

  网络	yoloface100k	yoloface500k	mobilenetv2_yolov3_nano	mobilenetv2_yolov3_lite
  时间	7ms	20ms	20ms	30ms

DeepLabv3 GPU 测试

• Ubuntu18.04 GCC Cuda10.1 GTX2080Ti

  网络	deeplabv3_resnet101	deeplabv3_resnet50
  时间	22.51ms	16.46ms

要求

• OpenCV4（可选）https://github.com/opencv/opencv
• Qt5（可选，用于 MsnhNet 查看器）http://download.qt.io/archive/qt/
• OpenGL（可选，用于 MsnhCV GUI）。
• GLEW（可选，用于 MsnhCV GUI）http://glew.sourceforge.net/。
• GLFW3（可选，用于 MsnhCV GUI）https://www.glfw.org/。
• CUDA 10+ 和 cuDNN 7.0+。（可选，用于 GPU）

视频教程（哔哩哔哩）

• Linux 构建指南
• Windows 构建指南
• PyTorch 参数转 Msnhbin

构建方法

• 使用 CMake 3.15+

• 查看器无法在 GPU 上构建。

• 选项
  
  注：您可以通过取消勾选 OMP_MAX_THREAD，并修改 CMakeLists.txt 第 52 行的“num”值来调整 OpenMP 线程数。
  

• Windows

1. 编译 OpenCV4（可选）
2. 配置环境变量，添加“OpenCV_DIR”（可选）
3. 获取并安装 Qt5。http://download.qt.io/（可选）
4. 将 Qt5 的 bin 路径添加到环境变量中（可选）。
5. 获取 GLEW 用于 MsnhCV GUI。http://glew.sourceforge.net/（可选）。
6. 获取 GLFW3 用于 MsnhCV GUI。https://www.glfw.org/（可选）。
7. 解压 GLEW，将其路径添加到“CMAKE_PREFIX_PATH”中（可选）。
8. 使用 CMake 编译 GLFW3，并将其 CMake 目录添加到“GLFW_DIR”中（可选）。
9. 然后使用 CMake-GUI 工具和 Visual Studio 进行构建，或使用 vcpkg。

• Linux（Ubuntu）

注：如果您想在 Jetson 上构建，请取消勾选 NNPACK、OPENBLAS 和 NEON。

sudo apt-get install build-essential
sudo apt-get install qt5-default      #可选
sudo apt-get install libqt5svg5-dev   #可选
sudo apt-get install libopencv-dev    #可选
sudo apt-get install libgl1-mesa-dev libglfw3-dev libglfw3 libglew-dev #可选


#配置
sudo echo /usr/local/lib > /etc/ld.so.conf.d/usrlib.conf
sudo ldconfig

# 构建 Msnhnet
git clone https://github.com/msnh2012/Msnhnet.git
mkdir build 

cd Msnhnet/build
cmake -DCMAKE_BUILD_TYPE=Release ..
make -j4
sudo make install

vim ~/.bashrc # 在最后一行添加：export PATH=/usr/local/bin:$PATH
sudo ldconfig

• macOS（macOS Catalina）无查看器版

注：需预先安装 Xcode。

请从官网下载支持 GUI 的 CMake，以及 YAML 和 OpenCV 的源代码。

# 安装 CMake

vim .bash_profile
export CMAKE_ROOT=/Applications/CMake.app/Contents/bin/
export PATH=$CMAKE_ROOT:$PATH
source .bash_profile

# 使用 Homebrew 安装必要的库

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

brew install wget
brew install openjpeg
brew install hdf5
brew install gflags
brew install glog
brew install eigen
brew install libomp

# 构建 yaml-cpp
git clone https://github.com/jbeder/yaml-cpp.git
cd yaml-cpp
mkdir build
source .bash_profile
cmake-gui
设置源代码路径：./yaml-cpp
设置构建二进制文件路径：./yaml-cpp/build
配置
CMAKE_BUILD_TYPE = Release
取消勾选 YAML_CPP_BUILD_TESTS
配置（并继续调试）
生成
cd ./yaml-cpp/build
sudo make install -j8

# 构建 OpenCV
# 从官网下载 opencv.zip（记得同时下载 opencv-contrib）
cd opencv-4.4.0
mkdir build
source .bash_profile
cmake-gui


设置源代码路径：./opencv-4.4.0
设置构建二进制文件路径：./opencv-4.4.0/build
配置（使用默认设置）
搜索 OPENCV_ENABLE_NONFREE 并启用它
搜索 OPENCV_EXTRA_MODULES_PATH，将其指向 opencv-contrib 的路径
配置（并继续调试）
生成
cd ./opencv-4.4.0/build/
sudo make install -j8


# 构建 Msnhnet
git clone https://github.com/msnh2012/Msnhnet.git
mkdir build 

cd Msnhnet/build
cmake -DCMAKE_BUILD_TYPE=Release ..
make -j4
sudo make install

测试 Msnhnet

• 1. 下载预训练模型并解压，例如 D:/models。
• 2. 打开终端，进入“Msnhnet 安装目录下的 bin”文件夹，例如 D:/Msnhnet/bin。
• 3. 测试 YOLOv3：“yolov3 D:/models”。
• 4. 测试 YOLOv3 Tiny 视频检测：“yolov3tiny_video D:/models”。
• 5. 测试分类任务：“classify D:/models”。
     

查看 Msnhnet

• 1. 打开终端，进入“Msnhnet 安装目录下的 bin”文件夹，例如 D:/Msnhnet/bin。
• 2. 运行“MsnhnetViewer”。

注：您可以双击“ResBlock Res2Block AddBlock ConcatBlock”节点以查看更多细节
ResBlock

Res2Block</br

AddBlock</br

ConcatBlock</br

如何将您自己的 PyTorch 网络转换为 Msnhnet 格式

• pytorch2msnhnet
• 注：
• 1. 转换前请确认 PyTorch 模型支持的算子是否在 pytorch2msnhnet 的支持范围内。
• 2. 部分模型可能无法成功转换。
• 3. 如果您的模型包含较为复杂的预处理和后处理操作，请先转换网络主干部分，再手动添加相关算子。
• 4. 对于 YOLOv3 和 YOLOv4，可参考此视频。您可以在这里找到“pytorch2msnhbin”工具。

关于训练

• 您可以使用 PyTorch 训练模型，并将其导出为 msnhbin 格式。
• 例如 YOLOv3/v4 https://github.com/ultralytics/yolov3

尽情享受吧！:D

致谢

Msnhnet 的灵感来源于以下项目，并在此基础上开发：

• DarkNet
• NCNN
• ACL

第三方库

• stb_image
• yaml-cpp
• imGui
• mpeg

加群交流</br </br

Msnhnet 快速上手指南

Msnhnet 是一个受 Darknet 启发的轻量级 C++ PyTorch 推理框架，专注于机器人视觉。它支持 Windows、Linux、Mac 及国产芯片（如龙芯），并兼容 CUDA/cuDNN 加速。

1. 环境准备

系统要求

• 操作系统：Windows, Linux (推荐 Ubuntu), macOS, Loongnix。
• 构建工具：CMake 3.15+。
• 编译器：MSVC (Windows), GCC (Linux/Mac)。
• 硬件支持：
  • CPU: Intel x86 (支持 AVX2), ARM (支持 Neon, 树莓派/Jetson/龙芯)。
  • GPU: NVIDIA CUDA 10+ & cuDNN 7.0+ (可选，用于加速)。

前置依赖

以下依赖均为可选，根据需求安装：

• OpenCV 4: 图像处理。
• Qt5: 用于 Msnhnet Viewer 可视化界面。
• OpenGL/GLEW/GLFW: 用于 MsnhCV GUI。
• BLAS 库: OpenBlas 等（框架内置可选）。

Linux (Ubuntu) 一键安装依赖

sudo apt-get install build-essential
sudo apt-get install qt5-default libqt5svg5-dev      # 可选：Viewer 支持
sudo apt-get install libopencv-dev                   # 可选：OpenCV 支持
sudo apt-get install libgl1-mesa-dev libglfw3-dev libglfw3 libglew-dev # 可选：GUI 支持

macOS 依赖安装

需预先安装 XCode，并使用 Homebrew 安装基础库：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"
brew install wget openjpeg hdf5 gflags glog eigen libomp
# 后续需手动编译 yaml-cpp 和 opencv (参考官方 README 详细步骤)

2. 安装步骤

Linux / macOS 编译安装

# 1. 克隆代码
git clone https://github.com/msnh2012/Msnhnet.git
cd Msnhnet

# 2. 创建构建目录
mkdir build && cd build

# 3. 配置 CMake (Release 模式)
# 注意：若在 Jetson 平台编译，建议在 cmake-gui 中取消勾选 NNPACK, OPENBLAS, NEON
cmake -DCMAKE_BUILD_TYPE=Release ..

# 4. 编译与安装
make -j4
sudo make install

# 5. 配置环境变量 (将 Msnhnet 添加到 PATH)
echo 'export PATH=/usr/local/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
sudo ldconfig

Windows 编译安装

1. 安装 CMake 和 Visual Studio。
2. (可选) 编译 OpenCV 并设置 OpenCV_DIR 环境变量。
3. (可选) 安装 Qt5 并将 bin 路径加入环境变量。
4. 使用 cmake-gui 加载源码目录，设置构建目录。
   • 点击 Configure，选择对应 VS 版本。
   • 可根据需要勾选/取消勾选 USE_CUDA, USE_OPENCV, USE_QT 等选项。
   • 点击 Generate 生成解决方案文件。
5. 打开生成的 .sln 文件，在 Visual Studio 中选择 Release 模式编译 ALL_BUILD，然后编译 INSTALL。

3. 基本使用

准备模型

下载预训练模型（包含 YOLOv3/v4/v5, ResNet, MobileNet 等）：

• 百度网盘: 链接 提取码：x53z
• Google Drive: 链接

假设模型解压至 D:/models (Windows) 或 /home/user/models (Linux)。

运行推理测试

进入安装后的 bin 目录执行命令：

1. 图片目标检测 (YOLOv3)

# Windows 示例
yolov3 D:/models

# Linux 示例
yolov3 /home/user/models

2. 视频目标检测 (YOLOv3-Tiny)

yolov3tiny_video D:/models

3. 图像分类测试

classify D:/models

使用可视化查看器 (Viewer)

Msnhnet 提供类似 Netron 的模型结构查看器，支持查看残差块等细节。

# 进入 bin 目录后运行
MsnhnetViewer

提示：在查看器中双击 ResBlock, AddBlock 等节点可查看详细结构。

转换自有 PyTorch 模型

若需将自己的 PyTorch 模型转换为 .msnhbin 格式：

1. 确认算子支持情况（参考 tools/pytorch2Msnhnet）。
2. 对于 YOLOv3/v4，可直接使用官方提供的转换工具：

   # 工具位于 tools/pytorch2msnhbin
   # 具体用法参考 B 站教程：https://www.bilibili.com/video/BV1rh41197L8
   

3. 复杂模型建议先转换 Backbone，再手动添加前后处理算子。