ZynqNet：基于FPGA加速的嵌入式卷积神经网络

本仓库包含了我硕士论文的研究成果。

• 硕士论文项目报告（PDF）
• ZynqNet CNN（prototxt）
• CNN拓扑探索
• ZynqNet FPGA加速器（HLS C++）
• ZynqNet底层固件
• Netscope CNN分析工具

该项目得到了Supercomputing Systems AG的支持与资助。

摘要

图像理解正逐渐成为越来越多应用中的关键功能，从医学诊断到自动驾驶车辆等各个领域。许多应用场景要求嵌入式解决方案能够无缝集成到现有系统中，并满足严格的实时性和功耗约束。

目前，卷积神经网络（CNN）在各类图像理解基准测试中均取得了突破性的准确率，但其计算复杂度极高。因此，嵌入式CNN需要小型、高效且性能强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速潜力，并在Zynq片上系统上实现了一个功能完备的概念验证CNN。该“ZynqNet嵌入式CNN”专为ImageNet图像分类任务设计，由优化定制的CNN拓扑结构“ZynqNet CNN”以及基于FPGA的加速架构“ZynqNet FPGA加速器”组成。

“ZynqNet CNN”是一种高效的CNN拓扑结构。通过使用我们自主开发的“Netscope CNN分析工具”对现有拓扑进行深入分析和优化，最终构建出一种仅需5.3亿次乘累加运算即可达到84.5% top-5准确率的CNN。该拓扑结构高度规则，仅由卷积层、ReLU非线性激活函数和一个全局池化层构成，非常适合在FPGA加速器上运行。

“ZynqNet FPGA加速器”能够高效地执行ZynqNet CNN的推理任务。它基于嵌套循环算法加速整个网络的计算，从而最大限度地减少算术操作和内存访问次数。该加速器采用Xilinx Zynq XC-7Z045器件的高层次综合技术进行实现，可在80%至90%的器件资源利用率下达到200MHz的工作频率。

贡献

最初，本研究旨在探索、评估并优化几种商用的FPGA加速卷积神经网络方案，重点关注嵌入式系统。多家FPGA及知识产权供应商已推出针对深度学习系统加速的框架和库。然而，这些方案均未达到可供测试的成熟度。

尽管如此，我们仍决定进一步推进这一有前景的方向，从零开始构建自己的FPGA加速CNN概念验证系统，特别关注底层硬件架构与卷积神经网络之间的协同优化。最终成果便是ZynqNet嵌入式CNN，这是一种用于图像分类的基于FPGA的卷积神经网络。该解决方案主要由两部分组成：

1. “ZynqNet CNN”，一种专门设计以适配FPGA的定制卷积神经网络拓扑结构。该CNN结构极为规整，在极低的计算开销下即可达到令人满意的分类准确率。
2. “ZynqNet FPGA加速器”，一种专用于高效加速ZynqNet CNN及其他类似卷积神经网络的FPGA架构。

ZynqNet CNN使用Caffe框架在GPU上离线训练，而ZynqNet FPGA加速器则在Xilinx Zynq XC-7Z045片上系统（SoC）上执行CNN的图像分类推理任务。这两个组件均在本硕士论文为期六个月的时间内完成开发与优化，共同构成了一个在小型低功耗Zynq平台上功能完备的卷积神经网络实现。

本报告详细记录了ZynqNet CNN和ZynqNet FPGA加速器的设计与实现过程，并介绍了用于可视化、分析和编辑卷积神经网络拓扑结构的自定义工具“Netscope CNN分析工具”。Netscope已被用于分析多种不同的CNN架构，相关发现以先前工作的CNN拓扑“设计空间探索”（DSE）形式呈现。最后，报告还对ZynqNet嵌入式CNN的性能进行了评估，并将其与其他平台进行了对比。

报告内容

报告包括：

• 对多种流行的图像分类CNN架构（AlexNet、VGG、NiN、GoogLeNet、Inception v.X、ResNet、SqueezeNet）的概述与详细分析
• 自主开发的[Netscope CNN分析工具]的详细介绍([https://github.com/dgschwend/netscope)
• CNN分析与优化技术的概述
• 基于FPGA的加速器设计与实现的详细报告

完整报告请参阅zynqnet_report.pdf。

ZynqNet CNN

包含完整网络描述文件（.prototxt）和预训练权重的CNN模型可在此处找到：_TRAINED_MODEL。

ZynqNet FPGA加速器

使用高层次综合工具（Vivado HLS）编译FPGA加速器的C/C++源代码可在此处找到：_HLS_CODE。

编译后的加速器位流文件可在此处找到：_BITSTREAM。

用于Zynq XC-7Z045 ARM处理器的固件存储在：_FIRMWARE。

Netscope CNN 分析器

CNN 分析工具位于一个独立的代码仓库中，地址如下：dgschwend/netscope

版权与许可

ZynqNet 的版权归属 David Gschwend，2016 年。本仓库中的所有文件均依据 LICENSE 文件中的条款，采用 GNU 通用公共许可证发布。

ZynqNet 快速上手指南

ZynqNet 是一个基于 FPGA 加速的嵌入式卷积神经网络（CNN）项目，专为 Xilinx Zynq SoC 设计，旨在实现低功耗、实时的图像分类。本项目包含定制优化的 CNN 拓扑结构（ZynqNet CNN）和对应的高层次综合（HLS）FPGA 加速器。

环境准备

在开始之前，请确保您具备以下硬件和软件环境：

系统要求

• 操作系统: Linux (推荐 Ubuntu 14.04/16.04，原项目测试环境)
• 硬件平台: Xilinx Zynq-7000 SoC 开发板 (具体型号：XC-7Z045，如 ZedBoard 或 MicroZed)
• 内存: 建议 8GB RAM 以上用于 HLS 综合

前置依赖

1. Xilinx Vivado & Vivado HLS: 需安装与目标芯片兼容的版本（原项目使用 Vivado 2015/2016 系列）。
2. Caffe Framework: 用于离线训练模型或验证权重（仅需 GPU 服务器端，非嵌入式端必需）。
3. SD 卡: 用于存储启动镜像、固件和比特流文件。
4. 串口终端工具: 如 minicom 或 screen，用于调试 ARM 端输出。

注意：由于该项目较老，建议使用项目发布时期的工具链版本以确保兼容性，或使用 Docker 容器隔离环境。

安装步骤

本项目分为模型准备、FPGA 比特流生成和固件部署三个部分。您可以选择直接使用预编译文件，或从源码重新构建。

1. 获取源码

克隆项目仓库到本地：

git clone https://github.com/dgschwend/zynqnet.git
cd zynqnet

2. 方案 A：使用预编译文件（快速验证）

如果您只想快速在硬件上运行演示，可直接使用仓库中提供的预编译资源：

1. 获取比特流: 确认 _BITSTREAM 目录下存在 .bin 或 .bit 文件。
2. 获取固件: 确认 _FIRMWARE 目录下包含编译好的 ARM 端可执行文件和库。
3. 获取模型: 确认 _TRAINED_MODEL 目录下包含 deploy.prototxt 和预训练权重文件。

将上述文件复制到 SD 卡的相应分区（通常分为 Boot 分区和 Rootfs 分区）。

3. 方案 B：从源码重新构建（开发模式）

步骤 3.1: 生成 FPGA 比特流

进入 HLS 代码目录并使用 Vivado HLS 进行综合：

cd _HLS_CODE
# 启动 Vivado HLS (假设已配置环境变量)
vivado_hls -f run_hls.tcl

注：run_hls.tcl 为假设的脚本文件名，具体请参考目录内实际提供的 Tcl 脚本。综合完成后，导出硬件描述并可在 Vivado 中生成最终的 .bit 文件。

步骤 3.2: 编译 ARM 端固件

进入固件目录，使用交叉编译工具链（如 arm-linux-gnueabihf-gcc）编译源代码：

cd _FIRMWARE
make clean
make all

确保您的 Makefile 中配置了正确的交叉编译前缀。

步骤 3.3: 准备模型文件

如果需要重新训练或修改网络结构，请参考 zynqnet cnn 目录下的拓扑探索代码，并使用 Caffe 进行训练。训练完成后，将生成的 .prototxt 和 .caffemodel 放入 _TRAINED_MODEL 目录。

基本使用

完成环境部署后，按照以下步骤在 Zynq 开发板上运行图像分类任务：

1. 启动系统

将配置好文件的 SD 卡插入 Zynq 开发板，连接串口线并上电。通过串口终端观察 U-Boot 和 Linux 内核启动日志。

2. 加载 FPGA 比特流

在 Linux 终端中，使用 devcfg 接口加载比特流文件（路径根据实际挂载点调整）：

# 示例命令：将比特流加载到 PL 端
cat /media/mmcblk0p1/design_1.bit > /dev/xdevcfg

3. 运行推理程序

进入固件所在目录，执行主程序进行图像分类推理：

cd /home/root/firmware
./zynqnet_infer --model ../models/deploy.prototxt --weights ../models/weights.caffemodel --image test_img.jpg

程序将调用 FPGA 加速器进行计算，并在终端输出分类结果（例如 ImageNet 的 Top-5 类别及概率）。

4. 可视化分析（可选）

在 PC 浏览器中打开 Netscope CNN Analyzer 查看网络结构：

http://dgschwend.github.io/netscope/#/preset/zynqnet

该工具可用于分析层间数据流、计算量及内存占用，辅助进一步优化。

---

提示：本指南基于开源项目 README 整理，具体文件路径和脚本名称请以仓库实际内容为准。