基于FPGA的快速、可扩展量化神经网络推理

FINN是AMD研究与高级开发部门集成通信与人工智能实验室推出的一个实验性框架，用于探索在FPGA上进行深度神经网络推理。该框架专门针对量化神经网络,重点在于为每个网络生成定制的数据流式架构。由此产生的FPGA加速器效率极高，能够实现高吞吐量和低延迟。该框架完全开源，以提供更高的灵活性，并旨在支持跨越软件/硬件抽象层的神经网络研究。

我们还有一个独立的仓库finn-examples，其中包含了多个预构建的神经网络示例。有关FINN的更多信息，请访问项目页面并查看出版物。

入门指南

请参阅入门指南，了解所需条件、安装方法以及如何以不同模式运行FINN。由于该项目依赖关系较为复杂，目前我们仅支持基于Docker的FINN编译器执行方式。

FINN最新动态

• 所有最新消息请参见GitHub讨论区公告。

文档

您可以在readthedocs上查看文档。此外，我们还提供一系列Jupyter笔记本教程，建议在Docker环境中运行，以获得更好的体验。

社区

我们设有Github讨论区，您可以在那里提问。如需报告Bug，可以使用Github问题跟踪器，但请勿在此处提出问题，因为这更适合在Github讨论区处理。

我们也热烈欢迎对本项目做出贡献，请查阅贡献指南和开放问题列表。如果您有任何想法，欢迎随时通过Github讨论区与我们联系。

过去，我们还有一个Gitter频道。请注意，该频道已不再由我们维护，但仍可用于搜索之前用户提出的问题。

引用

当前框架的实现基于以下出版物。如果您认为FINN有用，请考虑引用它们。

@article{blott2018finn,
  title={FINN-R: An end-to-end deep-learning framework for fast exploration of quantized neural networks},
  author={Blott, Michaela and Preu{\ss}er, Thomas B and Fraser, Nicholas J and Gambardella, Giulio and O’brien, Kenneth and Umuroglu, Yaman and Leeser, Miriam and Vissers, Kees},
  journal={ACM Transactions on Reconfigurable Technology and Systems (TRETS)},
  volume={11},
  number={3},
  pages={1--23},
  year={2018},
  publisher={ACM New York, NY, USA}
}

@inproceedings{finn,
author = {Umuroglu, Yaman and Fraser, Nicholas J. and Gambardella, Giulio and Blott, Michaela and Leong, Philip and Jahre, Magnus and Vissers, Kees},
title = {FINN: A Framework for Fast, Scalable Binarized Neural Network Inference},
booktitle = {Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays},
series = {FPGA '17},
year = {2017},
pages = {65--74},
publisher = {ACM}
}

旧版本

我们此前发布过一个早期工具流程原型，该原型接受Caffe-HWGQ二值化网络描述并生成数据流架构。您可以在本仓库的v0.1分支中找到它。请注意，此版本已被弃用且不再受支持，主分支与该分支没有历史记录共享，因此应将其视为一个独立的仓库。

FINN 快速上手指南

FINN 是 AMD 研究实验室推出的开源框架，专为在 FPGA 上高效执行量化神经网络（Quantized Neural Networks）而设计。它能将神经网络自动转换为定制的数据流架构，实现高吞吐量和低延迟推理。

注意：由于项目依赖复杂，目前官方仅支持通过 Docker 容器运行 FINN 编译器。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 18.04/20.04) 或 macOS。Windows 用户需使用 WSL2。
• 核心依赖：
  • Docker：必须安装并配置好 Docker Engine。
  • Git：用于克隆代码仓库。
• 硬件建议：虽然编译过程可在 CPU 上进行，但若要生成比特流并在 FPGA 板上验证，需要安装 Xilinx Vivado 工具链（通常需在宿主机或特定 Docker 配置中挂载）。对于初学者体验编译器功能，仅需 Docker 即可。

安装步骤

FINN 推荐使用预构建的 Docker 镜像，以避免繁琐的环境配置。

1. 克隆仓库 获取 FINN 源代码：

   git clone https://github.com/Xilinx/finn.git
   cd finn
   

2. 拉取 Docker 镜像 从 Docker Hub 拉取官方提供的最新稳定版镜像：

   docker pull xilinx/finn:latest
   

   (注：如果国内网络拉取缓慢，可尝试配置 Docker 国内镜像加速器，或使用 docker pull registry.cn-hangzhou.aliyuncs.com/xilinx-finn/finn:latest 等第三方同步源，若不可用请以官方源为准)

3. 启动容器 运行容器并挂载当前目录，以便在容器内访问代码和保存生成的文件：

   docker run -it --rm -v $(pwd):/workspace xilinx/finn:latest
   

   执行后，您将进入容器的交互式命令行环境，后续操作均在此环境中进行。

基本使用

FINN 的核心工作流是通过 Python 脚本定义神经网络模型，然后调用编译器将其转换为 FPGA 可执行的指令或硬件描述。

以下是一个最简单的流程示例，展示如何加载一个预定义的量化模型并进行编译转换：

1. 进入教程目录 容器内已包含丰富的 Jupyter Notebook 教程，位于 /workspace/notebooks。您可以直接运行 Python 脚本测试：

2. 运行简单示例脚本 创建一个名为 test_finn.py 的文件，输入以下内容（以处理一个简单的全连接网络为例）：

   from finn.core.onnx_exec import execute_onnx
   from finn.transformation.flow import ModelWrapper
   from finn.util.basic import get_by_name
   
   # 1. 加载一个已有的 ONNX 量化模型 (此处以仓库内的示例模型路径为例)
   # 实际使用时，请替换为您自己导出的量化 ONNX 模型路径
   model_path = "/workspace/notebooks/models/mnist_fc_quant.onnx" 
   
   try:
       model = ModelWrapper(model_path)
       
       # 2. 打印模型基本信息
       print(f"Model input shape: {model.get_tensor_shape(model.graph.input[0].name)}")
       print(f"Model output shape: {model.get_tensor_shape(model.graph.output[0].name)}")
       
       # 3. 执行简单的数据流转换 (示例：将模型转换为数据流风格)
       # 注意：完整的编译流程包含多个转换步骤，详见 notebooks 中的完整教程
       from finn.transformation.infer_shapes import InferShapes
       model = model.transform(InferShapes())
       
       print("Model loaded and basic transformation applied successfully!")
       
   except FileNotFoundError:
       print("示例模型文件未找到，请先查看 notebooks 目录获取示例模型或导出自己的 ONNX 模型。")
   

3. 执行脚本 在 Docker 容器终端中运行：

   python test_finn.py
   

进阶建议： 为了获得最佳体验，强烈建议在启动 Docker 时映射端口，并在本地浏览器中打开 Jupyter Notebook 界面，按照官方提供的系列教程逐步操作：

# 在宿主机执行，启动带 Jupyter 服务的容器
docker run -it --rm -p 8888:8888 -v $(pwd):/workspace xilinx/finn:latest jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser --allow-root

随后访问 http://localhost:8888 即可浏览 /workspace/notebooks 下的详细教程。