tinyTPU

本项目旨在构建一种与谷歌张量处理单元架构相似的机器学习协处理器。该实现对资源消耗友好，可按不同规模部署以适配各类FPGA。这使得该协处理器既可用于嵌入式系统和物联网设备，也可扩展至数据中心及高性能计算平台。通过AXI接口，它能够以多种方式与其他组件协同工作。我们已在Xilinx Zynq 7020 SoC上进行了评估。

量化

与原始TPU不同，本版本仅支持定点运算。权重和输入数据必须位于-1到127/128或0到255/256的范围内。

架构

系统包含6个主要组件，共同完成算术运算：

• 权重缓冲区：基于BlockRAM的存储器，用于存放权重。可通过AXI接口由主机系统写入。
• 统一缓冲区：同样基于BlockRAM的存储器，用于暂存网络各层的输入与输出。可通过AXI接口进行读写操作。
• 管道化数据准备单元：一组寄存器，负责将从统一缓冲区读取的数据进行对角线排列。
• 矩阵乘法单元（MXU或MMU）：TPU的核心部件，由二维乘加单元阵列构成，可执行NxN矩阵乘法。它从权重缓冲区读取权重，并从管道化数据准备单元获取对角化后的输入数据，最终结果存储在一组累加器中。
• 累加器：用于累积或覆盖矩阵乘法单元的结果，以便合并拆分的矩阵乘法运算。
• 激活函数单元：集成激活函数模块，用于对累加器中的结果进行激活。目前支持Sigmoid和有界ReLU两种激活函数，结果会保存回统一缓冲区。

各组件的大小（如MXU、缓冲区等）均可单独配置。

指令集

控制单元支持执行10字节宽的指令（更多信息请参阅doc/TPU_ISA.md）。指令可通过AXI总线传输，并暂存在一个小型FIFO缓冲区中。

测评结果

我们使用MNIST数据集训练了一个示例模型，在177.77 MHz主频下，针对不同规模的MXU进行了评测，理论峰值性能可达72.18 GOPS。随后，我们将实际运行时间与传统处理器进行了对比：

张量处理单元（177.77 MHz）

矩阵宽度 N	6	8	10	12	14
指令数量	431	326	261	216	186
总耗时（μs，N个输入向量）	383	289	234	194	165
每个输入向量耗时（μs）	63	36	23	16	11

处理器	Intel Core i5-5287U，2.9 GHz	BCM2837，四核ARM Cortex-A53，1.2 GHz
每个输入向量耗时（μs）	62	763

入门指南

若想开始使用tinyTPU，请参阅getting_started.pdf文件，其中提供了针对Xilinx Zynq SoC及Vivado工具的详细操作说明。

更多信息

本项目是在汉堡应用科学大学攻读技术计算机科学学士学位期间完成的。如需了解更多关于该协处理器的信息，可查阅相关毕业论文此处（德语）。

tinyTPU 快速上手指南

tinyTPU 是一个轻量级的机器学习协处理器 IP 核，架构类似 Google TPU，专为 FPGA（如 Xilinx Zynq）设计。它支持定点运算，适用于嵌入式系统、IoT 设备乃至数据中心场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 硬件平台：Xilinx Zynq-7000 SoC 系列（官方评估基于 Zynq 7020），或其他支持 AXI 接口的 FPGA 开发板。
• 开发工具：Xilinx Vivado（版本需与目标 FPGA 兼容）。
• 前置知识：熟悉 FPGA 开发流程、AXI 总线协议及基本的数字逻辑设计。
• 文档依赖：请下载项目根目录下的 getting_started.pdf，其中包含针对 Zynq SoC 和 Vivado 的详细配置说明。

注意：本项目主要作为硬件 IP 核提供，需在 FPGA 工程中实例化，而非通过包管理器直接安装到操作系统。

安装步骤

tinyTPU 以 Verilog/VHDL 源码形式提供，需集成至您的 Vivado 工程中。

1. 克隆仓库 获取项目源代码：

   git clone https://github.com/your-repo/tinyTPU.git
   cd tinyTPU
   

2. 创建 Vivado 工程 打开 Vivado，创建新工程并选择与您开发板对应的 Zynq 器件型号。

3. 添加 IP 源文件 将 tinyTPU 的核心源文件（位于 src/ 目录）添加到工程的 "Sources" 中。关键组件包括：

   • Weight Buffer (权重缓存)
   • Unified Buffer (统一输入输出缓存)
   • Matrix Multiply Unit (MXU) (矩阵乘法单元)
   • Systolic Data Setup (脉动数据设置)
   • Accumulators (累加器)
   • Activation (激活函数模块)

4. 配置参数 根据您的需求调整各组件大小（如 MXU 的 N×N 维度、Buffer 大小等）。这些参数通常在顶层模块或参数化文件中定义。

5. 连接 AXI 接口 在 Block Design 中实例化 Zynq Processing System，并通过 AXI Interconnect 将 tinyTPU 的 AXI 接口与 PS 端连接，确保地址映射正确。

6. 生成比特流 运行综合（Synthesis）、实现（Implementation）并生成比特流（Bitstream）。

基本使用

tinyTPU 通过 10 字节宽的指令集进行控制，指令经由 AXI 接口写入内部的 FIFO 缓冲区。

1. 数据量化准备

由于 tinyTPU 仅支持定点运算，使用前必须将模型权重和输入数据量化：

• 范围要求：权重和输入需映射到 -1 至 127/128 或有符号/无符号的 0 至 255/256 范围。
• 格式：确保主机端数据格式与 FPGA 端定义的定点格式一致。

2. 加载数据

通过 AXI 接口将量化后的数据写入指定缓冲区：

• 权重数据：写入 Weight Buffer。
• 输入数据：写入 Unified Buffer。

3. 发送指令

参考 doc/TPU_ISA.md 构建指令。以下为一个简化的操作逻辑示例（伪代码/C 语言风格，运行于 Zynq PS 端）：

// 假设 base_addr 为 tinyTPU 的 AXI 基地址
// 1. 写入权重 (略，通过 DMA 或内存拷贝至 Weight Buffer 映射区域)

// 2. 写入输入数据 (略，通过 DMA 或内存拷贝至 Unified Buffer 映射区域)

// 3. 发送执行指令 (10 字节宽)
// 指令格式需严格遵循 ISA 定义，此处仅为示意
uint32_t instruction[3]; 
instruction[0] = OPCODE_MATRIX_MUL | CONFIG_N_SIZE; 
instruction[1] = ADDR_WEIGHT_START;
instruction[2] = ADDR_INPUT_START;

// 将指令写入控制寄存器/FIFO
write_axi_register(base_addr + CTRL_REG_OFFSET, instruction);

// 4. 等待完成并读取结果
// 轮询状态寄存器或直接读取 Unified Buffer 中的输出结果
while(!check_completion_status(base_addr));

float result = read_unified_buffer(base_addr, OUTPUT_ADDR);

4. 性能参考

在 177.77 MHz 频率下，不同 MXU 宽度（N）的处理耗时参考如下（基于 MNIST 模型）：

矩阵宽度 (N)	单向量耗时 (us)
6	63
8	36
10	23
12	16
14	11

对于更复杂的部署细节、指令集详解及时序约束，请务必查阅项目自带的 getting_started.pdf 及 doc/TPU_ISA.md 文档。