PULP-Dronet

就凭我的体型就来评判我吗？——尤达，《绝地归来》

版权所有 © 2024 苏黎世联邦理工学院、博洛尼亚大学。保留所有权利。

视频

• PULP-Dronet v1: 视频1, 视频2。
• PULP-Dronet v2: 视频1, 视频2。
• PULP-Dronet v3: 视频

请订阅我们的PULP Platform YouTube频道！

引用

如果您在学术或工业环境中使用 PULP-Dronet，请引用以下出版物：

• “为纳米级无人机自主导航提炼微型且超快速的深度神经网络”, 2024年(IEEE物联网期刊, arXiv)
• “Tiny-PULP-Dronets：压缩神经网络，实现多任务自主纳米无人机更快速、更轻量化的推理”, 2022年(IEEE AICAS, arXiv)
• “通过自动化端到端优化与部署深度神经网络提升自主纳米无人机性能”, 2021年(IEEE JETCAS)
• “为自主纳米无人机自动调优端到端神经网络飞行控制器”, 2021年(IEEE AICAS)
• “用于自主纳米无人机的基于64毫瓦DNN的视觉导航引擎”, 2019年( IEEE物联网期刊, arXiv预印本)
• “面向自主纳米无人机的开源、开放硬件深度学习驱动视觉导航引擎”, 2019年(IEEE DCOSS, arXiv预印本)

@article{lamberti2024pulpdronetIOTJ,
  author={Lamberti, Lorenzo and Bellone, Lorenzo and Macan, Luka and Natalizio, Enrico and Conti, Francesco and Palossi, Daniele and Benini, Luca},
  journal={IEEE Internet of Things Journal},
  title={Distilling Tiny and Ultra-fast Deep Neural Networks for Autonomous Navigation on Nano-UAVs},
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Navigation;Task analysis;Artificial intelligence;Internet of Things;Autonomous robots;Throughput;Collision avoidance;Autonomous Nano-UAV;Embedded Devices;Ultra-low-power;Artificial Intelligence;Mobile and Ubiquitous Systems},
  doi={10.1109/JIOT.2024.3431913}
}

@INPROCEEDINGS{lamberti2022tinypulpdronetAICAS,
  author={Lamberti, Lorenzo and Niculescu, Vlad and Barciś, Michał and Bellone, Lorenzo and Natalizio, Enrico and Benini, Luca and Palossi, Daniele},
  booktitle={2022 IEEE 第四届国际人工智能电路与系统会议（AICAS）},
  title={Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones},
  year={2022},
  volume={},
  number={},
  pages={287-290},
  doi={10.1109/AICAS54282.2022.9869931}
}

@ARTICLE{niculescu2021pulpdronetJETCAS,
  author={Niculescu, Vlad and Lamberti, Lorenzo and Conti, Francesco and Benini, Luca and Palossi, Daniele},
  journal={IEEE新兴与精选电路及系统主题期刊},
  title={Improving Autonomous Nano-drones Performance via Automated End-to-End Optimization and Deployment of DNNs},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/JETCAS.2021.3126259}
}

@inproceedings{niculescu2021pulpdronetAICAS,
  author={V. {Niculescu} and L. {Lamberti} and D. {Palossi} and L. {Benini}},
  booktitle={2021 IEEE 国际人工智能电路与系统会议（AICAS）},
  title={Automated Tuning of End-to-end Neural FlightControllers for Autonomous Nano-drones},
  pages={},
  keywords={autonomous navigation, nano-size UAVs, deep learning, CNN, heterogeneous computing, parallel ultra-low power, bio-inspired},
  doi={},
  ISSN={},
  month={},
  year={2021},
}

@article{palossi2019pulpdronetIoTJ,
  author={D. {Palossi} and A. {Loquercio} and F. {Conti} and E. {Flamand} and D. {Scaramuzza} and L. {Benini}},
  title={A 64mW DNN-based Visual Navigation Engine for Autonomous Nano-Drones},
  journal={IEEE Internet of Things Journal},
  doi={10.1109/JIOT.2019.2917066},
  ISSN={2327-4662},
  year={2019}
}

@inproceedings{palossi2019pulpdronetDCOSS,
  author={D. {Palossi} and F. {Conti} and L. {Benini}},
  booktitle={2019年第15届传感器系统分布式计算国际会议（DCOSS）},
  title={An Open Source and Open Hardware Deep Learning-Powered Visual Navigation Engine for Autonomous Nano-UAVs},
  pages={604-611},
  keywords={autonomous navigation, nano-size UAVs, deep learning, CNN, heterogeneous computing, parallel ultra-low power, bio-inspired},
  doi={10.1109/DCOSS.2019.00111},
  ISSN={2325-2944},
  month={May},
  year={2019},
}

1. 引言

什么是 PULP-Dronet？

PULP-Dronet 是一款基于深度学习的 视觉导航引擎，能够在从未见过的环境中实现袖珍四旋翼无人机的自主导航。 借助 PULP-Dronet，这款纳米级无人机可以在完全自主的情况下探索环境，并避免与动态障碍物发生碰撞—— 无需人工操作员、无需专用外部信号，也无需远程笔记本电脑！ 这意味着所有复杂的计算都直接在飞行器上完成，且速度极快。 该视觉导航引擎由软件和硬件两部分组成。

• 软件组件： 软件部分基于苏黎世大学 RPG 团队此前开发的 DroNet 项目。DroNet 是一种浅层卷积神经网络 (CNN)，曾用于通过远程计算控制标准尺寸的四旋翼无人机在多种环境中的飞行。

• 硬件组件： PULP-Dronet 的硬件核心是一个超低功耗视觉导航模块，以可插拔的 PCB 板（称为“shield”或“deck”）的形式集成到 Crazyflie 2.0/2.1 纳米无人机中。该 shield 配备 GreenWaves Technologies (GWT) 的 Parallel Ultra-Low-Power (PULP) GAP8 片上系统 (SoC)、一款超低功耗 HiMax HBM01 摄像头，以及片外 Flash/DRAM 存储器。这一可插拔 PCB 经过多次迭代，从最初在苏黎世联邦理工学院开发的定制原型版本 PULP-Shield，到后来的商业化现成版本 AI-deck。

PULP-Dronet 的演进

PULP-Dronet v1：

PULP-Dronet 的第一个版本，催生了 PULP-Shield：一块轻量级、模块化且可配置的印刷电路板 (PCB)，布局高度优化，外形尺寸与 Crazyflie 纳米级四旋翼无人机兼容。我们开发了一种 通用方法论 ，用于将最先进的深度学习算法部署到超低功耗嵌入式计算节点上，例如小型化无人机；随后，我们又 自动化了整个流程 。我们的新方法使我们能够首先将 DroNet 部署到 PULP-Shield 上，并证明其可在 CrazyFlie 2.0 上以仅 64–284 mW 的功耗运行 CNN，同时达到每秒 6–18 帧的吞吐量！最后，我们通过现场演示验证了这一方法论：仅依靠机载资源，在超低功耗预算内实现了闭环的视觉驱动型自主导航。更多视频请观看 PULP Platform YouTube 频道：视频。

特性总结：

• 硬件： PULP-Shield

• 深度学习框架： Tensorflow/Keras

• 量化： 手工设计的 16 位定点数

• 部署工具： AutoTiler（早期版本，与 GreenWaves Technologies 合作开发）

我们在此以开源形式发布了所有代码、硬件设计、数据集及训练好的网络。

PULP-Dronet v2：

此版本基于 PULP-Shield 的商用现成 PCB 设计，现由 Bitcraze 开发并推广为 AI-deck。我们的工作重点在于自动化卷积神经网络的整个部署过程，为此需要大幅简化复杂度并进行精细的手动调优，才能成功部署到飞行中的纳米无人机上。因此，我们引入了方法论和软件工具，以简化并自动化在低功耗多核 SoC 上的各个部署阶段，同时研究了学术界（NEMO + DORY）和工业界（GreenWaves 的 GAPflow）的工具集。相比 v1 版本，我们将 PULP-Dronet 的内存占用减少了一半，采用 8 位定点量化，推理速度提升了 1.6 倍，且预测准确率与原始手工设计的 CNN 相当。我们完全自动化的部署方法使我们能够先将 DroNet 部署到 AI-Deck 上，进而证明其可在 CrazyFlie 2.1 上以仅 35–102 mW 的功耗运行 CNN，同时达到每秒 9–17 帧的吞吐量！

特性总结：

• 硬件： AI-deck

• 深度学习框架： Pytorch

• 量化： 8 位定点数，完全自动化（结合学术界的 NEMO 和工业界的 NNTool）

• 部署： 全自动化（结合学术界的 DORY 和工业界的 AutoTiler）

我们在此以开源形式发布了所有代码、硬件设计和训练好的网络。

PULP-Dronet v3：

在纳米级无人机上实现人工智能多任务感知面临巨大挑战。由于纳米级无人机的有效载荷极其有限，它们通常只能搭载超低功耗微控制器单元，这些单元在计算能力和内存方面都有严格限制，从而阻碍了在机载平台上部署多个 AI 任务。因此，我们专注于优化和最小化 AI 工作负载，同时确保无人机在真实场景测试中的性能不受影响。与 v2 版本相比，v3 版本的推理速度提升了 8.5 倍，推理吞吐量达到每秒 139 帧。此外，我们还开发了一套针对纳米级无人机的数据采集方法，仅利用机载资源收集统一的避障和转向信息，不依赖任何外部基础设施。由此生成的 PULP-Dronet v3 数据集包含 66,000 张标注图像。

我们在此公开发布所有开源代码，包括 PULP-Dronet v3 数据集、我们的数据采集框架以及训练好的网络。

特性总结：

• 硬件： AI-deck

• 深度学习框架： Pytorch

• 量化： 8 位定点数，完全自动化，使用学术界的 NEMO 工具。

• 部署： 完全自动化，使用学术界的 DORY 工具。

• 数据集：专为纳米无人机定制采集。

许可证

本仓库中的所有文件均为原创，采用 Apache-2.0 许可证。详情请参阅 LICENSE。

我们以开源方式发布该数据集（zenodo.org/records/13348430），许可协议为知识共享署名-非商业性使用-相同方式共享 4.0 国际版。

外部模块的许可证说明请参见 LICENSE_README.md。

PULP-Dronet 快速上手指南

PULP-Dronet 是一个基于深度学习的视觉导航引擎，专为纳米无人机（如 Crazyflie）设计。它能够在超低功耗的嵌入式芯片（GAP8 SoC）上运行卷积神经网络（CNN），实现完全自主的避障和导航，无需外部计算设备。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04 或 22.04)。Windows 用户建议使用 WSL2 或虚拟机。
• 硬件:
  • 开发主机：x86_64 架构 PC。
  • 目标设备：Crazyflie 2.0/2.1 无人机 + AI-deck (PULP-Dronet v2/v3 推荐) 或 PULP-Shield (v1)。

前置依赖

您需要安装 GreenWaves Technologies 的 SDK 工具链以及相关 Python 依赖。

# 更新系统包
sudo apt-get update && sudo apt-get install -y git cmake build-essential python3 python3-pip python3-venv libusb-1.0-0-dev libftdi1-dev

# 克隆 PULP-SDK (以 GAP9/GAP8 为例，具体版本请参考项目最新文档)
git clone https://github.com/GreenWaves-Technologies/gap_sdk.git
cd gap_sdk
source configs/ai_deck.sh  # 根据硬件选择配置，AI-deck 通常使用此配置
make sdk

# 设置环境变量 (建议添加到 ~/.bashrc)
export GAP_SDK_HOME=$(pwd)
source configs/ai_deck.sh

# 安装 Python 依赖 (在项目根目录执行)
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip3 install numpy opencv-python matplotlib

提示: 国内开发者若遇到 GitHub 克隆速度慢的问题，可使用镜像源加速： git clone https://gitee.com/mirror/github/GreenWaves-Technologies/gap_sdk.git (如有同步镜像) 或使用代理。

2. 安装步骤

本项目包含多个版本（v1, v2, v3），以下以目前主流的 PULP-Dronet v2/v3 (基于 AI-deck) 为例进行安装。

# 1. 克隆项目仓库
git clone https://github.com/pulp-platform/pulp-dronet.git
cd pulp-dronet

# 2. 初始化子模块 (包含预训练模型和数据集)
git submodule update --init --recursive

# 3. 编译部署工具 (确保已加载 GAP_SDK 环境)
# 进入对应的版本目录，例如 v2
cd v2_autotiler_toolchain

# 4. 构建项目
make clean all

注：如果您使用的是 PULP-Dronet v1 (PULP-Shield)，请进入 v1_handcrafted_toolchain 目录并参考该目录下的 README 进行基于 Tensorflow/Keras 的构建。

3. 基本使用

以下示例展示如何加载预训练模型并在 AI-deck 上运行推理测试。

步骤 A: 刷写固件到 AI-deck

确保 Crazyflie 已通过 USB 或 Radio 连接，并使用 cfclient 或 make 命令刷写二进制文件。

# 假设已连接设备，将编译好的二进制文件刷入 Flash
make flash

步骤 B: 运行主机端控制脚本

在主机上运行 Python 脚本来接收无人机的遥测数据并发送控制指令（需保持 SDK 环境激活）。

# 激活虚拟环境 (如果创建了的话)
# source venv/bin/activate 

# 运行简单的自主飞行测试脚本
cd ../host_controller
python3 run_autonomous_flight.py --uri radio://0/80/2M

步骤 C: 验证输出

• 观察终端输出，应能看到实时的帧率（FPS）和碰撞避免指令。
• 性能指标参考:
  • PULP-Dronet v2: 约 9-17 FPS, 功耗 35-102mW。
  • PULP-Dronet v3: 约 139 FPS (多任务优化), 速度提升 8.5 倍。

自定义模型训练 (可选)

如果您需要使用自己的数据集重新训练网络（基于 PyTorch）：

cd training
python3 train_dronet.py --data_path ./my_dataset --epochs 50 --batch_size 32

训练完成后，使用提供的量化脚本将模型转换为 GAP8 支持的固定点格式（8-bit），然后重新编译部署。

---

更多详细参数配置、数据集下载及硬件原理图，请参阅项目根目录下的完整文档及各版本子目录说明。