树莓派及其他边缘设备上的深度学习网关

支持BerryNet

• 通过PayPal一次性捐赠。
• 通过加密货币一次性捐赠。
• 在Open Collective上成为支持者或赞助商。

简介

本项目可将树莓派等边缘设备转变为内置深度学习功能的智能网关。无需互联网连接，所有处理均在本地边缘设备上完成。此外，多台边缘设备可组成分布式AIoT网络。

在DT42，我们坚信将深度学习引入边缘设备是未来的发展趋势。这不仅能够节省数据传输和存储成本，还能使设备在不连接云端的情况下，根据图像或视频中的事件做出实时响应。

图1：BerryNet架构

图1展示了项目的软件架构，我们使用Node.js/Python、MQTT以及AI引擎来对图像或视频帧进行深度学习分析。目前，默认提供了两种类型的AI引擎：分类引擎（基于Inception v3 [1]模型）和目标检测引擎（基于TinyYOLO [2]模型或MobileNet SSD [3]模型）。图2展示了分类与目标检测的区别。

图2：分类与检测

该智能网关的一个应用场景是利用摄像头监控您关心的区域。例如，图3展示了托管在DT42办公室的摄像头所捕获的分析结果。这些帧由IP摄像头采集并提交给AI引擎，其输出将在仪表板上显示。我们正在开发邮件和即时通讯通知功能，以便在下次发布时，当有狗进入会议区时，您能收到提醒。

图3：目标检测结果示例

为了给用户提供简单灵活的边缘AI体验，我们不断扩展对AI引擎和参考硬件的支持。

图4：参考硬件

安装

您可以使用预构建的镜像或从源代码安装BerryNet。详细信息请参阅安装指南。

我们正计划将BerryNet加入Debian仓库，未来只需一条命令即可完成安装。

以下是通过源代码快速安装的步骤：

$ git clone https://github.com/DT42/BerryNet.git
$ cd BerryNet
$ ./configure

启动与停止BerryNet

BerryNet通过连接各个独立组件来实现AIoT应用。这些组件包括但不限于AI引擎、I/O处理器、数据处理器（算法）或数据采集器。

我们建议使用supervisor来管理BerryNet组件，但您也可以手动运行BerryNet组件。您可以通过supervisorctl来管理BerryNet：

```
# 检查BerryNet组件状态
$ sudo supervisorctl status all

# 停止相机客户端
$ sudo supervisorctl stop camera

# 重启所有组件
$ sudo supervisorctl restart all

# 查看相机客户端最近的stderr日志
$ sudo supervisorctl tail camera stderr
```

有关supervisorctl的更多用法，请参阅官方教程。

默认应用包含三个组件：

• 相机客户端，用于提供输入图像
• 目标检测引擎，用于识别图像中物体的类型和位置
• 仪表板，用于展示检测结果

您可以在配置章节中了解如何配置或更改这些组件。

仪表板：Freeboard

在RPi上打开Freeboard（带触摸屏）

Freeboard是一个基于Web的仪表板。以下是在Freeboard上显示检测结果图像和文本的步骤：

• 1：在浏览器地址栏中输入http://127.0.0.1:8080，然后按回车键
• 2：下载默认应用的Freeboard配置文件dashboard-tflitedetector.json
• 2：点击LOAD FREEBOARD，选择新下载的dashboard-tflitedetector.json
• 3：等待几秒钟，您应该能在Freeboard上看到推理结果的图像和文字

在另一台计算机上打开Freeboard

假设您有两台设备：

• 设备A的IP为192.168.1.42，BerryNet默认应用运行在其上
• 设备B的IP为192.168.1.43，您希望在其上打开Freeboard并查看检测结果

步骤如下：

• 1：在浏览器地址栏中输入http://192.168.1.42:8080，然后按回车键
• 2：下载默认应用的Freeboard配置文件dashboard-tflitedetector.json
• 3：将dashboard-tflitedetector.json中的所有localhost替换为192.168.1.42
• 2：点击LOAD FREEBOARD，选择新下载的dashboard-tflitedetector.json
• 3：等待几秒钟，您应该能在Freeboard上看到推理结果的图像和文字

有关仪表板配置的更多细节（例如如何添加小部件），请参阅Freeboard项目。

启用数据采集器

您可能希望存储快照和推理结果，以便进行数据分析。

要手动运行 BerryNet 数据采集器，可以执行以下命令：

$ bn_data_collector --topic-config <topic-config-filepath> --data-dirpath <result-dirpath>

主题配置指定了数据采集器将监听的 MQTT 主题以及触发的处理函数。以下是一个主题配置示例：

{
    "berrynet/engine/tflitedetector/result": "self.update"
}

推理结果图像和文本将被保存到指定的结果目录中。

配置

默认的 Supervisor 配置位于 /etc/supervisor/conf.d/berrynet-tflite.conf。如果您想编写自己的 Supervisor 配置文件，可以参考 这里 获取更多 BerryNet 的 Supervisor 配置示例。

摄像头客户端

BerryNet 摄像头客户端支持两种模式：流模式和文件模式。在流模式下，支持本地摄像头（如 USB 摄像头和树莓派摄像头）以及 IP 摄像头，并且可以根据需求调整输入帧率（默认为 1 帧/秒）。在文件模式下，用户可以指定文件路径作为输入源。

要在流模式下运行摄像头客户端：

$ bn_camera --fps 5

要在文件模式下运行摄像头客户端：

$ bn_camera --mode file --filepath <image-filepath>

使用您的数据进行训练

关于重新训练 YOLOv2 模型的原始说明，请参阅 Darknet 的 GitHub 仓库。

在当前的 BerryNet 中，使用的是 TinyYolo 而不是 YOLOv2。主要区别如下：

1. 创建一个名为 yolo-obj.cfg 的文件，内容与 tiny-yolo.cfg 相同。
2. 下载 Darknet 参考模型的预训练权重文件 darknet.weights.12，用于卷积层部分（6.1MB）： https://drive.google.com/drive/folders/0B-oZJEwmkAObMzAtc2QzZDhyVGM?usp=sharing

其余步骤与重新训练 YOLO 的过程相同。

如果您使用 LabelMe 对数据进行标注，可以使用 utils/xmlTotxt.py 工具将 XML 格式转换为 Darknet 所使用的文本格式。

讨论

如有任何问题、建议或想法讨论，请加入我们的 Slack 或 Telegram 群组。

BerryNet 快速上手指南

BerryNet 是一个将树莓派等边缘设备转化为智能网关的开源项目，支持在本地运行深度学习模型（如图像分类、物体检测），无需联网即可处理视频流数据，并可通过 MQTT 构建分布式 AIoT 网络。

环境准备

系统要求

• 硬件：Raspberry Pi（推荐 Pi 3/4）、其他支持 Linux 的边缘设备或 x86 主机。
• 操作系统：Debian/Ubuntu 系列（项目正推进进入 Debian 官方源）。
• 外设：USB 摄像头、树莓派摄像头模块或 IP 摄像头（用于输入图像流）。

前置依赖

确保系统已安装以下基础工具：

• git
• python3 / node.js (根据具体组件需求)
• supervisor (用于进程管理，强烈推荐)
• mosquitto (MQTT broker，通常作为依赖自动安装或需手动配置)

注意：国内用户若遇到 git clone 速度慢的问题，可考虑使用 Gitee 镜像（如有）或配置 Git 代理加速。

安装步骤

目前最便捷的安装方式是从源码构建。请执行以下命令：

$ git clone https://github.com/DT42/BerryNet.git
$ cd BerryNet
$ ./configure

注：./configure 脚本会自动处理大部分依赖安装和环境配置。如果后续项目进入 Debian 源，将支持单命令安装。

基本使用

安装完成后，BerryNet 默认包含三个核心组件：摄像头客户端（采集图像）、物体检测引擎（AI 推理）和 Dashboard（结果展示）。推荐使用 supervisor 进行管理。

1. 启动服务

使用 supervisorctl 启动所有组件：

# 重启所有组件以确保配置生效
$ sudo supervisorctl restart all

# 查看组件运行状态
$ sudo supervisorctl status all

若未配置 supervisor，也可手动运行各组件，但建议优先使用 supervisor 管理。

2. 查看检测结果 (Dashboard)

BerryNet 使用基于 Web 的 Freeboard 作为仪表盘。

在本机访问（带屏幕的树莓派）：

1. 打开浏览器，访问 http://127.0.0.1:8080。
2. 下载默认配置文件：dashboard-tflitedetector.json。
3. 点击页面上的 LOAD FREEBOARD，选择刚才下载的 JSON 文件。
4. 等待片刻，即可看到实时的物体检测画面和文字结果。

在局域网其他电脑访问： 假设树莓派 IP 为 192.168.1.42：

1. 在另一台电脑浏览器访问 http://192.168.1.42:8080。
2. 下载上述 JSON 配置文件。
3. 关键步骤：用文本编辑器打开 JSON 文件，将所有的 localhost 替换为树莓派的 IP 地址 (192.168.1.42)。
4. 在网页中加载修改后的 JSON 文件，即可查看远程检测结果。

3. 自定义摄像头输入

默认情况下，相机客户端以 1 FPS 运行。你可以调整帧率或切换输入源：

调整帧率（流模式）：

$ bn_camera --fps 5

使用本地图片文件测试（文件模式）：

$ bn_camera --mode file --filepath <image-filepath>

4. 数据收集（可选）

若需保存推理结果用于后续分析，可手动运行数据收集器：

$ bn_data_collector --topic-config <topic-config-filepath> --data-dirpath <result-dirpath>

示例配置文件内容（监听检测结果的 MQTT 主题）：

{
    "berrynet/engine/tflitedetector/result": "self.update"
}

---

更多高级配置（如更换 AI 模型、训练自定义数据）请参考官方文档或加入社区讨论。