deepC

deepC 是一个与供应商无关的深度学习库、编译器和推理框架，专为小型设备设计，包括 微控制器、物联网设备和边缘设备。

🏃‍♂️ 使用 deepC

以下是几种使用方式：

1. 通过 Colab Notebook 尝试 deepC。
2. 在 Ubuntu、Raspbian（或其他 Debian 衍生系统）上使用 pip install deepC 进行安装。
3. 编译 ONNX 模型——阅读这篇文章 或观看 这个视频。
4. 使用 Docker 文件 配合 deepC。

更多示例请参阅 教程 目录。

📛 deepC 是什么？

deepC 库、编译器和推理框架旨在支持并运行深度学习神经网络，专注于微控制器、eFPGA、CPU 等小型设备以及树莓派 (raspberry-pi)、ODROID (odroid)、Arduino (arduino)、SparkFun Edge (sparkfun edge)、RISC-V (risc-V)、手机、x86 和 ARM 笔记本电脑等嵌入式设备的特点。

deepC 还提供提前编译器，基于针对深度神经网络优化的 LLVM 编译工具链 生成优化后的可执行文件，并以 ONNX 作为前端。

📝 设计

deepC 的主要组件旨在用高级图 IR 表示和优化常见的深度学习网络，并转换计算图以最小化内存占用、优化数据布局以及针对不同硬件后端融合计算模式。

更多信息请参阅 高层设计文档。

💧 前置条件

• ONNX 1.5
• LLVM 8.0
• Python 3.6
• SWIG 3.0

💻 开发

按照以下步骤从源代码本地构建并开始修改 deepC：

⭕ Ubuntu 18.04

按步骤安装前置条件：

sudo apt-get update
sudo apt-get install build-essential python3.6-dev python3-pip swig doxygen clang-format clang clang-8 llvm-8 llvm-8-dev protobuf-compiler libprotoc-dev
sudo pip3 install numpy==1.15.0 onnx==1.5.0

完成后，构建 deepC：

git clone https://github.com/ai-techsystems/deepC.git
cd deepC
make

⭕ Mac OS / Windows 10

确保您已安装以下前置条件：

Mac OS：

• 适用于 Mac 的 Python
• 适用于 Mac 的 Docker

Windows 10：

• 适用于 Windows 的 Python
• 适用于 Windows 的 Docker

完成后，在 Docker 容器中构建 deepC：

git clone https://github.com/ai-techsystems/deepC.git
cd deepC
python buildDocker.py

📜 输出

find include src swig -name \*.h -print0 -o -name \*.cpp -print0 | xargs -0 -P8 -n1 clang-format -i
make -C src
make[1]: Entering directory 'deepC/src'
make -C core
make[2]: Entering directory 'deepC/src/core'
compiling broadcast.cpp
/usr/bin/g++ -O3 -Wall -std=c++14 -fPIC -march=native -msse2 \
    -isystem ./packages/eigen-eigen-323c052e1731 -I./include \
    -c broadcast.cpp -o obj/broadcast.o
compiling tensor.cpp
...
...
/usr/bin/g++ -shared  ./obj/dnnc_swig.o ./obj/dnnc_pyutils.o ./obj/dnnc_api.o -o lib/libdnnc.so
ln -s -f lib/libdnnc.so _dnnc.so
/usr/bin/python3 ../test/swig/basic.py

当前支持

| 支持的架构 | 状态 | |------------------------- |----------| | Arm | ✔️ | | Armv7 | ✔️ | | Arm64 | ✔️ | | AMD64 | ✔️ | | ppc64le | ✔️ |

| 支持的操作系统 | 发行版 | 状态 | |-------------- |---------------- |-----------| | Linux | Ubuntu 18.04 | ✔️ | | Linux | CentOS 6 | ✔️ | | Linux | Arch Linux | ✔️ | | Linux | Manjaro | ✔️ | | Windows | 1803 及以上 | ✔️ | | Mac OS | Sierra 及以上 | ✔️ |

➕ 贡献

dnn Compiler 采用 Apache 提交者模式，我们的目标是创建一个由社区维护和拥有的开源项目。请查看贡献指南。

🙏 致谢

我们感谢先前项目如 LLVM、ONNX 等的努力，使本项目得以实现。

---

🕵️‍♂️ 为什么需要编译器❔

deepC 针对的是微控制器等小型设备，这些设备广泛应用于各种家用电器、汽车和玩具中。事实上，每年大约有 300 亿台由微控制器驱动的设备被生产出来。它们价格低廉、能耗极低且非常可靠。

通过将深度学习模型部署到微型微控制器上，我们可以提升数十亿日常生活中使用的设备的智能化水平，而无需依赖昂贵的硬件或稳定的互联网连接。想象一下能够适应您日常作息的智能家电、能区分故障与正常运行的工业传感器，以及以有趣且愉快的方式帮助孩子学习的神奇玩具。

组织

请贵组织支持本项目。您的 logo 将在此处显示，并附带指向您网站的链接。[贡献]

---

基于/使用 deepC

产品

1. 无代码 TinyML 平台，基于 deepC 技术构建。
2. 无代码 TinyML 书籍，其中包含关于 deepC 的一章。

论文

• 论文：深度神经网络算子，发表于 2019 年 AITS 峰会论文集
• 短文：使用 deepC 进行手势识别，发表于 国际创意研究思想期刊
• 海报：面向微控制器和微型计算机的深度神经网络编译器与推理框架，发表于 IRISS 2020 第十四届跨研究所计算机科学学生研讨会

论文引用

• 斯坦福大学报告标题：中英神经机器翻译中的模型压缩
• 标题：物联网时代的人工智能：边缘 AI 硬件与软件综述
  • 下载 PDF
• 标题：用于边缘环境声音分类的微型 Transformer
  • 下载 PDF
• 标题：高效边缘分析：利用音频端侧机器学习应对网络物理 MASINT
  • 下载 PDF
• 标题：采用编码分区混合稀疏格式实现稀疏 CNN 的高效低内存部署
• 标题：面向智能电网的智能电表：物联网视角
  • 下载 PDF

书籍章节

1. 书籍 TinyML 入门 中的 deepC 章节，可在 亚马逊 及其他零售商处购买。

deepC 快速上手指南

deepC 是一个独立于厂商的深度学习库、编译器和推理框架，专为微控制器（μControllers）、IoT 设备和边缘设备等小尺寸硬件设计。它支持将 ONNX 模型编译为针对特定硬件优化的可执行文件。

1. 环境准备

系统要求

deepC 支持以下操作系统和架构：

• 操作系统: Ubuntu 18.04+, CentOS 6, Arch Linux, Manjaro, Windows 10 (1803+), macOS (Sierra+)
• 支持架构: Arm, Armv7, Arm64, AMD64, ppc64le

前置依赖

在开始之前，请确保安装以下核心依赖：

• ONNX: 版本 1.5
• LLVM: 版本 8.0
• Python: 版本 3.6
• SWIG: 版本 3.0

提示：国内开发者在安装 Python 包时，建议使用清华或阿里镜像源加速（例如在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

2. 安装步骤

根据您的开发环境选择以下一种方式：

方式一：直接安装（推荐 Ubuntu/Debian 用户）

1. 安装系统依赖

   sudo apt-get update
   sudo apt-get install build-essential python3.6-dev python3-pip swig doxygen clang-format clang clang-8 llvm-8 llvm-8-dev protobuf-compiler libprotoc-dev
   

2. 安装 Python 依赖

   sudo pip3 install numpy==1.15.0 onnx==1.5.0
   # 国内加速示例：
   # sudo pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy==1.15.0 onnx==1.5.0
   

3. 克隆源码并编译

   git clone https://github.com/ai-techsystems/deepC.git
   cd deepC
   make
   

方式二：使用 Docker（推荐 macOS / Windows 用户）

如果您使用的是 macOS 或 Windows，建议通过 Docker 容器进行构建，以避免环境配置复杂性。

1. 确保已安装

   • macOS: Docker for Mac
   • Windows: Docker for Windows
   • 同时需安装对应系统的 Python 3.6+。

2. 构建容器

   git clone https://github.com/ai-techsystems/deepC.git
   cd deepC
   python buildDocker.py
   

方式三：快速体验 (Google Colab)

无需本地环境，可直接在浏览器中尝试：

• deepC Colab Notebook

3. 基本使用

deepC 的核心工作流是将 ONNX 模型 编译为可在边缘设备运行的优化代码。

最简单的使用流程

1. 准备模型：确保你有一个导出好的 .onnx 模型文件（例如 model.onnx）。

2. 编译模型：使用 deepC 编译器处理该模型。 (注：具体编译命令通常涉及调用生成的接口或脚本，参考官方 MNIST 示例)

   您可以参考官方提供的 MNIST 编译教程来了解完整流程：

   • 图文教程
   • 视频教程

3. 运行推理：编译完成后，将在目标设备上生成可执行文件或库，用于进行深度学习推理。

更多示例

更多详细的使用案例和教程代码位于项目根目录的 tutorials 文件夹中：

• 查看教程目录

---

deepC 旨在让数十亿个微型设备具备智能，无需依赖昂贵的硬件或稳定的网络连接。立即开始您的边缘 AI 之旅！