令人惊叹的 EMDL

嵌入式与移动深度学习研究笔记。

论文

综述

1. EfficientDNNs [仓库]
2. Awesome ML Model Compression [仓库]
3. TinyML 论文与项目 [仓库]
4. TinyML 平台基准测试 [arXiv '21]
5. TinyML：现有研究的系统性综述与整合 [ICAIIC '21]
6. TinyML 遇见物联网：全面综述 [物联网 '21]
7. 关于 TinyML 的综述：现状与展望 [沙特国王大学期刊 '21]
8. TinyML 基准测试：在通用微控制器上执行全连接神经网络 [IEEE '21]
9. 高效深度学习：使深度学习模型更小、更快、更好的综述 [arXiv '21]
10. TinyML 系统的基准测试：挑战与方向 [arXiv '20]
11. 神经网络的模型压缩与硬件加速：全面综述 [IEEE '20]
12. 深度学习编译器：全面综述 [arXiv '20]
13. 深度卷积神经网络高效计算的最新进展 [arXiv '18]
14. 深度神经网络的模型压缩与加速综述 [arXiv '17]

模型

1. EtinyNet：适用于 TinyML 的极小型网络 [AAAI '21]
2. MCUNetV2：面向 Tiny 深度学习的内存高效补丁式推理 [NeurIPS '21，MIT]
3. SkyNet：一种在嵌入式系统上进行目标检测和跟踪的硬件高效方法 [MLSys '20，IBM]
4. 模型魔方：通过扭转分辨率、深度和宽度优化 TinyNets [NeurIPS '20，华为]
5. MCUNet：物联网设备上的微型深度学习 [NeurIPS '20，MIT]
6. GhostNet：以低成本操作获得更多特征 [CVPR '20，华为]
7. MicroNet 用于高效的语言建模 [NeurIPS '19，MIT]
8. MobileNetV3 的搜索 [ICCV '19，谷歌]
9. MobilenetV2：倒残差与线性瓶颈：用于分类、检测和分割的移动网络 [CVPR '18，谷歌]
10. ProxylessNAS：针对目标任务和硬件的直接神经架构搜索 [arXiv '18，MIT]
11. DeepRebirth：加速移动设备上的深度神经网络执行 [AAAI'18，三星]
12. NasNet：学习可迁移的架构以实现可扩展的图像识别 [arXiv '17，谷歌]
13. ShuffleNet：一种极其高效的移动设备用卷积神经网络 [arXiv '17，Megvii]
14. MobileNets：用于移动视觉应用的高效卷积神经网络 [arXiv '17，谷歌]
15. CondenseNet：使用学习到的组卷积构建的高效 DenseNet [arXiv '17]

系统

1. BSC：基于块的随机计算，以实现准确且高效的 TinyML [ASP-DAC '22]
2. CFU Playground：用于在 FPGA 上加速微型机器学习（tinyML）的全栈开源框架 [arXiv '22，谷歌]
3. UDC：用于可压缩 TinyML 模型的统一 DNAS [arXiv '22，Arm]
4. AnalogNets：噪声鲁棒型 TinyML 模型与始终开启的模拟存内计算加速器的软硬件协同设计 [arXiv '21，Arm]
5. TinyTL：减少激活而非可训练参数，以实现高效的设备端学习 [NeurIPS '20，MIT]
6. Once for All：训练一个网络并将其专门化以实现高效部署 [ICLR '20，MIT]
7. DeepMon：基于移动 GPU 的深度学习框架，用于连续视觉应用 [MobiSys '17]
8. DeepEye：利用可穿戴通用硬件资源高效地本地执行多个深度视觉模型 [MobiSys '17]
9. MobiRNN：在移动 GPU 上高效执行循环神经网络 [EMDL '17]
10. fpgaConvNet：将多种卷积神经网络映射到嵌入式 FPGA 上的工具流程 [NIPS '17]
11. DeepSense：基于 GPU 的深度卷积神经网络框架，适用于通用移动设备 [WearSys '16]
12. DeepX：用于低功耗移动设备深度学习推理的软件加速器 [IPSN '16]
13. EIE：压缩深度神经网络上的高效推理引擎 [ISCA '16]
14. MCDNN：基于近似值的执行框架，用于资源受限下的深度流处理 [MobiSys '16]
15. DXTK：借助 DeepX 工具包，在移动和嵌入式设备上实现资源高效的深度学习 [MobiCASE '16]
16. 为可穿戴设备上的受限资源推理而进行的深度学习层稀疏化与分离 [SenSys ’16]
17. 对可穿戴设备、智能手机和物联网设备上深度学习的早期资源特性分析 [IoT-App ’15]
18. CNNdroid：在 Android 设备上加速执行已训练的深度卷积神经网络 [MM '16]

量化

1. 用于高效推理的深度卷积网络量化：白皮书 [arXiv '18]
2. LQ-Nets：为高精度和紧凑型深度神经网络设计的可学习量化方法 [ECCV'18]
3. 深度神经网络中的整数训练与推理 [ICLR'18]
4. ZipML框架：端到端低精度模型训练——可行方案、不可行情况及一点深度学习 [ICML'17]
5. 损失感知的深度网络二值化 [ICLR'17]
6. 迈向网络量化极限 [ICLR'17]
7. 基于半波高斯量化的低精度深度学习 [CVPR'17]
8. ShiftCNN：面向卷积神经网络推理的通用低精度架构 [arXiv'17]
9. 面向移动设备的量化卷积神经网络 [CVPR '16]
10. 循环神经网络的定点性能分析 [ICASSP'16]
11. 量化神经网络：使用低精度权重和激活进行神经网络训练 [arXiv'16]
12. 利用向量量化压缩深度卷积网络 [arXiv'14]

剪枝

1. Awesome-Pruning [仓库]
2. 基于几何中位数的滤波器剪枝用于加速深度卷积神经网络 [CVPR'19]
3. 剪枝还是不剪枝：探索剪枝在模型压缩中的有效性 [ICLR'18]
4. 用于高效ConvNet的滤波器剪枝 [ICLR'17]
5. 为资源高效推理而剪枝卷积神经网络 [ICLR'17]
6. 用于神经网络压缩的软权值共享 [ICLR'17]
7. 利用能耗感知剪枝设计节能卷积神经网络 [CVPR'17]
8. ThiNet：一种用于深度神经网络压缩的滤波器级剪枝方法 [ICCV'17]
9. 深度压缩：通过剪枝、训练量化和霍夫曼编码压缩深度神经网络 [ICLR'16]
10. 用于高效DNN的动态网络手术 [NIPS'16]
11. 同时学习权重和连接以构建高效神经网络 [NIPS'15]

近似

1. 移动设备上的高性能超低精度卷积 [NIPS'17]
2. 面向快速且低功耗移动应用的深度卷积神经网络压缩 [ICLR'16]
3. 非线性卷积网络的高效精确近似 [CVPR'15]
4. 加速用于分类和检测的超深卷积神经网络（上述论文的扩展版）
5. 带有低秩正则化的卷积神经网络 [arXiv'15]
6. 利用卷积网络内的线性结构实现高效评估 [NIPS'14]

特征分析

1. 智能手机上深度学习应用初探 [WWW'19]
2. Facebook的机器学习：理解边缘推理 [HPCA'19]
3. NetAdapt：面向移动应用的平台感知型神经网络自适应 [ECCV 2018]
4. 移动计算机视觉中卷积神经网络的延迟与吞吐量特征分析 [MMSys’18]

库

推理框架

1. 阿里巴巴 - MNN - 是一个极速、轻量级的深度学习框架，已在阿里巴巴的关键业务场景中经过严格考验。
2. 苹果 - CoreML - 用于将机器学习模型集成到你的应用中。BERT和GPT-2在iPhone上的实现
3. Arm - ComputeLibrary - 是一套针对Arm CPU和GPU优化的计算机视觉和机器学习函数库，采用了SIMD技术。简介
4. Arm - Arm NN - 是Android和Linux平台上性能最优的机器学习推理引擎，可在Arm Cortex-A CPU和Arm Mali GPU上加速机器学习任务。
5. 百度 - Paddle Lite - 是一个多平台的高性能深度学习推理引擎。
6. DeepLearningKit - 是适用于苹果iOS、OS X和tvOS的开源深度学习框架。
7. Edge Impulse - 一个交互式平台，用于生成可在微控制器上运行的模型。他们在社交媒体上也非常活跃，分享关于边缘AI/ TinyML的最新动态。
8. 谷歌 - TensorFlow Lite - 是一个面向设备端推理的开源深度学习框架。
9. 英特尔 - OpenVINO - 是一个全面的工具包，用于优化你的流程以实现更快的推理速度。
10. JDAI计算机视觉 - dabnn - 是一个针对移动平台加速二值神经网络推理的框架。
11. Meta - PyTorch Mobile - 是一个新框架，旨在帮助移动开发者和机器学习工程师将PyTorch的ML模型嵌入到设备端。
12. 微软 - DeepSpeed - 是一个深度学习优化库，使分布式训练和推理变得简单、高效且有效。
13. 微软 - ELL - 允许你设计并部署智能机器学习模型到资源受限的平台和小型单板计算机上，如Raspberry Pi、Arduino和micro:bit。
14. 微软 - ONNX Runtime - 是一个跨平台、高性能的ML推理和训练加速器。
15. 英伟达 - TensorRT - 是一个C++库，用于在NVIDIA GPU和深度学习加速器上实现高性能推理。
16. OAID - Tengine - 是一个轻量级、高性能、模块化的嵌入式设备推理引擎。
17. 高通 - AI神经处理SDK - 提供给开发者的库，用于在骁龙移动平台上运行NN模型，充分利用CPU、GPU和/或DSP。
18. 腾讯 - ncnn - 是一个为移动平台优化的高性能神经网络推理框架。
19. uTensor - 基于mbed（一种针对ARM芯片组的RTOS）和TensorFlow的AI推理库。
20. 小米 - Mace - 是一个为移动异构计算平台优化的深度学习推理框架。
21. xmartlabs - Bender - 轻松在iOS上构建快速的神经网络！使用TensorFlow模型。底层采用Metal技术。

优化工具

1. Neural Network Distiller - 用于神经网络压缩研究的Python软件包。
2. PocketFlow - 一个自动模型压缩（AutoMC）框架，用于开发更小、更快的AI应用。

研究演示

1. RSTensorFlow - 面向普通安卓设备的GPU加速TensorFlow。

Web

1. mil-tokyo/webdnn - 在Web浏览器上最快的DNN执行框架。

通用

1. Caffe2 AICamera
2. TensorFlow Android相机演示
3. TensorFlow iOS示例
4. TensorFlow OpenMV相机模块

边缘 / Tiny MLOps

1. Tiny-MLOps：一个用于在物联网系统远端编排ML应用的框架 [EAIS '22]
2. TinyML的MLOps：大规模部署TinyML的挑战与方向 [TinyML Talks '22]
3. TinyMLOps：广泛采用边缘AI面临的运营挑战 [arXiv '22]
4. 用于物联网中机器学习的TinyMLaaS生态系统：概述与研究挑战 [VLSI-DAT '21]
5. SOLIS：从数据采集到可操作洞察的MLOps之旅 [arXiv '21]
6. 边缘MLOps：面向AIoT应用的自动化框架 [IC2E '21]
7. SensiX++：将MLOPs和多租户模型服务引入感官边缘设备 [arXiv '21，诺基亚]

Vulkan

1. Vulkan API示例和演示
2. Android上的神经机器翻译

OpenCL

1. DeepMon

RenderScript

1. Mobile_ConvNet：Android上的RenderScript CNN

教程

通用

1. 将深度学习塞进手机
2. 深度学习——教程与最新趋势
3. 深度神经网络硬件架构教程
4. 在移动GPU上高效进行卷积神经网络推理

NEON

1. NEON™程序员指南

OpenCL

1. ARM® Mali™ GPU OpenCL 开发者指南, pdf
2. ARM Mali™ GPU 上的最优计算
3. 移动设备上的 GPU 计算
4. 面向性能的移动设备计算
5. 动手学 OpenCL
6. Adreno OpenCL 编程指南
7. 高通 Adreno GPU 上更好的 OpenCL 性能

课程

1. 华盛顿大学深度学习 系统
2. 伯克利机器学习系统

工具

GPU

1. Bifrost GPU 架构与 ARM Mali-G71 GPU
2. Midgard GPU 架构, ARM Mali-T880 GPU
3. 移动 GPU 市场份额

驱动程序

1. [Adreno] csarron/qcom_vendor_binaries: 常用高通专有二进制文件
2. [Mali] Fevax/vendor_samsung_hero2ltexx: 来自 s7 Edge G935F 的固件 blob

相关仓库

• EfficientDNNs 由 @MingSun-Tse 维护
• Awesome ML 模型压缩 由 @cedrickchee 维护
• Awesome Pruning 由 @he-y 维护
• 模型压缩 由 @j-marple-dev 维护
• awesome-AutoML-and-Lightweight-Models 由 @guan-yuan 维护
• knowledge-distillation-papers 由 @lhyfst 维护
• Awesome-model-compression-and-acceleration 由 @memoiry 维护
• 嵌入式神经网络 由 @ZhishengWang 维护

awesome-emdl 快速上手指南

awesome-emdl 并非一个可直接安装运行的软件库或框架，而是一个嵌入式与移动端深度学习（Embedded & Mobile Deep Learning）的研究资源清单。它汇集了该领域最新的综述论文、高效模型架构、系统优化方案、量化剪枝技术以及主流推理框架。

本指南旨在帮助中国开发者如何利用该清单快速构建知识体系并选择合适的工具链进行开发。

环境准备

由于本项目是资源索引，无需特定的运行时环境。但为了复现清单中提到的模型或使用相关框架，建议准备以下基础环境：

• 操作系统：Linux (Ubuntu 18.04/20.04 推荐), macOS, 或 Windows (WSL2)
• 编程语言：Python 3.6+
• 核心依赖：
  • PyTorch 或 TensorFlow (用于模型训练与转换)
  • Git (用于克隆仓库)
• 硬件目标（可选）：
  • 移动端：Android/iOS 设备
  • 嵌入式：树莓派 (Raspberry Pi), NVIDIA Jetson 系列，或 STM32 等微控制器
• 网络加速：
  • 访问 GitHub 源码时，建议使用国内镜像源（如 Gitee 搜索对应项目镜像）或配置代理。
  • 下载论文数据集时，可使用 ArXiv 国内镜像。

获取资源

该项目没有传统的“安装”步骤，主要通过克隆仓库获取资源列表。

# 克隆仓库到本地
git clone https://github.com/aihacker/awesome-emdl.git

# 进入目录
cd awesome-emdl

# 查看资源列表
cat README.md

提示：如果 GitHub 连接缓慢，可尝试在 Gitee 上搜索 awesome-emdl 查找国内镜像仓库进行克隆。

基本使用

使用 awesome-emdl 的核心在于根据你的具体需求（如：模型压缩、特定硬件部署、低精度推理），从清单中定位对应的论文或开源框架。

场景一：寻找适合移动端的轻量级模型

如果你需要在手机或嵌入式设备上运行目标检测或分类任务，请参考 Model 章节：

1. 查阅 MobileNetV3, GhostNet, 或 MCUNet 相关论文链接。
2. 根据论文标题旁的 [Repo] 标识（如有）或论文名称，在 GitHub 搜索官方实现代码。
3. 例如，搜索 MobileNetV3 pytorch 获取预训练模型。

场景二：选择端侧推理引擎

如果你已经训练好模型，需要将其部署到特定硬件，请参考 Libraries -> Inference Framework 章节：

• Android/Linux (ARM 架构): 推荐使用 MNN (阿里开源，国内文档完善) 或 Arm NN。
  • MNN 地址：https://github.com/alibaba/MNN
• iOS/macOS: 直接使用 CoreML。
• 微控制器 (MCU): 参考 Edge Impulse 平台或 TinyML 相关论文。

场景三：模型压缩与加速

如果需要减小模型体积或提升推理速度，请参考 Quantization (量化) 和 Pruning (剪枝) 章节：

1. 阅读 Deep Compression 或 Quantizing deep convolutional networks 等综述了解原理。
2. 查找 Awesome-Pruning 仓库获取具体的剪枝算法实现代码。
3. 利用 PyTorch Quantization 或 TensorFlow Lite 内置工具进行实验。

示例工作流

假设你要在树莓派上部署一个图像分类模型：

1. 选型：在 Model 部分选择 MobileNetV2 或 ShuffleNet。
2. 训练：使用 PyTorch 训练模型。
3. 转换：在 Libraries 部分选择 MNN 或 TFLite (虽未列出但属同类)，将模型转换为 .mnn 或 .tflite 格式。
4. 部署：参考对应框架的 C++ 或 Python API 文档在树莓派上加载模型并推理。

通过浏览 awesome-emdl 的分类目录，你可以快速找到上述每个环节的最优学术方案和工业界实现。