stm32ai-modelzoo

GitHub
655 122 中等 1 次阅读 4天前NOASSERTION音频图像Agent插件语言模型开发框架
AI 解读 由 AI 自动生成,仅供参考

stm32ai-modelzoo 是意法半导体专为 STM32 微控制器打造的开源 AI 模型库,旨在帮助开发者轻松将人工智能能力部署到资源受限的嵌入式设备中。它解决了在低功耗 MCU 上运行复杂 AI 模型时面临的优化难、适配慢等痛点,提供了一系列经过预训练且针对 STM32 硬件深度优化的参考模型,涵盖图像分类、目标检测、人脸识别、语音增强等多种应用场景。

无论是嵌入式软件工程师、AI 算法研究人员,还是希望快速验证原型的硬件开发者,都能从中获益。用户不仅可以直接使用现成模型进行快速部署,还能利用提供的脚本基于自定义数据集进行迁移学习或从头训练,并支持模型的量化、评估与性能基准测试。

其核心亮点在于全面支持 PyTorch、TensorFlow 和 ONNX 三大主流框架,实现了统一的端到端工作流。最新版本更引入了混合精度模型(如 4bit 权重/8bit 激活值)以进一步压缩模型体积,并提供基于 Docker 的一键式开发环境,大幅降低了嵌入式 AI 的开发门槛,让智能应用能在 STM32 设备上高效运行。

使用场景

某工业安全团队正致力于在低功耗的 STM32 微控制器上部署“电弧故障检测(AFD)”系统,以实时监测电路异常并预防火灾。

没有 stm32ai-modelzoo 时

  • 模型适配极难:开发人员需手动将通用的 PyTorch 或 TensorFlow 模型裁剪、量化,极易因不兼容 STM32 架构导致内存溢出或推理失败。
  • 缺乏参考基准:没有针对特定硬件(如 STM32N6 系列)优化的预训练模型,团队必须从零收集数据并训练,耗时数月且精度难以保证。
  • 部署流程割裂:从模型训练到生成 C 代码缺乏统一工作流,需要反复调试中间格式转换,严重拖慢原型验证进度。
  • 性能评估盲目:无法预先获知模型在目标 MCU 上的延迟和功耗表现,往往在硬件联调阶段才发现性能不达标。

使用 stm32ai-modelzoo 后

  • 开箱即用模型:直接调用库中专为电弧故障检测优化的预训练模型,支持 PyTorch/TF/ONNX 多种框架,大幅降低移植门槛。
  • 高效迁移学习:利用提供的标准化脚本,基于自定义数据集快速进行微调(Transfer Learning),几天内即可完成模型定制。
  • 端到端自动化:通过统一工作流自动完成量化(如 4-bit 权重/8-bit 激活)并生成嵌入式应用代码,实现从算法到固件的无缝衔接。
  • 精准性能预判:直接查阅官方提供的在参考开发板上的浮点与量化性能指标,提前锁定最优模型配置,避免硬件试错成本。

stm32ai-modelzoo 将原本数月的嵌入式 AI 落地周期缩短至数周,让开发者能专注于业务逻辑而非底层模型适配。

运行环境要求

操作系统
  • Linux
  • Windows
GPU

未说明 (工具主要面向微控制器部署,训练/量化过程可通过 Docker 或本地脚本运行,具体 GPU 需求取决于所选模型和框架)

内存

未说明

依赖
notes1. 必须安装并配置 Git LFS 才能克隆仓库获取模型文件。 2. 提供基于 Docker 的现成镜像,包含完整的软件栈,推荐用于简化环境配置。 3. 支持多种应用场景(图像分类、目标检测、语音增强等),针对不同 STM32 系列(H7, U5, N6, MP2)有特定的部署示例。 4. 模型可在 Hugging Face 上找到,并提供 Dashboard 进行训练、评估和基准测试。
python未说明 (依赖库版本暗示需较新版本,如 PyTorch 2.7.1 通常需 Python 3.8+)
PyTorch 2.7.1
TensorFlow 2.18.0
Keras 3.8.0
ONNX 1.16.1
STEdgeAI Core v3.0.0
Git LFS
Docker (可选,用于一键部署环境)
stm32ai-modelzoo hero image

快速开始

意法半导体 – STM32 模型库

欢迎来到 STM32 模型库!

🎉 我们很高兴地宣布,STM32 AI 模型库现已新增对 PyTorch 的全面支持,与 TensorFlow 和 ONNX 并列。现在,它包含一个庞大的 PyTorch 模型库,所有模型都与我们的端到端工作流无缝集成。无论您是想训练、评估、量化、基准测试还是部署模型,都能在这里找到所需的一切——同时还能灵活选择 PyTorch、TensorFlow 或 ONNX。立即探索扩展后的 STM32 模型库,在 STM32 设备上将您的 AI 项目推向新的高度。


STM32 AI 模型库是一系列经过优化、可在 STM32 微控制器上运行的参考机器学习模型集合。 该资源已在 GitHub 上发布,对于希望为其基于 STM32 的项目添加 AI 功能的开发者来说,是一项宝贵的工具。

  • 大量面向应用的模型,可直接用于重新训练。
  • 预训练模型基于参考数据集,支持多种框架。

用户数据集上的任意模型的轻松重训、量化、评估或基准测试脚本,以及根据用户 AI 模型自动生成的应用代码示例,均可在 stm32ai-modelzoo-services GitHub 中找到。

如果您对这些模型所针对的类别感兴趣,它们可以直接用于快速部署。我们还提供训练脚本,可用于迁移学习,或基于您的自定义数据集从头开始训练自己的模型。

针对参考 STM32 MCU、NPU 和 MPU,提供了浮点和量化模型的性能指标。

版本更新亮点:

4.0:
  • 大幅增强对图像分类(IC)和目标检测(OD)的 PyTorch 支持。
  • 支持 STEdgeAI Core v3.0.0
  • 新增 PyTorch 模型的训练与评估脚本。
  • 扩展了模型选择范围并改进了文档。
  • 统一了 TensorFlow 和 PyTorch 的工作流程。
  • 性能与易用性全面提升。
  • 新增用例:人脸检测(FD)电弧故障检测(AFD)行人再识别(ReID)
  • 针对 IC 和 OD 场景,推出混合精度模型(权重 4 位、激活 8 位)。
  • 支持 Keras 3.8.0、TensorFlow 2.18.0、PyTorch 2.7.1 和 ONNX 1.16.1。
  • 重构了 Python 软件架构。
  • 提供基于 Docker 的部署方案,并附带包含完整软件栈的即用镜像。
3.2:
  • 支持 STEdgeAI Core v2.2.0(STM32Cube.AI v10.2.0)。
  • 支持 X-Linux-AI v6.1.0,适用于 MPU。
  • 新增用例:风格迁移FastDepth
  • 新增模型:人脸检测,纳入目标检测用例;人脸关键点,纳入姿态估计用例。
  • 进行了架构与代码库的清理优化。
3.1:
  • 增加了更多模型支持(yolov11n、st_yoloxn 等变体)。
3.0:
  • 增加了与 STM32N6570-DK 开发板兼容的更多模型。
  • 扩展了各应用场景中的模型种类。
  • 将应用场景扩展至 实例分割语音增强
  • 通过语音增强用例新增了 Pytorch 支持。
  • 模型库现托管于 Hugging Face 平台。
2.1:
  • 增加了与 STM32MP257F-EV1 开发板兼容的更多模型。
  • 将应用场景扩展至 姿态估计语义分割
2.0:
  • 为所有应用场景建立了统一且一致的架构。

以下是可用用例的摘要

用例 简要定义 适合部署的目标 智能示例
图像分类 将图像内容分类到预定义的类别中。 STM32H747I-DISCO
NUCLEO-H743ZI2
STM32MP257F-EV1
STM32N6570-DK
plot
目标检测 从输入图像中检测、定位并估计预定义目标的出现概率。 STM32H747I-DISCO
STM32MP257F-EV1
STM32N6570-DK
plot
人脸检测 从输入图像中检测、定位并估计预定义人脸及关键点的出现概率。 STM32H747I-DISCO
STM32N6570-DK
plot
姿态估计 检测特定对象(人、手、脸等)上的关键点。 STM32MP257F-EV1
STM32N6570-DK
plot
语义分割 为图像中的每个像素分配标签,以识别构成不同类别的像素集合。 STM32MP257F-EV1
STM32N6570-DK
plot
实例分割 为图像中的每个像素分配标签,以识别构成不同类别或每个类别实例的像素集合。 STM32N6570-DK
plot
深度估计 根据图像预测物体的距离,生成逐像素的深度图。 STM32N6570-DK
plot
神经风格迁移 将一张图像的艺术风格应用到另一张图像的内容上。 STM32N6570-DK
plot
音频事件检测 检测特定的音频事件。 B-U585I-IOT02A
B-U585I-IOT02A
STM32N6570-DK
plot
语音增强 在嘈杂环境中提升音频感知质量。 STM32N6570-DK
plot
人类活动识别 识别各种活动,如步行、跑步等。 B-U585I-IOT02A
plot
手势姿态识别 使用飞行时间(ToF)传感器识别一组手势姿态。 NUCLEO-F401RE
plot
电弧故障检测 从电流信号中检测电气弧故障。 B-U585I-IOT02A
plot
重识别 在不同图像或视频帧中重新识别人员或物体。 STM32N6570-DK
plot

Hugging Face 托管

Model Zoo 仪表板托管在 STMicroelectronics 组织下的 Docker 环境中。该仪表板使用 Dash Plotly 和 Flask 开发,并在 Docker 容器内运行。 如果您的系统已安装 Docker,也可以在本地运行。该仪表板提供以下功能:

• 训练:训练机器学习模型。 • 评估:评估模型性能。 • 基准测试:使用 ST Edge AI 开发者云对您的模型进行基准测试。 • 可视化:可视化模型性能和指标。 • 用户配置更新:直接从仪表板更新和修改用户配置。 • 输出下载:下载模型结果和输出。

您还可以在 Hugging Face 的 STMicroelectronics 组织下找到我们的模型。STM32AI Model Zoo 中的每个模型在 Hugging Face 上都有一张模型卡片,提供关于该模型的所有必要信息,并链接到专用脚本。

开始之前

Model Zoo 仓库使用 git lfs,因此用户在克隆仓库之前需要先安装并设置 git lfs。具体步骤如下。

  • 在 Ubuntu 上:

    sudo apt-get install git-lfs
    
  • 在 Windows 上: 请从这里下载 Git LFS 扩展程序。

下载并安装完成后,通过运行以下命令为您的用户账户设置 Git LFS:

git lfs install

如果命令成功执行,您将看到消息 Git LFS initialized.

注意: 如果未看到 Git LFS initialized. 消息,请访问 GitHub 文档页面,以获取更多详细信息和支持。

克隆仓库

为了使用 modelzoo-services 中的配置文件示例,而无需更改 model_path,需要将 modelzoo 仓库克隆到与 modelzoo services 相同的文件夹中。

git clone https://github.com/STMicroelectronics/stm32ai-modelzoo.git

版本历史

v4.0.02026/01/22
v3.2.02025/08/05
v3.1.02025/05/20
v3.0.02024/12/10
v2.1.02024/07/01
v2.0.02024/02/22
v1.0.02023/01/27

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|今天
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

139k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.7k|★★☆☆☆|2天前
开发框架图像Agent

NextChat

NextChat 是一款轻量且极速的 AI 助手,旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性,以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发,NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言,它也提供了便捷的自托管方案,支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性,原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型,让用户在一个界面即可自由切换不同 AI 能力。此外,它还率先支持 MCP(Model Context Protocol)协议,增强了上下文处理能力。针对企业用户,NextChat 提供专业版解决方案,具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能,满足公司对数据隐私和个性化管理的高标准要求。

87.6k|★★☆☆☆|今天
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|2天前
Agent图像开发框架