MATLAB 深度学习模型库

在 MATLAB 中发现用于深度学习的预训练模型。

模型

计算机视觉

• 图像分类
• 目标检测
• 语义分割
• 实例分割
• 图像风格迁移
• 人体姿态估计
• 三维重建
• 视频分类
• 文本检测与识别

自然语言处理

• Transformer 模型

音频

• 音频嵌入
• 声音分类
• 音高估计
• 语音转文本

激光雷达

• 点云分类
• 点云分割
• 点云目标检测

机器人技术

• 机械臂运动规划
• 基于运动规划网络的路径规划

图像分类

预训练的图像分类网络已经学会了从自然图像中提取强大且富含信息的特征。可以将它们作为起点，利用迁移学习来学习新的任务。

输入是 RGB 图像，输出是预测的标签和得分：

这些网络已在超过一百万张图像上进行过训练，能够将图像分类到 1000 个对象类别中。

MATLAB 中可用的模型：

注 1：自 R2024a 起，请改用 imagePretrainedNetwork 函数，并指定预训练模型。 例如，使用以下代码访问 googlenet：

[net, classes] = imagePretrainedNetwork("googlenet");

网络	大小 (MB)	类别数	准确率 (%)	获取方式
googlenet1	27	1000	66.25	文档 GitHub
squeezenet1	5.2	1000	55.16	文档
alexnet1	227	1000	54.10	文档
resnet181	44	1000	69.49	文档 GitHub
resnet501	96	1000	74.46	文档 GitHub
resnet1011	167	1000	75.96	文档 GitHub
mobilenetv21	13	1000	70.44	文档 GitHub
vgg161	515	1000	70.29	文档
vgg191	535	1000	70.42	文档
inceptionv31	89	1000	77.07	文档
inceptionresnetv21	209	1000	79.62	文档
xception1	85	1000	78.20	文档
darknet191	78	1000	74.00	文档
darknet531	155	1000	76.46	文档
densenet2011	77	1000	75.85	文档
shufflenet1	5.4	1000	63.73	文档
nasnetmobile1	20	1000	73.41	文档
nasnetlarge1	332	1000	81.83	文档
efficientnetb01	20	1000	74.72	文档
ConvMixer	7.7	10	-	GitHub
Vision Transformer	Large-16 - 1100 Base-16 - 331.4 Small-16 - 84.7 Tiny-16 - 22.2	1000	Large-16 - 85.59 Base-16 - 85.49 Small-16 - 83.73 Tiny-16 - 78.22	文档

选择模型的建议

预训练网络具有不同的特性，在为您的问题选择网络时这些特性非常重要。最重要的特性包括网络的准确率、速度和大小。通常，选择网络需要在这几者之间进行权衡。下图展示了这些权衡关系：

图. 比较图像分类模型的准确率、速度和大小。

返回顶部

目标检测

目标检测是一种计算机视觉技术，用于在图像或视频中定位物体实例。当人类观看图像或视频时，我们能够在瞬间识别并定位感兴趣的物体。目标检测的目标是利用计算机来复制这种智能。

输入为RGB图像，输出为预测的标签、边界框和置信度分数：

这些网络已经过训练，能够检测COCO数据集中的80个物体类别。这些模型适合通过迁移学习来训练自定义的目标检测器。

网络	网络变体	大小 (MB)	平均精度均值 (mAP)	物体类别	获取方式
EfficientDet-D0	efficientnet	15.9	33.7	80	GitHub
YOLO v9	yolo9t yolo9s yolo9m yolo9c yolo9e	7.5 25 67.2 85 190	38.3 46.8 51.4 53.0 55.6	80	GitHub
YOLO v8	yolo8n yolo8s yolo8m yolo8l yolo8x	10.7 37.2 85.4 143.3 222.7	37.3 44.9 50.2 52.9 53.9	80	GitHub
YOLOX	YoloX-s YoloX-m YoloX-l	32 90.2 192.9	39.8 45.9 48.6	80	文档 GitHub
YOLO v4	yolov4-coco yolov4-tiny-coco	229 21.5	44.2 19.7	80	文档 GitHub
YOLO v3	darknet53-coco tiny-yolov3-coco	220.4 31.5	34.4 9.3	80	文档
YOLO v2	darknet19-COCO tiny-yolo_v2-coco	181 40	28.7 10.5	80	文档 GitHub

选择模型的建议

预训练的目标检测器具有不同的特性，在为您的问题选择网络时需要考虑这些特性。最重要的特性包括平均精度均值（mAP）、速度和模型大小。通常，选择网络是在这些特性之间进行权衡。

特定应用的目标检测器

这些网络已针对特定应用进行了训练，以检测特定物体。

网络	应用	大小 (MB)	获取方式	示例输出
Spatial-CNN	车道检测	74	GitHub
RESA	道路边界检测	95	GitHub
单次检测器 (SSD)	车辆检测	44	文档
Faster R-CNN	车辆检测	118	文档

返回顶部

语义分割

分割在图像分析任务中至关重要。语义分割是指为图像中的每个像素分配一个类别标签的过程，例如花、人、道路、天空、海洋或汽车。

输入是RGB图像，输出是像素分类（语义图）。

该网络已训练用于检测PASCAL VOC数据集中的20个物体类别：

网络	大小 (MB)	平均准确率	物体类别	位置
[DeepLabv3+]（https://github.com/matlab-deep-learning/pretrained-deeplabv3plus）	209	0.87	20	GitHub

零样本图像分割模型：

网络	大小 (MB)	示例位置
[segmentAnythingModel]（https://www.mathworks.com/help/images/ref/segmentanythingmodel.html）	358	文档

特定应用的语义分割模型

网络	应用	大小 (MB)	位置	示例输出
[U-net]（https://www.mathworks.com/help/images/develop-raw-camera-processing-pipeline-using-deep-learning.html）	原始图像处理	31	文档
[3-D U-net]（https://www.mathworks.com/help/images/segment-3d-brain-tumor-using-deep-learning.html）	脑肿瘤分割	56.2	文档
[AdaptSeg (GAN)]（https://www.mathworks.com/help/deeplearning/ug/train-deep-learning-semantic-segmentation-network-using-3d-simulation-data.html）	使用3D仿真数据进行模型调优	54.4	文档

返回顶部

实例分割

实例分割是一种增强型目标检测技术，它为每个检测到的对象实例生成一个分割掩码。实例分割将各个对象视为独立的实体，而不考虑它们所属的类别。相比之下，语义分割则将同一类别的所有对象视为一个整体。

输入是RGB图像，输出是像素分类（语义图）、边界框和类别标签。

网络	物体类别	位置
[Mask R-CNN]（https://www.mathworks.com/help/vision/ref/maskrcnn.html）	80	文档 GitHub

返回顶部

图像翻译

图像翻译是指将一种图像域的风格和特征迁移到另一种图像域的任务。这一技术还可以扩展到其他图像到图像的学习任务，如图像增强、图像着色、缺陷生成以及医学图像分析等。

输入是图像，输出是经过翻译后的RGB图像。此示例工作流展示了如何通过预训练模型（Pix2PixHD）将语义分割图输入转换为合成图像：

网络	应用	大小 (MB)	位置	示例输出
[Pix2PixHD(CGAN)]（https://www.mathworks.com/help/deeplearning/ug/generate-image-from-segmentation-map-using-deep-learning.html）	合成图像翻译	648	文档
[UNIT (GAN)]（https://www.mathworks.com/help/images/unsupervised-day-to-dusk-image-translation-using-unit.html）	白天到黄昏、黄昏到白天的图像翻译	72.5	文档
[UNIT (GAN)]（https://www.mathworks.com/help/images/unsupervised-medical-image-denoising-using-unit.html）	医学图像去噪	72.4	文档
[CycleGAN]（https://www.mathworks.com/help/images/unsupervised-medical-image-denoising-using-cyclegan.html）	医学图像去噪	75.3	文档
[VDSR]（https://www.mathworks.com/help/images/single-image-super-resolution-using-deep-learning.html）	超分辨率（从低分辨率图像估计高分辨率图像）	2.4	文档

返回顶部

姿态估计

姿态估计是一种计算机视觉技术，它使用一组固定的关节点来定位物体的位置和方向。

所有输入都是RGB图像，输出是热图和部分亲和场（PAFs），这些输出经过后处理即可完成姿态估计。

网络	主干网络	大小 (MB)	位置
[OpenPose]（https://www.mathworks.com/help/deeplearning/ug/estimate-body-pose-using-deep-learning.html）	vgg19	14	文档
[HR Net]（https://www.mathworks.com/help/vision/ref/hrnetobjectkeypointdetector.html）	human-full-body-w32 human-full-body-w48	106.9 237.7	文档

返回顶部

3D重建

3D重建是指捕捉真实物体的形状和外观的过程。

网络	大小（MB）	位置	示例输出
NeRF	3.78	GitHub

返回顶部

视频分类

视频分类是一种计算机视觉技术，用于对一系列视频帧中的动作或内容进行分类。

所有输入仅为视频或包含光流数据的视频，输出为手势分类及其置信度分数。

网络	输入	大小(MB)	分类（人体动作）	描述	位置
SlowFast	视频	124	400	比膨胀3D网络收敛更快	文档
R(2+1)D	视频	112	400	比膨胀3D网络收敛更快	文档
膨胀3D	视频及光流数据	91	400	当结合光流和RGB数据时，分类器的准确率会提高。	文档

返回顶部

文本检测与识别

文本检测是一种计算机视觉技术，用于在图像中定位文本实例。

输入为RGB图像，输出是标识文本区域的边界框。

网络	应用	大小（MB）	位置
CRAFT	经过训练可检测英语、韩语、意大利语、法语、阿拉伯语、德语和孟加拉语（印度）。	3.8	文档 GitHub

特定应用的文本检测器

网络	应用	大小（MB）	位置	示例输出
七段数码管识别	使用深度学习和OCR技术进行七段数码管识别。这在工业自动化应用中非常有用，尤其是在数字显示屏周围背景复杂的情况下。	3.8	文档 GitHub

返回顶部

变压器（文本）

预训练的Transformer模型已经学会了从文本中提取强大且信息丰富的特征。可以将其作为起点，利用迁移学习来完成新的任务。

输入为文本序列，输出为文本特征嵌入。

网络	应用	大小（MB）	位置
BERT	特征提取（句子和词嵌入）、文本分类、标记分类、掩码语言建模、问答	390	GitHub 文档
all-MiniLM-L6-v2	文档嵌入、聚类、信息检索	80	文档
all-MiniLM-L12-v2	文档嵌入、聚类、信息检索	120	文档

特定应用的变压器

网络	应用	大小（MB）	位置	输出示例
FinBERT	FinBERT模型是一种用于金融情感分析的BERT模型	388	GitHub
GPT-2	GPT-2模型是一个用于文本摘要的解码器模型。	1.2GB	GitHub

返回顶部

音频嵌入

音频嵌入的预训练模型已经学会了从音频信号中提取强大且信息丰富的特征。可以将其作为起点，利用迁移学习来完成新的任务。

输入为音频信号，输出为音频特征嵌入。

注2：自R2024a版本起，请使用audiopretrainedNetwork函数，并指定预训练模型。例如，要访问VGGish，可以使用以下代码：

net = audioPretrainedNetwork("vggish");

网络	应用	大小（MB）	位置
VGGish2	特征嵌入	257	文档
OpenL32	特征嵌入	200	文档

音频专用模型

网络	应用	大小 (MB)	输出类别	位置	输出示例
vadnet2	语音活动检测（回归）	0.427	-	文档
YAMNet2	声音分类	13.5	521	文档
CREPE2	音高估计（回归）	132	-	文档

语音转文本

语音转文本模型提供了一种快速高效的将口语转换为书面文本的方法，这不仅增强了残疾人士的可访问性，还支持诸如文本摘要和情感分析等下游任务，并简化了文档处理流程。作为人机交互界面的关键组成部分，例如个人助理，它允许自然直观的交互，使机器能够理解并执行语音命令，从而提高易用性并在各种应用中实现更广泛的包容性。

输入是音频信号，输出是文本。

网络	应用	大小 (MB)	字错误率 (WER)	位置
wav2vec	语音转文本	236	3.2	GitHub
deepspeech	语音转文本	167	5.97	GitHub

返回顶部

激光雷达

点云数据可通过多种传感器获取，如激光雷达、雷达和深度相机。由于每个物体的数据稀疏、物体遮挡以及传感器噪声等问题，使用点云数据训练鲁棒的分类器颇具挑战性。而深度学习技术已被证明能够直接从点云数据中学习鲁棒的特征表示，从而有效应对这些挑战。

输入是转换为五通道的激光雷达点云，输出是在点云上叠加的分割、分类或目标检测结果。

网络	应用	大小 (MB)	物体类别	位置
PointNet	分类	5	14	文档
PointNet++	分割	3	8	文档
PointSeg	分割	14	3	文档
SqueezeSegV2	分割	5	12	文档
SalsaNext	分割	20.9	13	GitHub
PointPillars	目标检测	8	3	文档
Complex YOLO v4	目标检测	233（complex-yolov4） 21（tiny-complex-yolov4）	3	GitHub

返回顶部

机械臂运动规划

机械臂运动规划是一种在障碍物环境中规划机器人手臂从起始位置到目标位置轨迹的技术。

预训练的深度学习模型已经学会了为重复性任务（如抓取和放置物体）规划此类轨迹，从而比传统算法显著提高了速度。

输入是机器人的起始配置、目标配置以及障碍物环境编码，输出是中间轨迹的预测。

网络	应用	大小 (MB)	位置
基于深度学习的CHOMP (DLCHOMP)	轨迹预测	25	文档 GitHub

返回顶部

基于运动规划网络的路径规划

运动规划网络（MPNet）是一种基于深度学习的方法，用于在运动规划问题中找到起点和目标点之间的最优路径。MPNet 是一种深度神经网络，可以在多个环境中进行训练，以学习环境中不同状态之间的最优路径。利用这些先验知识，MPNet 可以：

• 在未知测试环境中生成两个状态之间的有信息量的采样点。这些采样点可以与基于采样的运动规划算法（如最优快速探索随机树 RRT*）结合使用，用于路径规划。
• 在未知测试环境中计算两个状态之间的无碰撞路径。基于 MPNet 的路径规划器比传统的路径规划算法（如 RRT*）更加高效。

欲了解更多信息，请访问 开始使用运动规划网络。

网络	应用	大小 (MB)	位置
mazeMapTrainedMPNET	运动规划	0.23	文档

返回顶部

模型请求

如果您希望请求 MATLAB 对更多预训练模型的支持，请在此仓库中创建一个问题。

或者，您也可以通过以下方式发送请求：

Jianghao Wang
深度学习产品经理
jianghaw@mathworks.com

版权所有 2024 年，The MathWorks, Inc.

MATLAB 深度学习模型中心 (MATLAB Deep Learning Model Hub) 快速上手指南

本指南帮助中国开发者快速在 MATLAB 中获取并使用预训练的深度学习模型，涵盖计算机视觉、自然语言处理、音频及机器人等领域。

1. 环境准备

在使用本工具前，请确保您的开发环境满足以下要求：

• 操作系统: Windows, macOS, 或 Linux。
• MATLAB 版本:
  • 推荐 R2024a 或更高版本（可使用最新的 imagePretrainedNetwork 函数）。
  • 旧版本用户需使用特定的网络加载函数（如 googlenet, resnet50 等）。
• 必备工具箱 (Toolboxes):
  • Deep Learning Toolbox: 核心依赖，用于构建和训练深度学习网络。
  • Computer Vision Toolbox: 用于图像分类、目标检测等视觉任务。
  • Text Analytics Toolbox: 用于自然语言处理任务（如 Transformers）。
  • Audio Toolbox: 用于音频分类和语音识别任务。
  • Lidar Toolbox / Robotics System Toolbox: 用于点云处理和机器人路径规划（按需安装）。

注意: 请确保已登录 MathWorks 账号，以便下载预训练模型权重。国内用户若遇到下载缓慢问题，建议检查网络连接或使用稳定的网络环境。

2. 安装与获取模型

本“模型中心”并非一个需要单独安装的第三方包，而是 MATLAB 官方内置模型库的索引集合。大多数主流模型（如 ResNet, YOLO, GoogLeNet）可直接通过 MATLAB 命令调用，系统会自动下载权重文件。

对于部分托管在 GitHub 上的最新或特定变体模型（如 YOLOv9, ConvMixer），您需要克隆对应的仓库。

方式 A：直接调用内置模型（推荐）

无需手动安装，MATLAB 会在首次调用时自动下载模型。

方式 B：获取 GitHub 托管模型

如果您需要使用 README 中列出的特定 GitHub 模型（例如最新的 YOLOv9）：

# 示例：克隆 YOLOv9 预训练模型仓库
git clone https://github.com/matlab-deep-learning/Pretrained-Yolov9-Network-For-Object-Detection.git

注：国内访问 GitHub 若受限，可配置本地 Git 代理或使用 Gitee 镜像（如有）。

3. 基本使用

以下是基于 R2024a 及更新版本的最简使用示例。

场景一：图像分类 (Image Classification)

加载预训练的 GoogLeNet 模型并对图片进行分类。

% 1. 加载预训练网络和类别标签
% R2024a 及以上版本推荐使用 imagePretrainedNetwork
[net, classes] = imagePretrainedNetwork("googlenet");

% 2. 读取并预处理图像
img = imread("example_image.jpg");
img_resized = imresize(img, net.InputSize(1:2)); % 调整大小以匹配网络输入

% 3. 执行预测
[labelIdx, scores] = classify(net, img_resized);
label = classes(labelIdx);

% 4. 显示结果
disp(["预测类别：", label]);
disp(["置信度分数：", num2str(max(scores))]);

支持的其他经典模型: "resnet50", "mobilenetv2", "efficientnetb0", "vgg16" 等，只需替换字符串参数即可。

场景二：目标检测 (Object Detection)

加载 YOLO v8 模型检测图像中的物体。

% 1. 加载预训练的 YOLOv8 网络 (以 yolo8n 为例)
% 确保已安装 Computer Vision Toolbox 并联网下载权重
detector = yolov8ObjectDetector("yolo8n");

% 2. 读取图像
img = imread("traffic_scene.jpg");

% 3. 执行检测
[bboxes, labels, scores] = detect(detector, img);

% 4. 可视化结果
outputImg = insertObjectAnnotation(img, "rectangle", bboxes, labels);
imshow(outputImg);
title("Object Detection Results");

支持的检测模型: "yolov4", "yolox", "efficientdet-d0" 等。

场景三：迁移学习 (Transfer Learning)

利用预训练模型作为起点，快速训练自定义任务（例如分类新的花卉品种）。

% 1. 加载预训练网络 (例如 ResNet18)
[net, info] = imagePretrainedNetwork("resnet18");

% 2. 准备自定义数据 (imagedatastore)
imds = imageDatastore("my_custom_dataset", "IncludeSubfolders", true, ...
    "LabelSource", "foldernames");

% 3. 修改最后一层以匹配新任务的类别数量
numClasses = numel(categories(imds.Labels));
lgraph = layerGraph(net);
lgraph = replaceLayer(lgraph, "ClassificationLayer", ...
    classificationLayer("Name", "newClassLayer", "Classes", numClasses));

% 4. 设置训练选项并微调网络
options = trainingOptions("sgdm", ...
    "InitialLearnRate", 1e-4, ...
    "MaxEpochs", 6, ...
    "MiniBatchSize", 16, ...
    "Plots", "training-progress");

trainedNet = trainNetwork(imds, lgraph, options);

---

提示:

• 选择模型时，请在准确率 (Accuracy/mAP)、速度 (Speed) 和 模型大小 (Size) 之间进行权衡。移动端部署建议选择 MobileNet 或 YOLO-Nano 系列；高精度服务器端任务可选择 ResNet101 或 EfficientNet-B7。
• 所有模型的详细文档可通过 MATLAB 命令行输入 doc <模型名称> 查看（例如 doc resnet50）。