Gluon CV 工具包

| 安装 | 文档 | 教程 |

GluonCV 提供了计算机视觉领域最先进（SOTA）深度学习模型的实现。

它专为工程师、研究人员和学生设计，旨在基于这些模型快速原型化产品和研究思路。该工具包具有以下四大特点：

1. 用于复现科研论文中报道的 SOTA 结果的训练脚本
2. 同时支持 PyTorch 和 MXNet 框架
3. 包含大量预训练模型
4. 精心设计的 API 大大降低了实现复杂度
5. 社区支持

如果您有 图像分类 或 目标检测 的需求，也请查看 AutoGluon。我们构建了 MultimodalPredictor，其中包含改进的模型库，包括 TIMM、Huggingface、MMDetection 等。只需几行代码，您就可以为自己的应用训练并部署高精度的计算机视觉模型。

演示

高清视频请观看 Youtube 或 Bilibili。

支持的应用

应用	示例	可用模型
图像分类： 识别图像中的对象。		50+ 模型，包括 ResNet, MobileNet, DenseNet, VGG, ...
目标检测： 在图像中检测多个对象及其 边界框。		Faster RCNN, SSD, Yolo-v3
语义分割： 将图像中的每个像素 与一个类别标签关联。		FCN, PSP, ICNet, DeepLab-v3, DeepLab-v3+, DANet, FastSCNN
实例分割： 检测对象，并将 对象区域内的每个像素与一个 实例标签关联。		Mask RCNN
姿态估计： 从图像中检测人体姿态。		Simple Pose
视频动作识别： 识别视频中的动作。		MXNet： TSN, C3D, I3D, I3D_slow, P3D, R3D, R2+1D, Non-local, SlowFast PyTorch： TSN, I3D, I3D_slow, R2+1D, Non-local, CSN, SlowFast, TPN
深度预测： 从图像中预测深度图。		Monodepth2
GAN： 生成逼真的图像		WGAN, CycleGAN, StyleGAN
行人再识别： 跨场景重新识别行人		Market1501 基线

安装

GluonCV 构建在 MXNet 和 PyTorch 之上。根据具体模型的实现（请参阅 模型库 获取完整列表），您需要安装其中一个深度学习框架。当然，为了获得最佳支持，您也可以同时安装两者。

请参阅 安装指南 以获取全面的指导，帮助您为您的环境选择合适的安装命令。

安装（MXNet）

GluonCV 支持 Python 3.6 或更高版本。最简单的安装方式是通过 pip。

稳定版

以下命令将安装 GluonCV 和 MXNet 的稳定版本：

pip install gluoncv --upgrade

# 本机
pip install -U --pre mxnet -f https://dist.mxnet.io/python/mkl
# CUDA 10.2
pip install -U --pre mxnet -f https://dist.mxnet.io/python/cu102mkl

GluonCV 的最新稳定版本是 0.8，我们推荐使用 MXNet 1.6.0/1.7.0

夜间版本

您可以通过以下命令获取最新的功能和错误修复，这些命令会安装 GluonCV 和 MXNet 的夜间构建版本：

pip install gluoncv --pre --upgrade
# 本机
pip install -U --pre mxnet -f https://dist.mxnet.io/python/mkl
# CUDA 10.2
pip install -U --pre mxnet -f https://dist.mxnet.io/python/cu102mkl

MXNet 提供了多个预编译的版本。如果您需要更多关于 MXNet 版本的信息，请参阅 mxnet packages。

安装（PyTorch）

GluonCV 支持 Python 3.6 或更高版本。最简单的安装方式是通过 pip。

稳定版本

以下命令会安装 GluonCV 和 PyTorch 的稳定版本：

pip install gluoncv --upgrade
# 本机
pip install torch==1.6.0+cpu torchvision==0.7.0+cpu -f https://download.pytorch.org/whl/torch_stable.html
# CUDA 10.2
pip install torch==1.6.0 torchvision==0.7.0

PyTorch 提供了多个预编译的版本。如果您需要其他版本，请参阅 PyTorch。

GluonCV 的最新稳定版本是 0.8，我们推荐使用 PyTorch 1.6.0

夜间版本

您可以通过以下命令获取最新的功能和修复，这些命令会安装 GluonCV 的夜间构建版本：

pip install gluoncv --pre --upgrade
# 本机
pip install --pre torch torchvision torchaudio -f https://download.pytorch.org/whl/nightly/cpu/torch_nightly.html
# CUDA 10.2
pip install --pre torch torchvision torchaudio -f https://download.pytorch.org/whl/nightly/cu102/torch_nightly.html

文档 📖

GluonCV 的文档可以在我们的网站上找到。

示例

所有教程都可以在我们的网站上找到！

• 图像分类

• 目标检测

• 语义分割

• 实例分割

• 视频动作识别

• 深度预测

• 生成对抗网络

• 行人重识别

资源

请查看如何将 GluonCV 应用于您自己的研究或项目中。

• 如果您想了解深度学习或计算机视觉的基础知识，请参考开源书籍Dive into Deep Learning。如果您是 Gluon 的新手，请查看我们的60分钟速成课程。
• 如果您想快速上手，可以参考示例中的可运行笔记本示例。
• 对于高级示例，请查看我们的脚本。
• 对于有经验的用户，请查看我们的API 注释。

引用

如果您觉得我们的代码或模型对您的研究有所帮助，请引用我们的论文：

@article{gluoncvnlp2020,
  author  = {Jian Guo and He He and Tong He and Leonard Lausen and Mu Li and Haibin Lin and Xingjian Shi and Chenguang Wang and Junyuan Xie and Sheng Zha and Aston Zhang and Hang Zhang and Zhi Zhang and Zhongyue Zhang and Shuai Zheng and Yi Zhu},
  title   = {GluonCV 和 GluonNLP：计算机视觉与自然语言处理中的深度学习},
  journal = {机器学习研究期刊},
  year    = {2020},
  volume  = {21},
  number  = {23},
  pages   = {1-7},
  url     = {http://jmlr.org/papers/v21/19-429.html}
}

@article{he2018bag,
  title={用于卷积神经网络图像分类的技巧大全},
  author={He, Tong and Zhang, Zhi and Zhang, Hang and Zhang, Zhongyue and Xie, Junyuan and Li, Mu},
  journal={arXiv 预印本 arXiv:1812.01187},
  year={2018}
}

@article{zhang2019bag,
  title={训练目标检测神经网络的免费工具包},
  author={Zhang, Zhi and He, Tong and Zhang, Hang and Zhang, Zhongyue and Xie, Junyuan and Li, Mu},
  journal={arXiv 预印本 arXiv:1902.04103},
  year={2019}
}

@article{zhang2020resnest,
  title={ResNeSt：分裂注意力网络},
  author={Zhang, Hang and Wu, Chongruo and Zhang, Zhongyue and Zhu, Yi and Zhang, Zhi and Lin, Haibin and Sun, Yue and He, Tong and Muller, Jonas and Manmatha, R. and Li, Mu and Smola, Alexander},
  journal={arXiv 预印本 arXiv:2004.08955},
  year={2020}
}

GluonCV 快速上手指南

GluonCV 是一个基于 MXNet 和 PyTorch 的计算机视觉工具包，提供了大量前沿（SOTA）深度学习模型的实现。它旨在帮助工程师、研究人员和学生快速原型化产品和研究想法。

1. 环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：3.6 或更高版本
• 深度学习框架：
  • MXNet (推荐用于完整功能支持)
  • PyTorch (部分模型支持)
  • 注：可根据需求安装其中一个或同时安装两者。

2. 安装步骤

最便捷的安装方式是通过 pip。以下提供稳定版和夜间版（包含最新特性）的安装命令。

方案 A：基于 MXNet 安装（推荐）

安装稳定版：

# 安装/升级 GluonCV
pip install gluoncv --upgrade

# 安装 MXNet (CPU 版本)
pip install -U --pre mxnet -f https://dist.mxnet.io/python/mkl

# 安装 MXNet (CUDA 10.2 GPU 版本)
pip install -U --pre mxnet -f https://dist.mxnet.io/python/cu102mkl

建议搭配版本：GluonCV 0.8 + MXNet 1.6.0/1.7.0

安装夜间版（获取最新功能）：

pip install gluoncv --pre --upgrade
pip install -U --pre mxnet -f https://dist.mxnet.io/python/mkl
# 若需 GPU 支持，将上述 mxnet 安装命令中的源替换为 cu102mkl

方案 B：基于 PyTorch 安装

安装稳定版：

# 安装/升级 GluonCV
pip install gluoncv --upgrade

# 安装 PyTorch (CPU 版本)
pip install torch==1.6.0+cpu torchvision==0.7.0+cpu -f https://download.pytorch.org/whl/torch_stable.html

# 安装 PyTorch (CUDA 10.2 GPU 版本)
pip install torch==1.6.0 torchvision==0.7.0

建议搭配版本：GluonCV 0.8 + PyTorch 1.6.0

提示：国内用户若遇到下载速度慢的问题，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源加速 pip 安装。

3. 基本使用

GluonCV 提供了简洁的 API，只需几行代码即可加载预训练模型并进行推理。以下以图像分类为例：

from gluoncv import model_zoo, data, utils

# 1. 加载预训练模型 (例如 ResNet50)
net = model_zoo.get_model('resnet50_v1', pretrained=True)

# 2. 准备图像数据
# 从 URL 加载并预处理图像，自动调整大小并转换为模型所需的格式
img = data.load_test('https://raw.githubusercontent.com/dmlc/web-data/master/gluoncv/cat.jpg')
transformed_img = data.transforms.presets.resnet.transform_test(img, 224)

# 3. 进行预测
output = net(transformed_img)
predictions = output.softmax(axis=1)

# 4. 获取结果
class_idx = predictions.argmax(axis=1).asscalar()
score = predictions[0][class_idx].asscalar()

# 加载类别标签
classes = model_zoo.get_model_list('classification') # 实际使用中通常加载具体的 synset 文件
print(f"预测类别索引：{class_idx}, 置信度：{score:.4f}")

支持的主要任务包括：

• 图像分类 (Image Classification)
• 目标检测 (Object Detection, 如 YOLOv3, Faster RCNN)
• 语义分割 (Semantic Segmentation)
• 实例分割 (Instance Segmentation)
• 姿态估计 (Pose Estimation)
• 视频动作识别 (Video Action Recognition)

更多详细教程和模型列表请访问 官方文档。