高效AI骨干网络

包括华为诺亚方舟实验室研发的GhostNet、TNT（Transformer in Transformer）、AugViT、WaveMLP和ViG。

• 新闻
• 模型库

新闻

2024年2月27日，ParameterNet论文被CVPR 2024接收。

2022年12月1日，NeurIPS 2022（Spotlight）论文GhostNetV2的代码已在./ghostnetv2_pytorch发布。

2022年11月13日，IJCV 2022论文G-Ghost RegNet的代码已在./g_ghost_pytorch发布。

2022年6月17日，NeurIPS 2022论文Vision GNN (ViG)的代码已在./vig_pytorch发布。

2022年2月6日，Transformer in Transformer（TNT）入选**2021年NeurIPS最具影响力论文**。

2021年9月18日，Versatile Filters的扩展版本被T-PAMI接收。

2021年8月30日，GhostNet论文入选**2020年CVPR最具影响力论文**。

模型库

模型	论文	Pytorch代码	MindSpore代码
GhostNet	GhostNet: More Features from Cheap Operations. [CVPR 2020]	./ghostnet_pytorch	MindSpore模型库
GhostNetV2	GhostNetV2: Enhance Cheap Operation with Long-Range Attention. [NeurIPS 2022 Spotlight]	./ghostnetv2_pytorch	MindSpore模型库
G-GhostNet	GhostNets on Heterogeneous Devices via Cheap Operations. [IJCV 2022]	./g_ghost_pytorch	MindSpore模型库
TinyNet	Model Rubik’s Cube: Twisting Resolution, Depth and Width for TinyNets. [NeurIPS 2020]	./tinynet_pytorch	MindSpore模型库
TNT	Transformer in Transformer. [NeurIPS 2021]	./tnt_pytorch	MindSpore模型库
PyramidTNT	PyramidTNT: Improved Transformer-in-Transformer Baselines with Pyramid Architecture. [CVPR 2022 Workshop]	./tnt_pytorch	MindSpore模型库
CMT	CMT: Convolutional Neural Networks Meet Vision Transformers. [CVPR 2022]	./cmt_pytorch	MindSpore模型库
AugViT	Augmented Shortcuts for Vision Transformers. [NeurIPS 2021]	./augvit_pytorch	MindSpore模型库
SNN-MLP	Brain-inspired Multilayer Perceptron with Spiking Neurons. [CVPR 2022]	./snnmlp_pytorch	MindSpore模型库
WaveMLP	An Image Patch is a Wave: Quantum Inspired Vision MLP. [CVPR 2022]	./wavemlp_pytorch	MindSpore模型库
ViG	Vision GNN: An Image is Worth Graph of Nodes. [NeurIPS 2022]	./vig_pytorch	-
LegoNet	LegoNet: Efficient Convolutional Neural Networks with Lego Filters. [ICML 2019]	./legonet_pytorch	-
Versatile Filters	Learning Versatile Filters for Efficient Convolutional Neural Networks. [NeurIPS 2018]	./versatile_filters	-
ParameterNet	ParameterNet: Parameters Are All You Need. [CVPR 2024].	./parameternet_pytorch	-

Efficient-AI-Backbones 快速上手指南

Efficient-AI-Backbones 是由华为诺亚方舟实验室开源的一系列高效 AI 骨干网络集合，包含 GhostNet、TNT、ViG、WaveMLP 等前沿模型。本指南帮助开发者快速在 PyTorch 环境中部署和使用这些模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 Windows
• Python: 3.7 或更高版本
• 深度学习框架: PyTorch 1.8+ (推荐 2.0+)
• 硬件: 支持 CUDA 的 NVIDIA GPU (可选，用于加速训练/推理)

前置依赖安装：

建议先更新 pip 并使用国内镜像源加速安装基础依赖：

python -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install timm einops opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：不同子模型（如 ViG 或 SNN-MLP）可能有特定的额外依赖，请参考对应子目录下的 requirements.txt。

安装步骤

该仓库包含多个独立的模型项目，您可以根据需求选择克隆整个仓库或单独下载特定模型代码。

1. 克隆仓库

git clone https://github.com/huawei-noah/Efficient-AI-Backbones.git
cd Efficient-AI-Backbones

(国内用户若访问 GitHub 较慢，可尝试使用 Gitee 镜像或配置 Git 代理)

2. 进入特定模型目录

以 GhostNetV2 为例，进入对应的 PyTorch 代码目录：

cd ghostnetv2_pytorch

如果您需要使用其他模型（如 tnt_pytorch, vig_pytorch, wavemlp_pytorch 等），请替换为相应的文件夹名称。

3. 安装模型特定依赖

部分模型目录内包含独立的 requirements.txt，建议执行：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下以加载 GhostNetV2 模型进行简单推理为例。大多数该仓库下的模型都遵循类似的调用逻辑。

1. 导入模型并实例化

在 Python 脚本或交互式环境中运行：

import torch
from ghostnetv2_pytorch import ghostnetv2_100  # 以 GhostNetV2 1.0x 版本为例

# 创建模型实例
model = ghostnetv2_100(pretrained=True)
model.eval()

# 将模型移至 GPU (如果可用)
if torch.cuda.is_available():
    model = model.cuda()

提示：对于其他模型，请将导入路径和构造函数替换为对应目录下的名称，例如 from tnt_pytorch import tnt_tiny_patch16_224。

2. 准备输入数据并进行推理

# 模拟一张输入图像 (Batch size=1, Channels=3, Height=224, Width=224)
# 实际使用时请使用 torchvision.transforms 处理真实图片
input_tensor = torch.randn(1, 3, 224, 224)

if torch.cuda.is_available():
    input_tensor = input_tensor.cuda()

# 前向传播
with torch.no_grad():
    output = model(input_tensor)

# 输出结果形状通常为 [batch_size, num_classes]
print(output.shape)
print("Top-1 prediction class:", output.argmax(dim=1).item())

3. 加载预训练权重（如需手动加载）

如果构造函数未自动下载权重，您可以手动加载本地权重文件：

# 假设已下载权重文件到本地
checkpoint = torch.load('path/to/ghostnetv2_100.pth', map_location='cpu')
model.load_state_dict(checkpoint['state_dict']) # 具体 key 视模型实现而定

现在您已经成功运行了 Efficient-AI-Backbones 中的模型。更多高级用法（如训练、微调、导出 ONNX）请参阅各子目录下的详细文档。