PyTorch-Encoding

由 张航 创建

文档

• 请访问 文档 获取详细的安装和使用说明。

• 请访问 链接 查看图像分类模型。

• 请访问 链接 查看语义分割模型。

引用

ResNeSt：分裂注意力网络 [arXiv]
张航、吴崇若、张中岳、朱毅、张志、林海斌、孙悦、何通、乔纳斯·穆勒、R. 曼马塔、李沐和亚历克斯·斯莫拉

@article{zhang2020resnest,
title={ResNeSt: Split-Attention Networks},
author={Zhang, Hang and Wu, Chongruo and Zhang, Zhongyue and Zhu, Yi and Zhang, Zhi and Lin, Haibin and Sun, Yue and He, Tong and Muller, Jonas and Manmatha, R. and Li, Mu and Smola, Alexander},
journal={arXiv preprint},
year={2020}
}

用于语义分割的上下文编码 [arXiv]
张航、克里斯汀·达纳、施建平、张中岳、王小刚、安布里什·泰亚吉、阿米特·阿格拉瓦尔

@InProceedings{Zhang_2018_CVPR,
author = {Zhang, Hang and Dana, Kristin and Shi, Jianping and Zhang, Zhongyue and Wang, Xiaogang and Tyagi, Ambrish and Agrawal, Amit},
title = {Context Encoding for Semantic Segmentation},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2018}
}

Deep TEN：纹理编码网络 [arXiv]
张航、贾雪、克里斯汀·达纳

@InProceedings{Zhang_2017_CVPR,
author = {Zhang, Hang and Xue, Jia and Dana, Kristin},
title = {Deep TEN: Texture Encoding Network},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {July},
year = {2017}
}

PyTorch-Encoding 快速上手指南

PyTorch-Encoding 是一个基于 PyTorch 的深度学习库，专注于提供先进的语义分割和图像分类模型（如 ResNeSt、Context Encoding 等）。本指南将帮助您快速完成环境配置并开始使用。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 支持可能需要额外配置。
• Python: 版本 3.6 或更高。
• PyTorch: 已安装兼容版本的 PyTorch 和 torchvision。
• 编译器: 需要安装 gcc 和 g++ 以编译自定义 CUDA 算子。
  • Ubuntu/Debian: sudo apt-get install build-essential
  • CentOS: sudo yum groupinstall "Development Tools"

前置依赖安装： 建议使用 pip 安装基础依赖。国内用户推荐使用清华源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy matplotlib opencv-python

安装步骤

您可以通过 pip 直接安装最新稳定版，或者从源码安装以获取最新功能。

方法一：通过 Pip 安装（推荐）

直接使用 pip 安装，国内用户请指定镜像源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch-encoding

方法二：从源码安装

如果您需要开发或获取最新代码，请克隆仓库并安装：

git clone https://github.com/zhanghang1989/PyTorch-Encoding.git
cd PyTorch-Encoding
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .

注意：首次导入库时，系统会自动编译 CUDA 扩展。请确保您的 GPU 驱动和 CUDA Toolkit 已正确安装且版本与 PyTorch 匹配。

基本使用

安装完成后，您可以直接导入 encoding 模块并使用预训练模型。以下是一个加载预训练语义分割模型并进行推理的最简示例：

import torch
import encoding

# 1. 加载预训练的语义分割模型 (例如：ResNet50 + EncNet)
# 模型会自动下载权重到本地缓存
model = encoding.models.get_segmentation_model('encnet_resnet50_ade20k', pretrained=True)
model.eval()

# 2. 准备输入数据 (模拟一张 224x224 的图片)
# 实际使用时请替换为您的图像预处理逻辑 (ToTensor, Normalize 等)
input_tensor = torch.randn(1, 3, 224, 224)

# 3. 进行推理
with torch.no_grad():
    output = model(input_tensor)

# 4. 处理输出
# output 通常包含分割预测结果
print(f"Output shape: {output.shape}")

加载图像分类模型示例：

import torch
import encoding

# 加载预训练的 ResNeSt 图像分类模型
model = encoding.models.get_model('resnest50', pretrained=True)
model.eval()

input_tensor = torch.randn(1, 3, 224, 224)

with torch.no_grad():
    output = model(input_tensor)

print(f"Classification logits shape: {output.shape}")

更多详细的模型列表、参数配置及高级用法，请访问官方文档：http://hangzh.com/PyTorch-Encoding/