DeepLabv3Plus-Pytorch

预训练的DeepLabv3和DeepLabv3+模型，适用于Pascal VOC和Cityscapes数据集。

快速入门

1. 可用架构

DeepLabV3	DeepLabV3+
deeplabv3_resnet50	deeplabv3plus_resnet50
deeplabv3_resnet101	deeplabv3plus_resnet101
deeplabv3_mobilenet	deeplabv3plus_mobilenet
deeplabv3_hrnetv2_48	deeplabv3plus_hrnetv2_48
deeplabv3_hrnetv2_32	deeplabv3plus_hrnetv2_32
deeplabv3_xception	deeplabv3plus_xception

请参阅 network/modeling.py 获取所有模型条目。

下载预训练模型：Dropbox, Tencent Weiyun

注意：HRNet主干网络由@timothylimyl贡献。预训练的主干网络可在google drive获取。

2. 加载预训练模型：

model = network.modeling.__dict__[MODEL_NAME](num_classes=NUM_CLASSES, output_stride=OUTPUT_SRTIDE)
model.load_state_dict( torch.load( PATH_TO_PTH )['model_state']  )

3. 可视化分割结果：

outputs = model(images)
preds = outputs.max(1)[1].detach().cpu().numpy()
colorized_preds = val_dst.decode_target(preds).astype('uint8') # 转换为RGB图像，(N, H, W, 3)，范围0~255，numpy数组
# 在这里对彩色分割图进行任何操作
colorized_preds = Image.fromarray(colorized_preds[0]) # 转换为PIL图像

4. 空洞可分离卷积

注意：此仓库中的所有预训练模型均未使用空洞可分离卷积进行训练。

本仓库支持空洞可分离卷积。我们提供了一个简单的工具 network.convert_to_separable_conv，用于将 nn.Conv2d 转换为 AtrousSeparableConvolution。如果需要，请使用 '--separable_conv' 运行 main.py。更多详情请参阅 'main.py' 和 'network/_deeplab.py'。

5. 预测

单张图片：

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen/bremen_000000_000019_leftImg8bit.png  --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

图片文件夹：

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen  --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

6. 新的主干网络

请参考这次提交（Xception），了解更多关于如何添加新主干网络的信息。

7. 新的数据集

您可以在自己的数据集上训练DeepLab模型。您的 torch.utils.data.Dataset 应该提供一种解码方法，将预测结果转换为彩色图像，就像VOC数据集一样：

class MyDataset(data.Dataset):
    ...
    @classmethod
    def decode_target(cls, mask):
        """将语义掩码解码为RGB图像"""
        return cls.cmap[mask]

结果

1. Pascal VOC2012 Aug数据集上的性能（21类，513 x 513）

训练：513x513随机裁剪
验证：513x513中心裁剪

模型	批量大小	FLOPs	训练/验证OS	mIoU	Dropbox	Tencent Weiyun
DeepLabV3-MobileNet	16	6.0G	16/16	0.701	下载	下载
DeepLabV3-ResNet50	16	51.4G	16/16	0.769	下载	下载
DeepLabV3-ResNet101	16	72.1G	16/16	0.773	下载	下载
DeepLabV3Plus-MobileNet	16	17.0G	16/16	0.711	下载	下载
DeepLabV3Plus-ResNet50	16	62.7G	16/16	0.772	下载	下载
DeepLabV3Plus-ResNet101	16	83.4G	16/16	0.783	下载	下载

2. Cityscapes数据集上的性能（19类，1024 x 2048）

训练：768x768随机裁剪
验证：1024x2048

模型	批量大小	FLOPs	训练/验证OS	mIoU	Dropbox	Tencent Weiyun
DeepLabV3Plus-MobileNet	16	135G	16/16	0.721	下载	下载
DeepLabV3Plus-ResNet101	16	N/A	16/16	0.762	下载	N/A

Pascal VOC2012上的分割结果（DeepLabv3Plus-MobileNet）

Cityscapes上的分割结果（DeepLabv3Plus-MobileNet）

训练过程可视化

Pascal VOC

1. 需求

pip install -r requirements.txt

2. 准备数据集

2.1 标准 Pascal VOC

你可以使用 --download 选项运行 train.py 来下载并解压 Pascal VOC 数据集。默认路径为 ./datasets/data：

/datasets
    /data
        /VOCdevkit 
            /VOC2012 
                /SegmentationClass
                /JPEGImages
                ...
            ...
        /VOCtrainval_11-May-2012.tar
        ...

2.2 Pascal VOC trainaug（推荐！！）

参见 [2] 的第 4 章。

原始数据集包含 1464 张（训练）、1449 张（验证）和 1456 张（测试）像素级标注图像。我们通过 [76] 提供的额外标注对数据集进行了增强，最终得到 10582 张（trainaug）训练图像。性能指标采用 21 类别平均的像素交并比（mIOU）来衡量。

./datasets/data/train_aug.txt 包含 10582 张 trainaug 图像的文件名（不包括验证图像）。请从 Dropbox 或 腾讯微云 下载其标签。这些标签来自 DrSleep 的仓库。

将 trainaug 标签（SegmentationClassAug）解压到 VOC2012 目录下：

/datasets
    /data
        /VOCdevkit  
            /VOC2012
                /SegmentationClass
                /SegmentationClassAug  # <= trainaug 标签
                /JPEGImages
                ...
            ...
        /VOCtrainval_11-May-2012.tar
        ...

3. 在 Pascal VOC2012 Aug 上进行训练

3.1 可视化训练（可选）

启动 Visdom 服务器以进行可视化。如果不需要可视化，请移除 --enable_vis 参数。

# 在端口 28333 上运行 Visdom 服务器
visdom -port 28333

3.2 使用 OS=16 进行训练

运行 main.py 并指定 --year 2012_aug，即可在 Pascal VOC2012 Aug 数据集上训练模型。你还可以通过 --gpu_id 0,1,2,3 在 4 张 GPU 上并行训练。

注意：本仓库中没有 SyncBN，因此使用多 GPU 和较小的批量大小进行训练可能会降低性能。有关 SyncBN 的更多信息，请参阅 PyTorch-Encoding。

python main.py --model deeplabv3plus_mobilenet --enable_vis --vis_port 28333 --gpu_id 0 --year 2012_aug --crop_val --lr 0.01 --crop_size 513 --batch_size 16 --output_stride 16

3.3 继续训练

运行 main.py 并添加 --continue_training 参数，即可从 YOUR_CKPT 恢复优化器和调度器的状态字典。

python main.py ... --ckpt YOUR_CKPT --continue_training

3.4 测试

结果将保存在 ./results 目录中。

python main.py --model deeplabv3plus_mobilenet --enable_vis --vis_port 28333 --gpu_id 0 --year 2012_aug --crop_val --lr 0.01 --crop_size 513 --batch_size 16 --output_stride 16 --ckpt checkpoints/best_deeplabv3plus_mobilenet_voc_os16.pth --test_only --save_val_results

Cityscapes

1. 下载 Cityscapes 并将其解压到 datasets/data/cityscapes

/datasets
    /data
        /cityscapes
            /gtFine
            /leftImg8bit

2. 在 Cityscapes 上训练模型

python main.py --model deeplabv3plus_mobilenet --dataset cityscapes --enable_vis --vis_port 28333 --gpu_id 0 --lr 0.1 --crop_size 768 --batch_size 16 --output_stride 16 --data_root ./datasets/data/cityscapes

参考文献

[1] 语义图像分割中的空洞卷积再思考

[2] 用于语义图像分割的带空洞可分离卷积的编码器-解码器

DeepLabV3Plus-Pytorch 快速上手指南

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.6+
• 深度学习框架: PyTorch 1.4+
• 硬件: 支持 CUDA 的 NVIDIA GPU (可选，但训练和推理强烈建议使用)

前置依赖安装: 克隆仓库后，首先安装必要的 Python 包。国内用户推荐使用清华源或阿里源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

若需可视化训练过程，还需安装 visdom：

pip install visdom -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装与模型下载

本项目无需复杂的编译安装步骤，克隆代码即可使用。核心步骤是下载预训练权重。

2.1 获取代码

git clone https://github.com/VainF/DeepLabV3Plus-Pytorch.git
cd DeepLabV3Plus-Pytorch

2.2 下载预训练模型

项目提供了多种骨干网络（ResNet, MobileNet, HRNet 等）在 Pascal VOC 和 Cityscapes 数据集上的预训练权重。

• 国际下载: Dropbox
• 国内高速下载 (推荐): 腾讯微云

下载完成后，将 .pth 文件放置在项目根目录下的 checkpoints 文件夹中（若不存在请新建）。

注意: 如果使用 HRNet 骨干网络，需单独从 Google Drive 下载对应的预训练骨干权重。

3. 基本使用

3.1 加载预训练模型进行推理

以下是使用 Python 代码加载模型并进行语义分割的最简示例。本例以 deeplabv3plus_mobilenet 为例，类别数设为 21 (Pascal VOC)。

import torch
from network import modeling
from PIL import Image
import numpy as np

# 1. 定义模型名称和参数
MODEL_NAME = 'deeplabv3plus_mobilenet'
NUM_CLASSES = 21  # Pascal VOC 为 21 类，Cityscapes 为 19 类
OUTPUT_STRIDE = 16

# 2. 初始化模型并加载权重
model = modeling.__dict__[MODEL_NAME](num_classes=NUM_CLASSES, output_stride=OUTPUT_STRIDE)
# 请替换为您实际下载的权重路径
checkpoint = torch.load('checkpoints/best_deeplabv3plus_mobilenet_voc_os16.pth') 
model.load_state_dict(checkpoint['model_state'])
model.eval()
model.to('cuda' if torch.cuda.is_available() else 'cpu')

# 3. 准备输入图像 (假设 images 是一个形状为 [N, C, H, W] 的 Tensor)
# 此处仅为示意，实际使用时需对图片进行归一化和 ToTensor 处理
# images = ... 

# 4. 执行推理
with torch.no_grad():
    outputs = model(images)
    
# 5. 获取预测结果并可视化
preds = outputs.max(1)[1].detach().cpu().numpy()

# 假设 val_dst 是已初始化的数据集对象，用于解码颜色映射
# colorized_preds = val_dst.decode_target(preds).astype('uint8') 
# 若无数据集对象，可手动应用调色板或将 preds 保存为灰度图查看
result_image = Image.fromarray(preds[0].astype('uint8')) 
result_image.save('output_mask.png')

3.2 命令行单张图片预测

如果您只想快速测试一张图片或一个文件夹，可以直接使用提供的 predict.py 脚本。

预测单张图片：

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen/bremen_000000_000019_leftImg8bit.png --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

预测整个文件夹：

python predict.py --input datasets/data/cityscapes/leftImg8bit/train/bremen --dataset cityscapes --model deeplabv3plus_mobilenet --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth --save_val_results_to test_results

3.3 关于空洞可分离卷积 (Atrous Separable Convolution)

仓库中所有预训练模型均未使用空洞可分离卷积训练。如果您希望在训练或推理中启用此特性以提升性能，请在运行 main.py 或相关脚本时添加 --separable_conv 参数。系统会自动将普通的 nn.Conv2d 转换为 AtrousSeparableConvolution。