LEDNet：用于实时语义分割的轻量级编码器-解码器网络

目录：

• 简介
• 项目结构
• 安装
• 数据集
• 训练
• 恢复训练
• 测试
• 结果
• 引用
• 提示

简介

本项目包含代码（注：代码已在 python=3.6、cuda=9.0、PyTorch-0.4.1 的环境下测试，同时也支持 PyTorch-0.4.1+），用于实现：LEDNet：用于实时语义分割的轻量级编码器-解码器网络，作者为 Yu Wang。

巨大的计算负担限制了 CNN 在移动设备上进行密集估计任务（即语义分割）的应用。在本文中，我们提出了一种轻量级网络来解决这一问题，即 **LEDNet**，它采用非对称的编码器-解码器架构，用于实时语义分割任务。具体来说，编码器以 ResNet 作为骨干网络，并在每个残差块中引入两种新的操作——通道拆分和通道洗牌——以大幅降低计算成本，同时保持较高的分割精度。另一方面，解码器中采用了注意力金字塔网络（APN），进一步降低了整个网络的复杂度。我们的模型参数量不足 100 万，能够在单张 GTX 1080Ti GPU 上以超过 71 FPS 的速度运行。全面的实验表明，我们的方法在 Cityscapes 数据集上实现了速度与精度之间的最佳平衡，成为一种高效的实时语义分割方法。

项目结构

├── datasets  # 包含项目的所有数据集
|  └── cityscapes #  Cityscapes 数据集
|  |  └── gtCoarse #  Coarse Cityscapes 标注
|  |  └── gtFine #  Fine Cityscapes 标注
|  |  └── leftImg8bit #  Cityscapes 训练图像
|  └── cityscapesscripts #  Cityscapes 数据集标签转换脚本！
├── utils
|  └── dataset.py # Cityscapes 数据集的数据加载器
|  └── iouEval.py # 用于计算“平均 IoU”和“类别 IoU”
|  └── transform.py # 数据预处理
|  └── visualize.py # 使用 Visdom 可视化
|  └── loss.py # 损失函数
├── checkpoint
|  └── xxx.pth # 从 ImageNet 预训练的编码器模型
├── save
|  └── xxx.pth # 从头开始训练的模型
├── imagenet-pretrain
|  └── lednet_imagenet.py # 
|  └── main.py # 
├── train
|  └── lednet.py  # 语义分割模型定义
|  └── main.py # 训练模型的脚本
├── test
|  |  └── dataset.py 
|  |  └── lednet.py # 模型定义
|  |  └── lednet_no_bn.py # 移除模型定义中的 BN 层
|  |  └── eval_cityscapes_color.py # 测试结果并生成 RGB 图像
|  |  └── eval_cityscapes_server.py # 生成结果并上传至官方服务器
|  |  └── eval_forward_time.py # 测试模型推理时间
|  |  └── eval_iou.py 
|  |  └── iouEval.py 
|  |  └── transform.py 

安装

• Python 3.6.x。推荐使用 Anaconda3。
• 设置 Python 环境。

pip3 install -r requirements.txt

• 环境要求：PyTorch_0.4.1；cuda_9.0；cudnn_7.1；python_3.6。

• 克隆本仓库。

git clone https://github.com/xiaoyufenfei/LEDNet.git
cd LEDNet-master

• 安装 Visdom。
• 安装 torchsummary。
• 按照下方的 数据集 说明下载数据集。
• 注意：目前我们支持 Cityscapes 数据集进行训练，未来计划增加 Camvid、VOC 和 ADE20K 数据集。

数据集

• 您可以从 这里 下载 Cityscapes 数据集。请注意，需要下载 leftImg8bit_trainvaltest.zip(11GB)、gtFine_trainvaltest(241MB) 和 gtCoarse(1.3GB)。
• 您还可以下载 CityscapesScripts，并将数据集转换为 19 个类别。数据集应具有以下基本结构。

├── leftImg8bit
│   ├── train
│   ├──  val
│   └── test
├── gtFine
│   ├── train
│   ├──  val
│   └── test
├── gtCoarse
│   ├── train
│   ├── train_extra
│   └── val

训练 LEDNet

• 如需了解可选参数，可以运行：python main.py -h

• 默认情况下，我们假设您已将 Cityscapes 数据集下载到 ./data/cityscapes 目录下。

• 要使用 train/main.py 脚本训练 LEDNet，您可以按照 main.py 中列出的参数作为命令行选项，或手动修改它们。

python main.py --savedir logs --model lednet --datadir path/root_directory/  --num-epochs xx --batch-size xx ...

恢复训练（若解码器部分损坏）

• 如需了解可选参数，可以运行：python main.py -h

python main.py --savedir logs --name lednet --datadir path/root_directory/  --num-epochs xx --batch-size xx --decoder --state "../save/logs/model_best_enc.pth.tar"...

测试

• 训练过程中的模型可以在 这里 找到。这可能不是最佳模型，您可以自行从头训练一个，或者使用在 ImageNet 上预训练的编码器模型对训练好的解码器进行微调。例如：

更多详情请参阅 ./test/README.md

结果

• 更多详细信息请参考我们的论文。

方法	数据集	Fine	Coarse	IoU_cla	IoU_cat	FPS
LEDNet	cityscapes	是	是	70.6​%	87.1​%​	70​+​

定性分割结果示例：

引用

如果您发现此代码对您的研究有所帮助，请使用以下 BibTeX 条目。

 @article{wang2019lednet,
  title={LEDNet: A Lightweight Encoder-Decoder Network for Real-time Semantic Segmentation},
  author={Wang, Yu and Zhou, Quan and Liu, Jia and Xiong，Jian and Gao, Guangwei and Wu, Xiaofu, and Latecki Jan Longin},
  journal={arXiv preprint arXiv:1905.02423},
  year={2019}
}

提示

• 受GPU资源限制，项目结果还需进一步提升……
• 建议先在ImageNet上预训练Encoder，再对Decoder部分进行微调，这样效果会更好。

参考文献

1. 用于图像识别的深度残差学习
2. ENet：一种用于实时语义分割的深度神经网络架构
3. ERFNet：用于实时语义分割的高效残差因子化卷积网络
4. ShuffleNet：一种专为移动设备设计的极其高效的卷积神经网络

LEDNet 快速上手指南

LEDNet 是一个轻量级的编码器 - 解码器网络，专为实时语义分割任务设计。它在保持高精度的同时大幅降低了计算成本，适合在移动设备或资源受限的环境中运行。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.6.x (推荐使用 Anaconda3 管理环境)
• PyTorch: 0.4.1 或更高版本
• CUDA: 9.0
• cuDNN: 7.1
• GPU: 支持 CUDA 的 NVIDIA 显卡 (测试环境为 GTX 1080Ti)

前置依赖库: 项目所需的其他 Python 依赖包将在安装步骤中统一安装。

安装步骤

1. 克隆项目代码

git clone https://github.com/xiaoyufenfei/LEDNet.git
cd LEDNet-master

2. 创建并激活虚拟环境 (推荐)

如果您使用 Anaconda：

conda create -n lednet python=3.6
conda activate lednet

3. 安装依赖包

pip3 install -r requirements.txt

4. 安装辅助工具

为了支持训练可视化和模型分析，请额外安装以下工具：

pip3 install visdom
pip3 install torchsummary

5. 准备数据集

本项目主要支持 Cityscapes 数据集。

1. 访问 Cityscapes 官网 下载以下文件：
   • leftImg8bit_trainvaltest.zip (训练图像)
   • gtFine_trainvaltest.zip (精细标注)
   • gtCoarse.zip (粗糙标注，可选)
2. 解压文件，并确保目录结构如下：

   datasets/cityscapes/
   ├── leftImg8bit
   │   ├── train
   │   ├── val
   │   └── test
   ├── gtFine
   │   ├── train
   │   ├── val
   │   └── test
   └── gtCoarse
       ├── train
       └── val
   

3. (可选) 使用 cityscapesscripts 将标签转换为 19 类格式。

基本使用

训练模型

默认假设数据集位于 ./datasets/cityscapes。您可以使用以下命令开始训练：

python train/main.py --savedir logs --model lednet --datadir ./datasets/cityscapes --num-epochs 50 --batch-size 8

参数说明:

• --savedir: 模型保存路径
• --datadir: 数据集根目录路径
• --num-epochs: 训练轮数
• --batch-size: 批次大小

提示: 为了获得更好的效果，建议先在 ImageNet 上预训练 Encoder 部分，然后微调 Decoder。

恢复训练 (如果 Decoder 部分中断)

如果训练过程中断，可以使用以下命令加载已保存的 Encoder 状态继续训练：

python train/main.py --savedir logs --name lednet --datadir ./datasets/cityscapes --num-epochs 50 --batch-size 8 --decoder --state "./save/logs/model_best_enc.pth.tar"

测试与评估

训练完成后，可以使用测试脚本评估模型性能或生成可视化结果。具体测试命令请参考 ./test/README.md。

例如，评估推理时间：

python test/eval_forward_time.py

评估 mIoU (平均交并比)：

python test/eval_iou.py