高效分割网络

本项目旨在提供一个易于使用、可修改的参考实现，用于基于 PyTorch 的实时语义分割模型。

---

目录：

• 要求
• 模型
• 数据集设置
• 使用方法
• 联系方式

要求

在运行脚本之前，需要安装 PyTorch 和 Torchvision。支持 PyTorch 1.1 及以上版本。

pip3 install -r requirements.txt

模型

该项目支持以下语义分割模型：

• (SQNet) 加速自动驾驶中的语义分割 [论文]
• (LinkNet) 利用编码器特征进行高效语义分割 [论文]
• (SegNet) 用于图像分割的深度卷积编码器-解码器架构 [论文]
• (UNet) 用于生物医学图像分割的卷积网络 [论文]
• (ENet) 用于实时语义分割的深度神经网络架构 [论文]
• (ERFNet) 用于实时语义分割的高效卷积网络 [论文]
• (EDANet) 用于实时分割的高效异构卷积密集模块 [论文]
• (ESPNet) 用于语义分割的高效空洞卷积空间金字塔 [论文]
• (ESPNetv2) 一种轻量级、低功耗且通用的卷积网络 [论文]
• (LEDNet) 用于实时语义分割的轻量级编码器-解码器网络 [论文]
• (FSSNet) 用于场景感知的快速语义分割 [论文]
• (ESNet) 用于实时语义分割的高效对称网络 [论文]
• (CGNet) 用于语义分割的轻量级上下文引导网络 [论文]
• (Fast-SCNN) 快速语义分割网络 [论文]
• (DABNet) 用于实时语义分割的深度可分离异构瓶颈 [论文]
• (ContextNet) 探索上下文与细节以实现实时语义分割 [论文]
• (FPENet) 用于实时语义分割的特征金字塔编码网络 [论文]
• …

损失函数

该项目支持以下损失函数：

1. 加权交叉熵
2. 带标签平滑的加权交叉熵
3. 焦点损失
4. Ohem 交叉熵
5. LovaszSoftmax
6. SegLoss-List
7. …

优化器

该项目支持以下优化器：

1. SGD
2. Adam
3. AdamW
4. RAdam
5. RAdam + Lookahead
6. …

激活函数

1. ReLu
2. PReLU
3. ReLU6
4. Swish
5. Mish：一种自正则化的非单调神经激活函数
6. …

学习率调度器

该项目支持以下 LR_Schedulers：

1. 多项式衰减
2. 预热多项式
3. …

归一化方法

1. 就地激活批归一化
2. 可切换归一化
3. 权重标准化
4. …

增强语义特征学习的方法

1. 注意力家族
2. NAS 家族
3. …

一些实用工具

1. pytorch-OpCounter
2. flops-counter.pytorch
3. Netron：神经网络模型可视化工具，在线网址：Netron
4. Falshtorch：PyTorch 中神经网络的可视化工具！
5. 用于卷积神经网络图像分类的技巧大全
6. …

数据集设置

本项目已针对 Cityscapes 和 CamVid 数据集进行了适配。您的数据集文件夹结构需满足以下格式：

|-- dataset
|  |-- camvid
|  |  |-- train
|  |  |-- trainannot
|  |  |-- val
|  |  |-- valannot
|  |  |-- test
|  |  |-- testannot
|  |  |-- ...
|  |-- cityscapes
|  |  |-- leftImg8bit
|  |  |  |-- train
|  |  |  |-- val
|  |  |  |-- test
|  |  |-- gtFine
|  |  |  |-- train
|  |  |  |-- val
|  |  |  |-- test
|  |  |-- ...

• 您可以从 这里 下载 cityscapes 数据集。请注意下载 leftImg8bit_trainvaltest.zip (11GB) 和 gtFine_trainvaltest (241MB)。
• 您可以从 这里 下载 camvid 数据集。
• 用于检查、准备和评估的 Cityscapes 数据集脚本 可从 这里 下载。

使用说明

克隆此仓库

git clone https://github.com/xiaoyufenfei/Efficient-Segmentation-Networks
cd Efficient-Segmentation-Networks

目前，代码支持 Python 3。

PyTorch 依赖：

• PyTorch（>=1.1.0）
• torchvision（>=0.3.0）

数据依赖：

• Cityscapes + 脚本

下载 Cityscapes 数据集，并运行脚本 createTrainIdLabelImgs.py 来基于训练标签创建标注文件。请确保文件夹命名为 cityscapes。

训练

• 对于 Cityscapes / CamVid

1. 在 train 数据集上训练

python train.py  --help

2. 在 train+val 数据集上训练

python train.py --help

测试

• 对于 Cityscapes / CamVid

python test.py --help

预测

• 对于 Cityscapes

python predict.py --help

评估

• 对于 Cityscapes

cd tools
python trainID2labelID.py 

联系方式

如果您认为这项工作对您有帮助，请为本项目点亮星标！如果您发现任何错误或有任何建议，请随时与我联系。

GitHub: xiaoyufenfei 邮箱: wangy314159@163.com

引用本项目

如果您在研究中使用了本项目，请参考以下引用格式：

@misc{Efficient-Segmentation-Networks,
  author = {Yu Wang},
  title = {Efficient-Segmentation-Networks Pytorch Implementation},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/xiaoyufenfei/Efficient-Segmentation-Networks}},
  commit = {master}
}

许可证

本项目采用 MIT 许可证开源。更多详情请参阅 LICENSE。

Efficient-Segmentation-Networks 快速上手指南

本项目提供了一套基于 PyTorch 的实时语义分割模型参考实现，支持多种主流轻量级网络（如 ENet, ESPNet, Fast-SCNN 等），适用于自动驾驶和场景感知等任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.x
• PyTorch: >= 1.1.0
• Torchvision: >= 0.3.0

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目

将代码仓库克隆到本地并进入目录：

git clone https://github.com/xiaoyufenfei/Efficient-Segmentation-Networks
cd Efficient-Segmentation-Networks

2. 安装依赖

安装项目所需的 Python 包：

pip3 install -r requirements.txt

(若需手动安装核心框架)

pip3 install torch>=1.1.0 torchvision>=0.3.0

3. 数据集配置

本项目主要针对 Cityscapes 和 CamVid 数据集进行了优化。请以 Cityscapes 为例配置数据：

1. 下载 leftImg8bit_trainvaltest.zip (图像) 和 gtFine_trainvaltest.zip (标注)。
2. 解压后，确保目录结构如下：

   |-- dataset
   |  |-- cityscapes
   |  |  |-- leftImg8bit
   |  |  |  |-- train
   |  |  |  |-- val
   |  |  |-- gtFine
   |  |  |  |-- train
   |  |  |  |-- val
   

3. 重要步骤：运行官方脚本生成训练所需的 label ID 映射：

   # 假设已下载 cityscapesScripts 并配置好路径
   python createTrainIdLabelImgs.py
   

   确保生成的文件夹命名为 cityscapes 并位于 dataset 目录下。

基本使用

以下命令展示了最核心的训练、测试和预测流程。所有脚本均支持 --help 查看具体参数（如模型选择、学习率设置等）。

1. 训练模型

在训练集上进行训练：

python train.py --help

示例：指定模型和数据集进行训练（需根据实际参数补充，此处仅展示入口）

python train.py --model ENet --dataset cityscapes

若需使用训练集 + 验证集联合训练：

python train.py --model ENet --dataset cityscapes --train_val

2. 测试模型

在测试集上评估模型性能：

python test.py --help

3. 推理预测

对单张图片或目录进行语义分割预测：

python predict.py --help

4. 结果评估 (Cityscapes)

将预测结果的 trainID 转换回 labelID 以便提交评估：

cd tools
python trainID2labelID.py

提示：本项目支持多种损失函数（Focal Loss, LovaszSoftmax 等）、优化器（AdamW, RAdam 等）及激活函数（Mish, Swish 等），可通过命令行参数灵活切换。