Keras-FCN

使用 Keras 实现全卷积网络和语义分割。

模型

模型位于 models.py 中，包括基于 ResNet 和 DenseNet 的模型。AtrousFCN_Resnet50_16s 是目前表现最好的模型，在下文详述的增强版 Pascal VOC2012 数据集上，像素级平均交并比 mIoU 0.661076，像素级准确率约为 0.9。

安装

适用于 Ubuntu 14.04 和 16.04 的实用设置脚本可在 robotics_setup 仓库中找到。首先使用该仓库安装 CUDA、TensorFlow、

mkdir -p ~/src

cd ~/src
# 安装依赖
pip install pillow keras sacred

# 基于 DenseNet 的模型需要 fork 的 keras-contrib
git clone git@github.com:ahundt/keras-contrib.git -b densenet-atrous
cd keras-contrib
sudo python setup.py install


# 安装 Python COCO 工具
cd ~/src
git clone https://github.com/pdollar/coco.git
cd coco
sudo python setup.py install

cd ~/src
git clone https://github.com/aurora95/Keras-FCN.git

数据集

数据集可以通过 tf_image_segmentation 仓库的 ahundt-keras 分支以自动化方式下载和配置。

为简单起见，以下说明假设所有仓库都位于 ~/src/，且数据集默认下载到 ~/.keras/。

cd ~/src
git clone git@github.com:ahundt/tf-image-segmentation.git -b Keras-FCN

Pascal VOC + 伯克利数据增强

结合了 伯克利语义轮廓 的 Pascal VOC 2012 是 Keras-FCN 训练的主要数据集。请注意，默认配置会最大化数据集规模，但不会以可提交至 Pascal VOC2012 分割结果排行榜 的形式呈现，具体细节如下。

# 自动化 Pascal VOC 设置（推荐）
export PYTHONPATH=$PYTHONPATH:~/src/tf-image-segmentation
cd path/to/tf-image-segmentation/tf_image_segmentation/recipes/pascal_voc/
python data_pascal_voc.py pascal_voc_setup

此命令会从合并后的 Pascal VOC 数据集中下载并配置图像/标注文件名对以及训练/验证划分，分别得到来自 PASCAL 和 PASCAL 伯克利增强数据集的完整图像文件名/完整标注文件名对。

数据集也可以手动下载如下：

# 手动 Pascal VOC 下载（非必需）

    # 原始 PASCAL VOC 2012
    wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar # 2 GB
    # 伯克利增强版 Pascal VOC
    wget http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/semantic_contours/benchmark.tgz # 1.3 GB

设置工具提供三种类型的训练/验证划分（感谢 matconvnet-fcn）：

设 BT、BV、PT、PV 和 PX 分别为伯克利的训练集和验证集，以及 PASCAL 分割挑战赛的训练集、验证集和测试集。设 T、V、X 分别为最终的训练集、验证集和测试集。
模式 1::
      V = PV（与 PASCAL 使用相同的验证集）
模式 2::（默认）
      V = PV \ BT（PASCAL 验证集中不包含伯克利训练图像的部分）
模式 3::
      V = PV \ (BV + BT)
在所有情况下：
      S = PT + PV + BT + BV
      X = PX（测试集保持不变）
      T = (S \ V) \ X（剩余部分作为训练材料）

MS COCO

MS COCO 的支持目前仍处于实验阶段，欢迎贡献。

需要注意的是，每个像素可能属于多个类别，例如桌子上的杯子上的一个像素会被同时分类为“杯子”和“桌子”，但有时数据集中会出现层次顺序错误的情况。这意味着将类别保存为图像会导致性能非常差。

export PYTHONPATH=$PYTHONPATH:~/src/tf-image-segmentation
cd ~/src/tf-image-segmentation/tf_image_segmentation/recipes/mscoco

# 初始下载量为 13 GB
# 提取 91 类别的分割编码
# npy 矩阵文件可能需要高达 1TB 的存储空间

python data_coco.py coco_setup
python data_coco.py coco_to_pascal_voc_imageset_txt
python data_coco.py coco_image_segmentation_stats

# 在 COCO 上进行训练
cd ~/src/Keras-FCN
python train_coco.py

训练与测试

默认配置会在带有伯克利数据增强的 Pascal VOC 2012 数据集上训练并评估 AtrousFCN_Resnet50_16s。

cd ~/src/Keras-FCN
cd utils

# 生成预训练权重
python transfer_FCN.py

cd ~/src/Keras-FCN

# 运行训练
python train.py

# 评估网络性能
python evaluate.py

模型权重将保存在 ~/src/Keras-FCN/Models 中，同时还会保存来自验证数据集的分割结果图像。

关键文件

• model.py
  • 包含模型定义，您可以使用现有模型，也可以自定义模型。
• train.py
  • 训练脚本。大部分参数都在主函数中设置，数据增强参数则在 SegDataGenerator 初始化处指定，您可以根据需要进行调整。
• inference.py
  • 用于推断分割结果。可以直接运行，也会在 evaluate.py 中被调用。
• evaluate.py
  • 用于评估性能。它会将所有分割结果保存为图像，并计算 IOU。输出格式并不完美，您可能需要查看代码以理解其含义。

train.py、inference.py 和 evaluate.py 的大多数参数都在主函数中设置。

Keras-FCN 快速上手指南

环境准备

系统要求

• Ubuntu 14.04 或 16.04（推荐）
• Python 3.x
• CUDA 支持（用于 GPU 加速）

前置依赖

以下依赖需要通过 pip 安装：

pip install pillow keras sacred

此外，还需要安装 keras-contrib 的特定分支（支持 DenseNet 模型）：

git clone git@github.com:ahundt/keras-contrib.git -b densenet-atrous
cd keras-contrib
sudo python setup.py install

同时需要安装 COCO 数据集工具：

cd ~/src
git clone https://github.com/pdollar/coco.git
cd coco
sudo python setup.py install

安装步骤

mkdir -p ~/src
cd ~/src

# 克隆 Keras-FCN 项目
git clone https://github.com/aurora95/Keras-FCN.git

# 克隆数据集配置仓库
git clone git@github.com:ahundt/tf-image-segmentation.git -b Keras-FCN

设置环境变量（可选）：

export PYTHONPATH=$PYTHONPATH:~/src/tf-image-segmentation

基本使用

下载并配置 Pascal VOC 数据集（推荐方式）

cd ~/src/tf-image-segmentation/tf_image_segmentation/recipes/pascal_voc/
python data_pascal_voc.py pascal_voc_setup

训练模型

cd ~/src/Keras-FCN
cd utils

# 生成预训练权重
python transfer_FCN.py

cd ~/src/Keras-FCN

# 开始训练
python train.py

# 评估模型性能
python evaluate.py

推理示例

# 运行推理脚本
python inference.py

模型权重和分割结果将保存在 ~/src/Keras-FCN/Models 目录中。