TF图像分割：图像分割框架

TF图像分割框架的目标是提供一种简化的方法，用于：

• 将一些流行的通用/医学/其他图像分割数据集转换为易于训练的.tfrecords格式，并采用统一的接口：不同数据集但以相同的方式存储图像和标注。
• 提供带有实时数据增强（缩放、颜色失真）的训练流程。
• 提供针对特定模型和数据集组合经过验证可行的训练流程。
• 使用常见的精度指标评估已训练模型的准确性：平均交并比（Mean IOU）、平均像素精度、像素精度。
• 提供在特定数据集上训练并报告准确率的模型文件（这些模型使用TensorFlow训练流程进行训练，而非从Caffe或其他框架转换而来）。
• 提供模型定义（如FCN-32s等），这些模型使用由TF-Slim库官方提供的VGG等图像分类模型的权重初始化。

截至目前，该框架已在TensorFlow和TF-Slim库中实现了FCN模型的训练与评估，包括训练流程、报告的准确率以及针对PASCAL VOC 2012数据集的已训练模型。要使用您的数据训练这些模型，请先将您的数据集转换为tfrecords格式，然后按照以下说明操作。

最终目标是提供工具来转换其他数据集、报告其准确率并提供相应的模型。

安装

本代码需要以下依赖：

1. TensorFlow r0.12 或更高版本。

2. 自定义的tensorflow/models仓库，未来可能会被合并到官方仓库中。只需运行： git clone -b fully_conv_vgg https://github.com/warmspringwinds/models 并将models/slim子目录添加到您的路径中：

   import sys
   # 请根据您的路径进行更新
   sys.path.append('/home/dpakhom1/workspace/models/slim/')
   

3. 某些可通过安装Anaconda包获得的库。

   或者您也可以使用pip安装scikit-image, matplotlib, numpy。

4. VGG 16检查点文件，您可以从这里获取。

5. 克隆本库： git clone https://github.com/warmspringwinds/tf-image-segmentation 并将其添加到路径中：

   import sys
   # 请根据您的路径进行更新
   sys.path.append("/home/dpakhom1/tf_projects/segmentation/tf-image-segmentation/")
   

PASCAL VOC 2012

已实现的模型在受限的PASCAL VOC 2012验证集（RV-VOC12）上进行了测试，并在PASCAL VOC 2012训练数据及额外的伯克利分割数据上进行了训练。重要的是在受限的验证集上测试模型，以确保验证集中没有任何图像曾在训练过程中被模型见过。

框架中也提供了用于获取训练数据和验证模型的代码。

语义分割的全卷积网络（FCNs）

在这里您可以找到Long等人在论文“语义分割的全卷积网络”中描述的模型。我们针对PASCAL VOC 2012数据集训练并测试了FCN-32s, FCN-16s和FCN-8s。

所有用于训练和评估的脚本都可以在这里找到。

使用此代码训练出的网络性能如下：

模型	测试数据	平均交并比	平均像素精度	像素精度	模型下载链接
FCN-32s（我们的）	RV-VOC12	62.70	进行中	进行中	Dropbox
FCN-16s（我们的）	RV-VOC12	63.52	进行中	进行中	Dropbox
FCN-8s（我们的）	RV-VOC12	63.65	进行中	进行中	Dropbox
FCN-32s（原始）	RV-VOC11	59.40	73.30	89.10
FCN-16s（原始）	RV-VOC11	62.40	75.70	90.00
FCN-8s（原始）	RV-VOC11	62.70	75.90	90.30

关于

如果您在研究中使用了本代码，请引用以下论文：

@article{pakhomov2017deep,
  title={Deep Residual Learning for Instrument Segmentation in Robotic Surgery},
  author={Pakhomov, Daniil and Premachandran, Vittal and Allan, Max and Azizian, Mahdi and Navab, Nassir},
  journal={arXiv preprint arXiv:1703.08580},
  year={2017}
}

在实现过程中，还记录了一些初步实验和笔记：

• 将图像分类网络转换为FCN
• 使用转置卷积进行上采样
• 条件随机场用于精炼分割及FCN-32s模型分割结果的粗糙度
• TF-records的使用指南

tf-image-segmentation 快速上手指南

tf-image-segmentation 是一个基于 TensorFlow 和 TF-Slim 的图像分割框架，旨在简化数据集转换（转为 .tfrecords）、模型训练（含在线数据增强）、评估及预训练模型的使用。目前主要支持 FCN 系列模型（如 FCN-32s, FCN-16s, FCN-8s）在 PASCAL VOC 2012 数据集上的训练与评估。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python: 建议 Python 2.7 或 3.5+ (取决于 TF 版本)
• TensorFlow: 版本 r0.12 或更高。
• 依赖库: scikit-image, matplotlib, numpy。
  • 推荐安装 Anaconda 包管理器以简化依赖安装。
  • 或使用 pip 安装：pip install scikit-image matplotlib numpy
• 预训练权重: 需要下载 VGG 16 的 checkpoint 文件。
  • 下载地址：vgg_16_2016_08_28.tar.gz
  • 国内加速提示: 如果官方源下载缓慢，可尝试使用国内镜像站或代理加速下载。

安装步骤

本框架依赖一个特定分支的 tensorflow/models 仓库以及本项目代码。请按顺序执行以下步骤：

1. 克隆特定的 models 仓库

该项目需要一个包含 fully_conv_vgg 分支的修改版 models 仓库。

git clone -b fully_conv_vgg https://github.com/warmspringwinds/models

2. 配置 Python 路径 (models/slim)

将克隆下来的 slim 目录添加到 Python 搜索路径中。您可以在脚本开头添加以下代码，或将其加入环境变量：

import sys
# 请替换为您实际的绝对路径
sys.path.append('/path/to/your/models/slim/')

3. 克隆 tf-image-segmentation 项目

git clone https://github.com/warmspringwinds/tf-image-segmentation

4. 配置 Python 路径 (项目根目录)

同样，将本项目目录添加到 Python 搜索路径：

import sys
# 请替换为您实际的绝对路径
sys.path.append("/path/to/your/tf-image-segmentation/")

5. 准备 VGG 16 权重

解压下载的 vgg_16_2016_08_28.tar.gz，并确保在训练脚本中能正确指向该 checkpoint 文件路径。

基本使用

以下是基于 PASCAL VOC 2012 数据集的最简使用流程。

第一步：数据转换

框架需要将原始数据集转换为统一的 .tfrecords 格式。项目提供了针对 PASCAL VOC 的转换脚本（Jupyter Notebook）。

运行以下命令启动转换流程（需先准备好 PASCAL VOC 2012 数据集）： (注：具体执行请参考项目内的 notebook 文件)

# 示例：打开并运行转换脚本
jupyter notebook tf_image_segmentation/recipes/pascal_voc/convert_pascal_voc_to_tfrecords.ipynb

按照 Notebook 中的指引，设置输入数据路径和输出 .tfrecords 保存路径。

第二步：训练模型

数据准备就绪后，即可使用框架提供的脚本进行训练。项目已在 tf_image_segmentation/recipes/pascal_voc/FCNs 目录下提供了完整的训练和评估脚本。

以训练 FCN-32s 为例，您需要编写或修改相应的启动脚本，核心逻辑如下：

# 伪代码示例，具体参数请参考 recipes 目录下的实际脚本
from tf_image_segmentation.recipes.pascal_voc.FCNs import train_fcn_32s

# 配置参数
dataset_path = "/path/to/your/data.tfrecords"
checkpoint_path = "/path/to/vgg_16.ckpt"
log_dir = "./logs"

# 开始训练 (具体函数调用请以实际脚本为准)
# train_fcn_32s(dataset_path, checkpoint_path, log_dir)

注意：由于原 README 未提供单行命令行训练指令，实际操作请直接运行 tf_image_segmentation/recipes/pascal_voc/FCNs 目录下对应的 .py 训练脚本。

第三步：评估与推理

训练完成后，可使用框架内置的评估工具计算 Mean IOU、Mean Pixel Accuracy 等指标。

# 评估逻辑通常位于同目录下的 eval 脚本中
# 加载训练好的模型并对验证集 (RV-VOC12) 进行测试

如果您只想使用预训练模型进行推理，可以从 README 提供的 Dropbox 链接下载对应的模型文件（如 fcn_32s.tar.gz），解压后加载 checkpoint 即可对图片进行分割预测。