=================================================================== TernausNetV2：用于实例分割的全卷积网络

|teaser|

我们在此介绍在CVPR 2018 DeepGlobe建筑提取挑战赛_中获得第二名的解决方案的网络结构定义及权重。

.. contents::

团队成员

Vladimir Iglovikov, Selim Seferbekov, Alexandr Buslaev, Alexey Shvets

引用

如果您认为本工作对您的研究有帮助，请考虑引用：

  @InProceedings{Iglovikov_2018_CVPR_Workshops,
       author = {Iglovikov, Vladimir and Seferbekov, Selim and Buslaev, Alexander and Shvets, Alexey},
        title = {TernausNetV2: 全卷积网络用于实例分割},
    booktitle = {IEEE计算机视觉与模式识别会议（CVPR）研讨会},
        month = {六月},
         year = {2018}
        }

概述

城市地区的自动建筑物检测是一项重要任务，为大规模城市规划和人口监测提供了新的机遇。在CVPR 2018 Deepglobe建筑提取挑战赛_中，参赛者被要求开发能够从卫星影像中进行建筑物轮廓二值实例分割的算法。我们的团队最终获得了第二名，在此我们分享了我们的方法、网络权重_以及足以进行推理的代码。

数据

建筑检测子挑战的训练数据来源于SpaceNet数据集_。该数据集使用由DigitalGlobe的WorldView-3卫星采集的30厘米分辨率的卫星影像。每张图像大小为650x650像素，覆盖地球表面195x195平方米。此外，每个区域包含高分辨率的RGB图像、全色图像以及8通道低分辨率多光谱图像。卫星数据来自四个不同的城市：拉斯维加斯、巴黎、上海和喀土穆，其训练集和测试集分别包含(3831, 1148, 4582, 1012)和(1282, 381, 1528, 336)张图像。

方法

原始的TernausNet_在以下几个方面进行了扩展：

1. 编码器被替换为具有就地激活批归一化的WideResnet 38_。

2. 网络的输入扩展为支持11个输入通道，其中3个用于RGB通道，8个用于多光谱数据。

   为了使我们的网络能够执行实例分割，我们采用了由Alexandr Buslaev_、Selim Seferbekov_和Victor Durnov在其赢得Urban 3d_和Data Science Bowl 2018_挑战赛的解决方案中提出并成功实现的思想。

3. 网络的输出被修改为同时预测两个二值掩膜：一个用于在像素级别上预测建筑物与非建筑物类别，另一个用于预测图像中不同物体相互接触或非常接近的区域。这两个预测掩膜会被合并，并用作分水岭变换的输入。

|network|

结果

根据CVPR 2018 DeepGlobe建筑提取挑战赛_主办方所使用的指标，我们在公开和私有排行榜上的成绩如下。

.. table:: 各城市的成绩

============= =================== ===================
城市：         公开排行榜       私人排行榜
============= =================== ===================
拉斯维加斯    0.891               0.892
法国巴黎      0.781               0.756
上海          0.680               0.687
喀土穆        0.603               0.608
------------- ------------------- -------------------
平均          0.739               0.736
============= =================== ===================

依赖项

• Python 3.6
• PyTorch 0.4
• numpy 1.14.0
• opencv-python 3.3.0.10

演示示例

网络`权重`_


您可以按照演示示例`demo.ipynb`_轻松开始使用我们的网络和权重。

..  _`demo.ipynb`: https://github.com/ternaus/TernausNetV2/blob/master/Demo.ipynb
.. _`Selim Seferbekov`: https://www.linkedin.com/in/selim-seferbekov-474a4497/
.. _`Alexey Shvets`: https://www.linkedin.com/in/shvetsiya/
.. _`Vladimir Iglovikov`: https://www.linkedin.com/in/iglovikov/
.. _`Alexandr Buslaev`: https://www.linkedin.com/in/al-buslaev/
.. _`CVPR 2018 DeepGlobe建筑提取挑战赛`: https://competitions.codalab.org/competitions/18544
.. _`TernausNet`: https://arxiv.org/abs/1801.05746
.. _`U-Net`: https://arxiv.org/abs/1505.04597
.. _`Urban 3d`: https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10645/0000/Urban-3D-challenge--building-footprint-detection-using-orthorectified-imagery/10.1117/12.2304682.short?SSO=1
.. _`Data Science Bowl 2018`: https://www.kaggle.com/c/data-science-bowl-2018/
.. _`具有就地激活批归一化的WideResnet 38`: https://arxiv.org/abs/1712.02616
.. _`SpaceNet数据集`: https://spacenetchallenge.github.io/
.. _`weights`: https://drive.google.com/open?id=1k95VGNZG74Vvu-X-MSpbaHjMDvNEepIi


.. |network| image:: https://habrastorage.org/webt/jx/ni/ki/jxnikimnmkmkrrqlvcl6memouso.png
.. |teaser| image:: https://habrastorage.org/webt/ko/b2/tw/kob2twhjzjfnauix7ljted07ga8.png

TernausNetV2 快速上手指南

TernausNetV2 是一个用于实例分割的全卷积网络，曾在 CVPR 2018 DeepGlobe 建筑提取挑战赛中荣获第二名。该模型专门针对卫星图像中的建筑物足迹检测进行了优化，支持多光谱数据输入。

环境准备

在开始之前，请确保您的开发环境满足以下系统要求和依赖版本。由于该项目基于较早期的 PyTorch 版本开发，建议创建独立的虚拟环境以避免冲突。

• 操作系统: Linux / macOS / Windows
• Python: 3.6
• PyTorch: 0.4
• NumPy: 1.14.0
• OpenCV: opencv-python 3.3.0.10

注意：国内用户安装 PyTorch 旧版本时，推荐使用清华或中科大镜像源加速下载。

安装步骤

1. 克隆项目代码 首先从 GitHub 获取源代码：

   git clone https://github.com/ternaus/TernausNetV2.git
   cd TernausNetV2
   

2. 创建并激活虚拟环境 建议使用 conda 或 venv 隔离环境：

   conda create -n ternaus python=3.6
   conda activate ternaus
   

3. 安装依赖包 使用 pip 安装指定版本的依赖。国内用户可添加 -i 参数使用清华源：

   pip install torch==0.4.0 numpy==1.14.0 opencv-python==3.3.0.10 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：PyTorch 0.4 的安装命令可能因 CUDA 版本不同而有所差异，请参考 PyTorch 历史版本官网获取具体的 wheel 包链接或使用官方提供的旧版安装指令)

4. 下载预训练权重 从 Google Drive 下载作者提供的模型权重文件 (weights)，并将其放置在项目根目录或代码指定的路径下：

   • 下载地址：Google Drive Link

基本使用

作者提供了一个完整的 Jupyter Notebook 演示示例，展示了如何加载模型、预处理图像（包括 RGB 和多光谱通道）以及执行推理。

1. 启动演示 确保已安装 Jupyter Lab 或 Notebook：

   pip install jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple
   jupyter lab Demo.ipynb
   

2. 核心代码逻辑 在 Demo.ipynb 中，主要的使用流程如下（保持代码原样）：

   # 导入必要的库
   import torch
   from models import TernausNetV2 # 假设模型定义在此处
   import cv2
   import numpy as np
   
   # 加载预训练权重
   model = TernausNetV2()
   model.load_state_dict(torch.load('path_to_downloaded_weights.pth'))
   model.eval()
   
   # 准备输入数据 (11 通道：3 通道 RGB + 8 通道多光谱)
   # input_tensor shape: [1, 11, 650, 650]
   input_tensor = prepare_data(image_rgb, image_multispectral) 
   
   # 执行推理
   with torch.no_grad():
       prediction = model(input_tensor)
   
   # 后处理：结合预测掩码并使用分水岭算法 (Watershed Transform) 分离实例
   # 具体实现请参考 Demo.ipynb 中的完整代码块
   

请直接运行 Demo.ipynb 以查看完整的图像处理流水线和可视化结果。