深度极端切割（DEXTR）

请访问我们的项目页面，以获取论文和预计算结果。

这是我们关于从极端点进行目标分割的工作《深度极端切割（DEXTR）》的实现。

该代码已移植到 PyTorch 0.4.0！如需使用基于 PyTorch 0.3.1 的旧版本代码，请检出此分支。

新增：也提供了基于 Keras 和 TensorFlow 后端的实现：DEXTR-KerasTensorflow！

摘要

本文探讨了将物体的极端点（最左、最右、最上、最下像素）作为输入，以获得图像和视频中精确的目标分割。我们通过在卷积神经网络（CNN）的输入图像中添加一个额外通道来实现这一点，该通道包含以每个极端点为中心的高斯分布。CNN 学习将这些信息转换为与这些极端点匹配的目标分割结果。我们证明了该方法在引导式分割（类似 GrabCut）、交互式分割、视频目标分割以及密集分割标注中的有效性。在广泛且多样的基准测试和数据集上，我们展示了该方法能够以更少的用户输入获得迄今为止最精确的结果。

安装

该代码已在 Miniconda 和 Python 3.6 环境下测试通过。安装 Miniconda 环境后：

0. 克隆仓库：

   git clone https://github.com/scaelles/DEXTR-PyTorch
   cd DEXTR-PyTorch
   

1. 安装依赖项：

   conda install pytorch torchvision -c pytorch
   conda install matplotlib opencv pillow scikit-learn scikit-image
   

2. 下载模型：运行 models/ 目录下的脚本：

   cd models/
   chmod +x download_dextr_model.sh
   ./download_dextr_model.sh
   cd ..
   

   默认模型是在 PASCAL VOC Segmentation 训练集和 SBD 数据集（共 10582 张图像）上训练的。如需下载在 PASCAL VOC Segmentation 训练集或 COCO 数据集上训练的模型，请访问我们的项目页面，或继续向下滚动至本 README 的末尾。

3. 要试用 DEXTR 的演示版本，请运行：

   python demo.py
   

如果安装正确，结果应如下所示：

如需在 PASCAL（或 PASCAL + SBD）数据集上训练和评估 DEXTR，请按照以下步骤操作：

4. 安装 TensorBoard（与 PyTorch 集成）。

   pip install tensorboard tensorboardx
   

5. 从 此 仓库下载用于语义分割的预训练 PSPNet 模型。

   cd models/
   chmod +x download_pretrained_psp_model.sh
   ./download_pretrained_psp_model.sh
   cd ..
   

6. 在 mypath.py 中设置路径，使其指向 PASCAL/SBD 数据集的位置。

7. 运行 python train_pascal.py。如有必要，可修改默认参数（例如 gpu_id）。

尽情享受吧！！

预训练模型

您可以在 MIT 许可下使用以下 DEXTR 模型，它们分别在以下数据集上进行了预训练：

• PASCAL + SBD，在 PASCAL VOC Segmentation 训练集和 SBD 数据集（共 10582 张图像）上训练。在 PASCAL VOC Segmentation 验证集上的 mIoU 达到 91.5%。
• PASCAL，在 PASCAL VOC Segmentation 训练集（1464 张图像）上训练。在 PASCAL VOC Segmentation 验证集上的 mIoU 达到 90.5%。
• COCO，在 COCO 2014 训练集（82783 张图像）上训练。在 PASCAL VOC Segmentation 验证集上的 mIoU 达到 87.8%。

引用

如果您使用此代码，请考虑引用以下论文：

@Inproceedings{Man+18,
  Title          = {深度极端切割：从极端点到目标分割},
  Author         = {K.K. Maninis 和 S. Caelles 和 J. Pont-Tuset 和 L. {Van Gool}},
  Booktitle      = {计算机视觉与模式识别（CVPR）},
  Year           = {2018}
}

@InProceedings{Pap+17,
  Title          = {通过极端点击实现高效的目标标注},
  Author         = {D.P. Papadopoulos 和 J. Uijlings 和 F. Keller 和 V. Ferrari},
  Booktitle      = {ICCV},
  Year           = {2017}
}

我们感谢 pytorch-deeplab-resnet 的作者，他们提供了 DeepLab-v2 的 PyTorch 重实现版本！

如遇任何问题，请联系我们：{kmaninis, scaelles}@vision.ee.ethz.ch。

DEXTR-PyTorch 快速上手指南

DEXTR (Deep Extreme Cut) 是一个基于深度学习的物体分割工具，只需用户提供物体的四个极端点（最左、最右、最上、最下像素），即可生成高精度的分割掩码。本项目已移植至 PyTorch 0.4.0+ 版本。

环境准备

本指南基于 Linux/macOS 环境，推荐使用 Miniconda 管理 Python 环境。

• 操作系统: Linux 或 macOS
• Python 版本: 3.6
• 核心框架: PyTorch 0.4.0+
• 依赖库: torchvision, matplotlib, opencv, pillow, scikit-learn, scikit-image

国内加速建议： 在安装 PyTorch 时，建议使用清华或中科大镜像源以提升下载速度。例如： conda install pytorch torchvision -c pytorch 可替换为指定镜像源的 pip 安装方式，或直接使用官方命令（若网络通畅）。

安装步骤

1. 克隆项目代码

git clone https://github.com/scaelles/DEXTR-PyTorch
cd DEXTR-PyTorch

2. 创建环境并安装依赖

使用 Conda 创建环境并安装所需库：

conda create -n dextr python=3.6
conda activate dextr
conda install pytorch torchvision -c pytorch
conda install matplotlib opencv pillow scikit-learn scikit-image

(注：若需使用 TensorBoard 进行训练监控，请额外运行 pip install tensorboard tensorboardx)

3. 下载预训练模型

执行脚本下载默认模型（基于 PASCAL VOC + SBD 数据集训练）：

cd models/
chmod +x download_dextr_model.sh
./download_dextr_model.sh
cd ..

备选方案：如果脚本下载失败，可手动从 项目页面 下载 dextr_pascal-sbd.pth 等模型文件并放入 models/ 目录。

基本使用

安装完成后，可直接运行演示脚本体验效果。该脚本将加载默认图像和模型，展示通过极端点进行分割的效果。

python demo.py

运行成功后，程序将弹出窗口显示分割结果动画（类似 README 中的演示 GIF）。

---

进阶提示： 若需在自己的数据集上训练或评估，请参考原文档配置 mypath.py 中的数据集路径，并下载 PSPNet 预训练权重后运行 python train_pascal.py。