高精度二值图像分割 (DIS) （ECCV 2022）

Xuebin Qin, Hang Dai, Xiaobin Hu, Deng-Ping Fan*, Ling Shao, Luc Van Gool.

这是我们新提出的 DIS 任务的官方仓库：

项目页面, Arxiv, 中文.

目前，本仓库仅包含我们 DIS V2.0 数据集的少量示例图片。完整的 DIS V2.0 数据集和模型尚未发布！(针对许多关于 DIS V2.0 的邮件的快速回复。)

我们正在尽最大努力尽早发布！

更新！！！

** (2024 年 9 月 22 日)** Bohrium 在 Bohrium Notebook 上提供了一个免费的 DIS 演示。

** (2022 年 8 月 17 日)** 我们用于通用用途的优化版 IS-Net 模型现已发布： isnet-general-use.pth（用于通用用途，这不是 DIS V2.0。）可从 (Google Drive) 或 (百度网盘 提取码:6jh2) 下载，请随意使用新创建的简单 inference.py 代码在自己的数据集上进行测试。

** (2022 年 7 月 30 日)** 感谢 AK391 实现的 Web 演示：集成到使用 Gradio 的 Huggingface Spaces 🤗。尝试 Web 演示 。

官方 DIS 组备注：目前发布的 DIS 深度模型是学术版本，使用 DIS V1.0 训练，其中包含极少动物、人类、汽车等样本。因此，在这些目标上可能效果不佳。我们将发布另一个用于通用用途和测试的版本。此外，我们的 DIS V2.0 将涵盖更多类别，并拥有极高质量的标注样本。敬请期待。

** (2022 年 7 月 17 日)** 我们的论文、代码和数据集现已正式发布！！！请查看我们的项目页面以获取更多信息：项目页面。

** (2022 年 7 月 5 日)** 我们的 DIS 工作已被 ECCV 2022 录用，代码和数据集将于 2022 年 7 月 17 日前发布。请关注我们的更新。

1. 我们的二值图像分割 (DIS) 数据集

1.1 DIS 数据集 V1.0: DIS5K

下载： Google Drive 或 百度网盘 提取码：rtgw

1.2 DIS 数据集 V2.0

虽然我们的 DIS5K V1.0 包含了来自 200 多个类别的样本，但现实世界中许多类别，如人类、动物、汽车等并未包含在内。 因此，我们数据集的当前版本 (v1.0) 可能会限制训练模型的鲁棒性。 为了构建全面且大规模的高精度二值图像分割数据集，我们正在构建我们的 DIS 数据集 V2.0。V2.0 即将发布。敬请期待。

DIS 数据集 V2.0 的示例。

2. 我们的 DIS5K 数据集的应用

3D 建模

图像编辑

艺术设计素材

静态图像动画

AR

3D 渲染

3. 我们的 IS-Net 架构

4. 人工修正努力 (HCE)

5. 实验结果

预测图，(Google Drive), (百度网盘 提取码：ph1d)，我们的 IS-Net 和其他 SOTAs (最先进方法)

与 SOTAs (最先进方法) 的定性比较

与 SOTAs (最先进方法) 的定量比较

6. 运行我们的代码

(1) 克隆此仓库

git clone https://github.com/xuebinqin/DIS.git

(2) 配置环境：进入 DIS/ISNet 文件夹并运行

conda env create -f pytorch18.yml

或者您可以检查 requirements.txt 来配置依赖项。

(3) 通过以下方式激活 conda 环境

conda activate pytorch18

(4) 训练：

(a) 打开 train_valid_inference_main.py，设置待推理的 train_datasets 和 valid_datasets 路径，例如，valid_datasets=[dataset_vd]
(b) 将 hypar["mode"] 设置为 "train"
(c) 在目录 saved_models 中创建一个新文件夹 your_model_weights 并将其设置为 hypar["model_path"] ="../saved_models/your_model_weights"，并确保 hypar["valid_out_dir"](第 668 行) 设置为 ""，否则验证阶段的预测图将保存到该目录，这会降低训练速度
(d) 运行

python train_valid_inference_main.py

(5) 推理

下载预训练权重（用于公平的学术比较） isnet.pth 从 (Google Drive) 或 (百度网盘 提取码：xbfk)；或者下载优化后的模型权重 isnet-general-use.pth（用于通用用途）从 (Google Drive) 或 (百度网盘 提取码:6jh2)，并将它们存储在 saved_models/IS-Net 中

I. 针对您自己数据集（无 Ground Truth(真实标签)）的简单推理代码：

(a) 打开 \ISNet\inference.py 并配置您的输入和输出目录 (b) 运行

python inference.py

II. 有/无 Ground Truth 数据集的推理

(a) 打开 train_valid_inference_main.py，设置您待推理的 valid_datasets 路径，例如 valid_datasets=[dataset_te1, dataset_te2, dataset_te3, dataset_te4]
(b) 将 hypar["mode"] 设置为 "valid"
(c) 设置您预测掩码的输出目录，例如 hypar["valid_out_dir"] = "../DIS5K-Results-test"
(d) 运行

python train_valid_inference_main.py

(5) 使用我们的人为修正努力 (HCE) 指标

设置 Ground Truth 目录 gt_root 和预测目录 pred_root。为了减少计算 HCE 的时间成本，DIS5K 数据集的骨架可以预先计算并存储在 gt_ske_root 中。如果 gt_ske_root=""，HCE 代码将在线计算骨架，这对于大尺寸 Ground Truth 通常需要很长时间。然后，运行 python hce_metric_main.py。其他指标基于 SOCToolbox 进行评估。

7. 使用条款

我们的代码和评估指标采用 Apache License 2.0。我们的 DIS5K 数据集的使用条款提供如下 DIS5K-Dataset-Terms-of-Use.pdf。

致谢

我们要感谢 Dr. Ibrahim Almakky 在实现加载大尺寸训练样本的数据加载器缓存机制 (Dataloader Cache Mechanism) 方面提供的帮助，以及感谢 Jiayi Zhu 在重新组织我们的代码和数据集方面所做的努力。

引用

@InProceedings{qin2022,
      author={Xuebin Qin and Hang Dai and Xiaobin Hu and Deng-Ping Fan and Ling Shao and Luc Van Gool},
      title={Highly Accurate Dichotomous Image Segmentation},
      booktitle={ECCV},
      year={2022}
}

我们之前的作品：U²-Net, BASNet。

@InProceedings{Qin_2020_PR,
      title = {U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection},
      author = {Qin, Xuebin and Zhang, Zichen and Huang, Chenyang and Dehghan, Masood and Zaiane, Osmar and Jagersand, Martin},
      journal = {Pattern Recognition},
      volume = {106},
      pages = {107404},
      year = {2020}
}

@InProceedings{Qin_2019_CVPR,
        author = {Qin, Xuebin and Zhang, Zichen and Huang, Chenyang and Gao, Chao and Dehghan, Masood and Jagersand, Martin},
        title = {BASNet: Boundary-Aware Salient Object Detection},
        booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
        month = {June},
        year = {2019}
}

@article{qin2021boundary,
       title={Boundary-aware segmentation network for mobile and web applications},
       author={Qin, Xuebin and Fan, Deng-Ping and Huang, Chenyang and Diagne, Cyril and Zhang, Zichen and Sant'Anna, Adri{\`a} Cabeza and Suarez, Albert and Jagersand, Martin and Shao, Ling},
       journal={arXiv preprint arXiv:2101.04704},
       year={2021}
}

DIS 快速上手指南

DIS (Dichotomous Image Segmentation) 是一项高精度的二值图像分割技术（ECCV 2022）。本指南介绍如何在本地快速部署和运行 IS-Net 模型进行推理。

1. 环境准备

• 系统要求: Linux / Windows / macOS
• 依赖: Python, PyTorch (推荐版本 1.8+)
• 工具: Git, Conda

2. 安装步骤

(1) 克隆代码库

git clone https://github.com/xuebinqin/DIS.git

(2) 创建并激活环境

进入 DIS/ISNet 目录，使用提供的配置文件创建环境：

cd DIS/ISNet
conda env create -f pytorch18.yml
conda activate pytorch18

(3) 下载预训练模型

为了获得最佳效果，建议下载优化后的通用模型 isnet-general-use.pth。

国内用户推荐百度网盘下载：

• 链接：https://pan.baidu.com/s/111MqmwnUc8Z4Wsq2Pc4bhQ
• 提取码：6jh2

将下载的 isnet-general-use.pth 文件放入以下路径（若不存在请新建文件夹）：

saved_models/IS-Net/isnet-general-use.pth

3. 基本使用

(1) 自定义数据集推理（无 Ground Truth）

适用于个人图片的快速处理。

1. 打开 ISNet/inference.py 文件。
2. 配置输入目录 (input_dir) 和输出目录 (output_dir)。
3. 运行命令：

python inference.py

(2) 测试集评估（含 Ground Truth）

适用于验证模型在特定数据集上的表现。

1. 打开 train_valid_inference_main.py。
2. 设置待推理的数据集路径，例如：valid_datasets=[dataset_te1, dataset_te2]。
3. 设置模式为验证：hypar["mode"] = "valid"。
4. 设置预测结果保存路径，例如：hypar["valid_out_dir"] = "../DIS5K-Results-test"。
5. 运行命令：

python train_valid_inference_main.py

(3) 在线体验

如果您不想配置本地环境，可以通过以下在线 Demo 体验：

• Bohrium Notebook: 点击访问
• Hugging Face Spaces: 点击访问