DexiNed：用于边缘检测的密集极端Inception网络（扩展版）

- 我们刚刚更新了DexiNed的最新PyTorch版本。
- 使用TF1的实现已被转移到“legacy”目录中。
- 近期我们将进行一些小的更新，但模型、损失函数以及测试和训练流程无需更改，
  希望如此 :)。如果您有时间，请检查其中的错误并反馈至Issues。

这是在WACV2020会议上提出的DexiNed的扩展工作。我们改进了架构和数据集。与现有的基于CNN的边缘检测器不同，该模型仅需一个训练阶段，却能够在多个边缘检测数据集上超越它们。此外，Dexined无需预训练权重，而是从零开始训练，且需要调整的参数较少。如需了解更多关于DexiNed的信息，请阅读我们在ieeexplore上的第一版论文，以及在arXiv上的扩展版论文。

DexiNed的最新版本已在PyTorch中实现，TensorFlow 2版本也将很快推出。如果您需要我们的早期版本，请查看legacy目录。

我们还制作了一段关于DexiNed的简短视频介绍，您可以在Youtube上观看。

目录

• DexiNed-v1
• TensorFlow
• 数据集
• 性能
• 引用

DexiNed-v1

此版本于WACV2020会议上提出，是基于TensorFlow 1实现的基础DexiNed模型。

TensorFlow2

Dexined在TF 2上的版本尚未完成。

需求

• Python 3.7
• Pytorch >=1.4（最新测试为1.9）
• OpenCV
• Matplotlib
• Kornia
• 其他包如Numpy、h5py、PIL、json等。

安装好这些包后，您可以按如下方式克隆本仓库：

git clone https://github.com/xavysp/DexiNed.git
cd DexiNed

项目结构

├── data                        # 测试用示例图像（请将您的图像放入此处）
|   ├── lena_std.tif            # 示例1
├── DexiNed-TF2                 # 在TensorFlow2中的DexiNed（正在建设中）   
├── figs                        # README.md中使用的图片
|   └── DexiNed_banner.png      # DexiNed横幅图
├── legacy                      # 在TensorFlow1中的DexiNed（于WACV2020年提出）
├── utls                        # 本仓库中使用的一系列工具
|   └── image.py                # 各种工具函数
├── datasets.py                 # 数据集管理工具 
├── dexi_utils.py               # 新功能，目前尚未在当前版本中使用
├── losses.py                   # 用于训练DexiNed的损失函数（BDCNloss2）
├── main.py                     # 主Python文件，包含主要函数和参数设置
                                # 您可以在此进行测试和训练
├── model.py                    # PyTorch中的DexiNed类

在开始之前，请先查看datasets.py文件。从代码的第一行就可以看到用于训练和测试的数据集。main.py第194行会调用用于训练或测试的数据集，示例如下：

    parser = argparse.ArgumentParser(description='DexiNed训练器.')
    parser.add_argument('--choose_test_data',
                        type=int,
                        default=1,
                        help='已设定测试数据选择：0 - 8')
    # ----------- 测试 -------0--

    TEST_DATA = DATASET_NAMES[parser.parse_args().choose_test_data] # 最大8个
    test_inf = dataset_info(TEST_DATA, is_linux=IS_LINUX)
    test_dir = test_inf['data_dir']
    is_testing = True# 当前测试 -352-SM-NewGT-2AugmenPublish

    # 训练设置
    TRAIN_DATA = DATASET_NAMES[0] # BIPED=0
    train_inf = dataset_info(TRAIN_DATA, is_linux=IS_LINUX)
    train_dir = train_inf['data_dir']

测试

如前所述，datasets.py文件包含了DexiNed用于测试和训练的所有数据集配置：

DATASET_NAMES = [
    'BIPED',
    'BSDS',
    'BSDS300',
    'CID',
    'DCD',
    'MULTICUE', #5
    'PASCAL',
    'NYUD',
    'CLASSIC'
] 

例如，如果您想测试自己的数据集或图像，可以选择“CLASSIC”，并将测试数据保存在“data”目录中。在测试DexiNed模型之前，您需要下载这里的检查点文件PyTorch检查点，并将其保存到DexiNed文件夹中，例如：checkpoints/BIPED/10/（此处放置来自Drive的检查点），然后按照以下方式运行：

python main.py --choose_test_data=-1 请确保在main.py中，测试设置如下： parser.add_argument('--is_testing', default=True, help='脚本处于测试模式。') DexiNed会将输入图像下采样至16个尺度，请确保在dataset_info函数（datasets.py）中，图像的宽度和高度是16的倍数，例如512、960等。在Drive上的检查点文件中，您将找到最新的训练检查点，该检查点是在即将于Kaggle上更新的最新版BIPED数据集上训练得到的。

训练

python main.py 

请确保在main.py中，训练设置如下： parser.add_argument('--is_testing', default=False, help='脚本处于训练模式。')

数据集

用于训练的数据集

- BIPED数据集已更新至最新版本，现可在Kaggle上下载。

BIPED（巴塞罗那感知边缘检测图像数据集）：该数据集是为本研究收集并标注的边缘级数据集。更多详情、增强脚本及下载信息请参见：选项1，选项2 Kaggle。BIPED数据集已更新，增加了更多标注并修正了一些错误，因此这些链接提供了更新后的BIPED版本。如果您需要旧版本，可通过电子邮件联系我们。最新的性能指标（见下表）也将很快更新。

用于测试的数据集

边缘检测数据集

• BIPED 和 MDBD

非边缘检测数据集

• CID , BSDS300, BSDS500, NYUD, 和 PASCAL-context

性能

以下结果来自 BIPEP 的最新版本（BIPEDv2，我们仍称其为 BIPED，因为这是默认版本）。 在 WACV20 之后，BIPED 数据集中的图像被再次检查，并添加了更多标注。所有这些模型都已重新训练。

方法	ODS	ODS	AP
RCF	.849	.861	.906
BDCN	.890	.899	.934
CATS	.887	.892	.817
DexiNed-f(我们的方法)	.895	.900	.927
DexiNed-a(我们的方法)	.893	.897	.940

引用

如果你喜欢 DexiNed，为什么不给 GitHub 上的项目点个赞呢！

如果你的学术或科学出版物中使用了我们的工作，请引用我们的论文：

@INPROCEEDINGS {xsoria2020dexined,
author = {X. Soria and E. Riba and A. Sappa},
booktitle = {2020 IEEE 冬季计算机视觉应用会议 (WACV)},
title = {密集极端 Inception 网络：迈向鲁棒的边缘检测 CNN 模型},
year = {2020},
volume = {},
issn = {},
pages = {1912-1921},
keywords = {图像边缘检测；卷积；训练；馈送；机器学习；任务分析；核},
doi = {10.1109/WACV45572.2020.9093290},
url = {https://doi.ieeecomputersociety.org/10.1109/WACV45572.2020.9093290},
publisher = {IEEE 计算机协会},
address = {美国加州洛斯阿拉米托斯},
month = {三月}
}

扩展版本：

@article{soria2023dexined_ext,
title = {用于边缘检测的密集极端 inception 网络},
journal = {模式识别},
volume = {139},
pages = {109461},
year = {2023},
issn = {0031-3203},
doi = {https://doi.org/10.1016/j.patcog.2023.109461},
url = {https://www.sciencedirect.com/science/article/pii/S0031320323001619},
author = {哈维尔·索里亚、安赫尔·萨帕、帕特里西奥·胡马南特、阿拉什·阿克巴里尼亚},
keywords = {边缘检测、深度学习、CNN、轮廓检测、边界检测、分割}
}

DexiNed 快速上手指南

DexiNed (Dense Extreme Inception Network) 是一个用于边缘检测的深度学习模型。其最新版本基于 PyTorch 实现，无需预训练权重即可从头训练，且在多个边缘检测数据集上表现优异。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 Windows (推荐 Linux)
• Python: 3.7 及以上版本
• PyTorch: >= 1.4 (最新测试版本为 1.9)
• 其他依赖库:
  • OpenCV (opencv-python)
  • Matplotlib
  • Kornia
  • Numpy, h5py, PIL, json 等基础库

提示：国内用户安装 PyTorch 时，建议使用清华或中科大镜像源加速下载。 例如：pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库 打开终端，执行以下命令获取源代码：

   git clone https://github.com/xavysp/DexiNed.git
   cd DexiNed
   

2. 安装 Python 依赖 确保已安装上述提到的所有依赖包。您可以使用 pip 批量安装核心依赖：

   pip install opencv-python matplotlib kornia numpy h5py pillow
   

   (注：PyTorch 需根据您具体的 CUDA 版本单独安装，请参考 PyTorch 官网)

3. 下载预训练模型 (用于测试) 若仅需进行推理测试，需下载官方提供的 PyTorch 检查点文件：

   • 下载地址：Checkpoint Pytorch
   • 存放路径：将下载的文件放入项目目录下的 checkpoints/BIPED/10/ 文件夹中。
   • 注意：如果目录不存在，请手动创建。

基本使用

1. 测试/推理 (Edge Detection)

若要对自己的图片进行边缘检测，请按以下步骤操作：

• 准备图片：将待测试图片放入 data 目录。

• 配置数据集：编辑 datasets.py 或使用默认配置。若要测试自定义图片，建议在 main.py 中选择 CLASSIC 数据集模式（对应索引 8），并确保图片长宽是 16 的倍数（如 512, 960 等），因为模型会将输入下采样 16 倍。

• 运行测试命令： 确保 main.py 中的 --is_testing 参数设置为 True（默认代码逻辑中测试模式通常通过参数控制），然后运行：

  python main.py --choose_test_data=-1
  

  说明：--choose_test_data=-1 通常用于触发针对 data 目录下自定义图片的测试流程（具体行为取决于 datasets.py 中对 -1 或 CLASSIC 的定义，原文示例指出选择 "CLASSIC" 并将数据存入 "data" 目录）。

2. 训练模型 (Training)

若需要使用自己的数据集训练模型：

• 准备数据集：DexiNed 默认使用 BIPED 数据集进行训练。

  • 最新版 BIPED 数据集下载地址：Kaggle 或 项目主页。
  • 将数据集解压并配置好路径（需在 datasets.py 中确认数据路径设置）。

• 运行训练命令： 确保 main.py 中的 --is_testing 参数设置为 False，然后直接运行：

  python main.py
  

  默认情况下，脚本将使用 BIPED 数据集开始训练。如需切换其他数据集（如 BSDS, NYUD 等），请修改 main.py 中 TRAIN_DATA 的索引值（参考 DATASET_NAMES 列表）。

---

项目结构简述：

• main.py: 主入口文件，包含训练和测试的参数设置。
• model.py: DexiNed 网络架构定义。
• datasets.py: 数据集加载与管理配置。
• losses.py: 损失函数定义 (BDCNloss2)。
• data/: 放置测试用图片的目录。