HardNet 模型实现

在 PyTorch 中实现的 HardNet 模型，用于 NIPS 2017 论文 "努力了解邻居的边界：局部描述子学习损失"。 海报, 幻灯片

如何将 HardNet 编译为 Torchscript 以在 C++ 代码中使用示例

Notebook

2025 年 4 月更新

PhotoTour 数据集已 不再可用 原始链接。我们改用 布拉格捷克理工大学的镜像。

2018 年 4 月 6 日更新

我们添加了小幅平移和旋转增强，这使得 HPatches 上的结果提升了最多 1 个 mAP 点。相关代码位于 HardNet.py 中，可通过 --augmentation=True 开启。所有权重将很快更新。基于 Brown + HPatches + PS 数据集训练的版本正在开发中，敬请期待 :)

关于 BoW 检索引擎的常见问题回复

很遗憾，该引擎属于专有技术，我们无法公开。不过您可以尝试以下两个基于 Matlab 的开源项目：

• ASMK
• HQE
• VISE

在 HPatches 上的基准测试，mAP

牛津 5k 数据集上的检索，mAP，Hessian-Affine 检测器

描述子	BoW	BoW + SV	BoW + SV + QE	HQE + MA
TFeatLib	46.7	55.6	72.2	n/a
RootSIFT	55.1	63.0	78.4	88.0
L2NetLib+	59.8	67.7	80.4	n/a
HardNetLibNIPS+	59.8	68.6	83.0	88.2
HardNet++	60.8	69.6	84.5	88.3
HesAffNet + HardNet++	68.3	77.8	89.0	89.5

需求

请使用 Python 2.7，安装 OpenCV 和 requirements.txt 中列出的其他库。

数据集与训练

下载数据集并开始学习描述子：

git clone https://github.com/DagnyT/hardnet
./code/run_me.sh

日志以 TensorBoard 格式存储在 logs/ 目录中。

预训练模型

预训练模型可在 pretrained 文件夹中找到。

第三方预训练模型

Rahul Mitra 提出了一个新的 大规模 patch PS 数据集，并在其上训练出表现更优的 HardNet。原始的 torch 格式权重可在此处获取：这里。

转换后的 PyTorch 版本在此：这里。

我应该使用哪些权重？

对于实际应用，我们推荐 HardNet++。

若需与其他基于 Liberty Brown 数据集训练的描述子进行比较，我们推荐 HardNetLib+。

若要寻找未在 HPatches 数据集上训练的最佳描述子，我们建议使用 Mitra 等人的模型，链接见上文。

使用示例

我们提供了一个使用 HardNet 描述 patch 的示例。脚本期望输入为 HPatches 格式的 patch，即灰度图像，宽度为 patch_size，高度为 n_patches * patch_size。

cd examples
python extract_hardnet_desc_from_hpatches_file.py imgs/ref.png out.txt

或使用 Caffe：

cd examples/caffe
python extract_hardnetCaffe_desc_from_hpatches_file.py ../imgs/ref.png hardnet_caffe.txt

使用 HardNet 的项目

AffNet -- 学习局部仿射形状估计器。

引用

如果您使用此代码，请引用我们：

@inproceedings{HardNet,
 author = {Anastasiya Mishchuk, Dmytro Mishkin, Filip Radenovic, Jiri Matas},
 title = "{努力了解邻居的边界：局部描述子学习损失}",
 booktitle = {NeurIPS 会议论文集},
 year = 2017,
 month = dec
}

HardNet 快速上手指南

HardNet 是一个基于 PyTorch 实现的局部描述符学习模型，源自 NIPS 2017 论文。它通过优化邻居边缘（margins）损失函数，在图像匹配和检索任务中表现优异。

环境准备

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 原文推荐 Python 2.7，但鉴于 Python 2 已停止维护，建议在 Python 3.6+ 环境中运行（通常可兼容，若遇报错请尝试切换至 2.7）。
• 核心依赖:
  • PyTorch
  • OpenCV (opencv-python)
  • TensorBoard (用于查看训练日志)
  • 其他依赖库见项目根目录 requirements.txt

国内加速建议：

• PyTorch 安装推荐使用清华或中科大镜像源。
• 数据集下载：原 PhotoTour 数据集链接已失效，项目已更新使用 捷克布拉格捷克理工大学 (CTU) 的镜像源，国内访问速度相对较好。

安装步骤

1. 克隆项目代码

   git clone https://github.com/DagnyT/hardnet
   cd hardnet
   

2. 安装依赖库 建议先安装基础视觉库，再安装其余依赖：

   pip install opencv-python tensorboard
   pip install -r requirements.txt
   

   (注：若使用 Python 3 遇到兼容性问题，可能需要手动调整 requirements.txt 中的部分包版本)

3. 获取预训练模型（可选） 项目已包含预训练权重在 pretrained 文件夹中。如需使用第三方在 PS 大数据集上训练的更强模型，可参考 README 中的 Dropbox 链接手动下载并放入对应目录。

基本使用

以下示例展示如何使用 HardNet 提取图像块（Patches）的描述符。脚本默认输入格式为 HPatches 格式（即：单通道灰度图，宽度=补丁尺寸，高度=补丁数量 × 补丁尺寸）。

1. 准备输入数据

确保你有一张符合上述格式的灰度图片，例如 imgs/ref.png。

2. 运行提取脚本

进入 examples 目录并执行以下命令：

cd examples
python extract_hardnet_desc_from_hpatches_file.py imgs/ref.png out.txt

• imgs/ref.png: 输入的灰度图像文件。
• out.txt: 输出的描述符文件路径。

3. 使用 Caffe 版本（可选）

如果你习惯使用 Caffe 框架，也可以使用提供的转换脚本：

cd examples/caffe
python extract_hardnetCaffe_desc_from_hpatches_file.py ../imgs/ref.png hardnet_caffe.txt

4. 模型选择建议

根据应用场景选择合适的预训练权重（位于 pretrained 目录）：

• 通用最佳实践: 推荐使用 HardNet++ 模型（训练于多个数据集），性能最强。
• 公平对比: 若需与仅在 Liberty Brown 数据集上训练的其他描述符对比，请使用 HardNetLib+。
• 非 HPatches 训练: 若需要未在任何 HPatches 数据上训练过的模型，建议使用 Mitra 等人提供的 HardNetPS 模型。