DeepHash-pytorch

一些深度哈希算法的实现、基线及检索演示。

如何运行

我的环境是：

python==3.7.0  torchvision==0.5.0  pytorch==1.4.0  

你可以通过以下命令轻松训练和测试任何算法：

python DSH.py  
python DPSH.py  
python DHN.py    
python DSDH.py    

如果你遇到任何问题，欢迎随时通过邮箱（1142732931@qq.com）联系我，或提交 issue。

数据集

对于 cifar10，有三种不同的配置：

• config["dataset"]="cifar10" 将使用 1000 张图片（每类 100 张）作为查询集，5000 张图片（每类 500 张）作为训练集，剩余的 54,000 张图片则用作数据库。
• config["dataset"]="cifar10-1" 将使用 1000 张图片（每类 100 张）作为查询集，剩余的 59,000 张图片用作数据库，再从数据库中随机抽取 5000 张图片（每类 500 张）作为训练集。
• config["dataset"]="cifar10-2" 将使用 10,000 张图片（每类 1000 张）作为查询集，50,000 张图片（每类 5000 张）同时作为训练集和数据库。

你可以从 这里 下载 NUS-WIDE 数据集。
使用 data/nus-wide/code.py 随机选取每类 100 张图片作为查询集（共 2,100 张）。其余图片则用作数据库集，从中再随机抽取每类 500 张图片作为训练集（共 10,500 张）。

你还可以从 这里 或 百度网盘（密码：hash） 下载 ImageNet、NUS-WIDE-m 和 COCO 数据集，这些数据集的划分方式均来自该处。

NUS-WIDE-m 与 NUS-WIDE 不同，因此我特意加以区分。

NUS-WIDE 包含 269,648 张图片，其中 195,834 张与 21 个最频繁的概念相关联。

而 NUS-WIDE-m 则包含 223,496 张图片，它被用于 HashNet（ICCV2017） 及其代码 HashNet caffe 和 pytorch 中。

下载 mirflickr，并使用 ./data/mirflickr/code.py 随机选取 1000 张图片作为测试查询集，4000 张图片作为训练集。

演示

• model imagenet_64bits_0.8824931967229359.zip 百度网盘（密码：hash）。
• matplotlib 演示

cd demo
python demo.py   

• Flask 演示

cd demo/www
python app.py   

精确率-召回率曲线

我在 DSH.py 中添加了如下代码：

        config["pr_curve_path"] = f"log/alexnet/DSH_{config['dataset']}_{bit}.json"

要获取精确率-召回率曲线，你需要将 JSON 路径 "DSH": "../log/alexnet/DSH_cifar10-1_48.json", 复制到 precision_recall_curve.py 文件中，并运行该文件。

cd utils
python precision_recall_curve.py   

论文与代码

由于全部由自己实现较为困难，因此我在这些代码的基础上进行了一些修改。

DSH（CVPR2016）
论文：用于快速图像检索的深度监督哈希
代码：DSH-pytorch

DPSH（IJCAI2016）
论文：基于特征学习的带成对标签的深度监督哈希
代码：DPSH-pytorch

DHN（AAAI2016）
论文：用于高效相似性检索的深度哈希网络
代码：DeepHash-tensorflow

DTSH（ACCV2016）
论文：带有三元组标签的深度监督哈希
代码：DTSH

HashNet（ICCV2017）
论文：HashNet：通过延续法进行深度学习哈希
代码：HashNet caffe和pytorch

GreedyHash（NIPS2018）
论文：Greedy Hash：迈向CNN中精确哈希编码的快速优化
代码：GreedyHash

DSDH（NIPS2017）
论文：深度监督离散哈希
代码：DSDH_PyTorch

DFH（BMVC2019）
论文：量化推进：深度费舍尔哈希
代码：Push-for-Quantization-Deep-Fisher-Hashing

ISDH（arxiv2018）
论文：用于多标签图像检索的实例相似度深度哈希
代码：ISDH-Tensorflow

IDHN（TMM2019）
论文：改进的带软成对相似性的深度哈希用于多标签图像检索
代码：IDHN-Tensorflow

DBDH（Neurocomputing2020）
论文：用于图像检索的深度平衡离散哈希

ADSH（AAAI2018）
论文：非对称深度监督哈希
代码1：ADSH matlab + pytorch
代码2：ADSH_pytorch

DAGH（ICCV2019，此处未实现）
论文：基于锚图的深度监督哈希
代码：DAGH-Matlab

DAPH（ACMMM2017，此处未完全实现）
论文：深度非对称成对哈希

LCDSH（IJCAI2017）
论文：用于图像检索的局部约束深度监督哈希

DSHSD（IEEE ACCESS 2019）
论文：基于稳定分布的深度监督哈希

CSQ（CVPR2020）
论文：用于高效图像和视频检索的中心相似度量化
代码：CSQ-pytorch

通过最大化比特熵的深度无监督图像哈希（AAAI2021）
论文：通过最大化比特熵的深度无监督图像哈希
代码：Deep-Unsupervised-Image-Hashing

平均精度均值，48位[AlexNet]。

算法	数据集	本实现	论文
DSH	cifar10-1	0.800	0.6755
	nus_wide_21	0.798	0.5621
	ms coco	0.655	-
	imagenet	0.576	-
	mirflickr	0.735	-
DPSH	cifar10	0.775	0.757
	nus_wide_21	0.844	0.851(0.812*)
	imagenet	0.502	-
	ms coco	0.711	-
	voc2012	0.608	-
	mirflickr	0.781	-
HashNet	cifar10	0.782	-
	nus wide81 m	0.764	0.7114
	nus_wide_21	0.830	-
	imagenet	0.644	0.6633
	ms coco	0.724	0.7301
DHN	cifar10	0.781	0.621
	nus_wide_21	0.841	0.758
	imagenet	0.486	-
	ms coco	0.712	-
	mirflickr	0.775	-
DSDH	cifar10-1	0.790	0.820
	nus_wide_21	0.833	0.829
	imagenet	0.300	-
	ms coco	0.681	-
	mirflickr	0.765	-
DTSH	cifar 10	0.800	0.774
	nus_wide_21	0.829	0.824
	ms coco	0.760	-
	imagenet	0.631	-
	mirflickr	0.753	-
DFH	cifar10-1	0.801	0.844
	nus_wide_21	0.837	0.842
	ms coco	0.717	-
	imagenet	0.519	0.747
	mirflickr	0.766	-
GreedyHash	cifar10-1	0.817	0.822
	cifar10-2	0.932	0.944
	imagenet	0.678	0.688
	ms coco	0.728	-
	nuswide_21	0.793	-
ADSH	cifar10-1	0.921	0.9390
	nuswide_21	0.622	0.9055
CSQ(ResNet50,64bit)	coco	0.883	0.861
	imagenet	0.881	0.873
	nuswide_21_m	0.844	0.839

由于时间限制，我无法测试许多超参数。

DeepHash-pytorch 快速上手指南

DeepHash-pytorch 是一个基于 PyTorch 实现的深度学习哈希算法集合，包含多种主流基线模型（如 DSH, DPSH, HashNet 等）及图像检索演示。

环境准备

本项目依赖以下特定版本的 Python 和深度学习框架，建议创建独立的虚拟环境以避免冲突。

• 操作系统: Linux / macOS / Windows
• Python: 3.7.0
• PyTorch: 1.4.0
• Torchvision: 0.5.0

提示：国内用户安装 PyTorch 时，推荐使用清华或中科大镜像源加速下载。 例如：pip install torch==1.4.0 torchvision==0.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

其他依赖库（如 matplotlib, flask 等）可通过常规 pip install 安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/swuxyj/DeepHash-pytorch.git
   cd DeepHash-pytorch
   

2. 安装依赖 确保已安装上述指定版本的 PyTorch。若需安装其他辅助库：

   pip install matplotlib flask scipy numpy
   

3. 准备数据集 项目支持 CIFAR-10, NUS-WIDE, ImageNet, COCO, MIRFLICKR 等数据集。

   • CIFAR-10: 代码通常会自动下载或需在配置中指定路径。
   • NUS-WIDE / ImageNet / COCO:
     • 可从 HashNet 仓库 下载划分好的数据。
     • 国内加速下载：作者提供了百度网盘链接（提取码：hash）：点击下载。
   • 下载后请根据 data/ 目录下的脚本（如 code.py）进行查询集、训练集和数据库集的划分。

基本使用

1. 训练与测试模型

无需复杂配置，直接运行对应的算法脚本即可启动训练和测试流程。支持的主要算法包括 DSH, DPSH, DHN, DSDH 等。

# 运行 DSH 算法
python DSH.py

# 运行 DPSH 算法
python DPSH.py

# 运行 DHN 算法
python DHN.py

# 运行 DSDH 算法
python DSDH.py

注意：默认配置针对 CIFAR-10 数据集。若需切换数据集或调整参数（如哈希码长度），请修改对应 .py 文件中的 config 字典。

• config["dataset"] = "cifar10": 标准划分。
• config["dataset"] = "cifar10-1": 随机采样训练集划分。
• config["dataset"] = "nus_wide_21": NUS-WIDE 21 类子集。

2. 可视化演示

绘制精度 - 召回率曲线 (Precision-Recall Curve)

部分算法（如 DSH）运行后会生成 JSON 日志。生成曲线步骤如下：

1. 确保算法运行完毕，生成了类似 log/alexnet/DSH_cifar10-1_48.json 的文件。
2. 编辑 utils/precision_recall_curve.py，将结果路径填入配置：

   "DSH": "../log/alexnet/DSH_cifar10-1_48.json",
   

3. 执行绘图脚本：

   cd utils
   python precision_recall_curve.py
   

Flask Web 检索演示

项目提供了一个简单的 Web 界面用于展示检索效果：

cd demo/www
python app.py

启动后在浏览器访问 http://127.0.0.1:5000 即可体验图像检索功能。

Matplotlib 静态演示

查看静态检索结果示例：

cd demo
python demo.py