用于图像检索的卷积神经网络

博文：使用MatconvNet和预训练的ImageNet模型进行图像检索，对应的网页演示主页为picSearch。

2017/10/08：构建了CBIR检索对比框架cnn-cbir-benchmark，包括Fisher Vector、VLAD、FC、RMAC、CROW。

2017/08/15更新：增加了Python版本，Caffe版本，Keras版本。

2015/12/31更新：添加对MatConvNet最新版version 1.0-beta17的支持，预训练的模型请到Matconvnet官网下载最新的模型。

2015/12/31更新：添加对MatConvNet最新版version 1.0-beta17的支持，预训练的模型请到Matconvnet官网下载最新的模型。

2015/10/20更新：Web演示部分代码公开CNN-Web-Demo-for-Image-Retrieval。

2015/09/24更新：添加对MatConvNet最新版version 1.0-beta14的支持。

2015/12/31更新：添加对MatConvNet最新版version 1.0-beta17的支持，删掉原来的版本(预训练的模型请到matconvnet官网下载最新的模型)。

2015/06/29更新：添加对MatConvNet最新版version 1.0-beta12的支持。

注意：其中文件夹matconvnet-1.0-beta17是已经编译好了的，鉴于MatConvNet只能在Matlab 2014及其以上以及系统必须是64位，所以在使用此工具箱之前得满足这两个条件。如果是Pythoner，推荐使用flask-keras-cnn-image-retrieval，纯Python，非常易于写成在线图像搜索应用。

Caltech-256图像数据库上搜索结果

运行步骤

1). 如果不需要计算mAP的话，那就直接把你的图像库文件夹名字命名为database，并将图片全部放在放在database文件夹下即可。如果你要在后面计算MAP（平均检索精度）的话，要确保图像数据库做成文件夹databaseClassified中的形式，然后执行下面命令：

python movefiles.py

2). 接着便可以抽取特征。运行extractCNN.m，要用parfor并行的话，直接修改注释部分即可。

3). 检索可视化。这一步运行queryInDatabaseDemo.m即可。

4). 计算mAP。不需要计算MAP的这步略过。运行compute_MAP.m，关于mAP的计算，请参阅我画的mAP计算过程示意图：信息检索评价指标，这个计算mAP的脚本是按照那个流程中定义的mAP计算方式来写的。

降维

非常的amazing, 除了验证降维到128D后损失不减外，惊奇地发现4096D的CNN降维到128D后精度还有提高，一种可能的解释：CNN特征也有一定的信息冗余，信息冗余所带来的影响比降维所带来的损失的影响要更大。结论：You should reduce the dimension of CNN when you use if.

PCA降维对CNN特征的影响

上面实验使用的是本项目代码，图像数据集使用的是Caltech101。

关于PCA对PCA降维的影响，Neural Codes for Image Retrieval中也有探讨，以及曾跟Adrian Rosebrock也有过这方面的交流：

ANN is really fantastic, it makes such much easier. You could also try something like PCA on your 4096-d vector and try to get it down to 128-d. It would save some space and (ideally) not hurt accuracy.

所以，如果采用了CNN特征的话，推荐将其降维到128D。

CNN资源列表

C++

conv-net-version-3，对应博客Convolutional Neural Networks III

Python

Keras，强力推荐

Keras资源列表：

DeepLearning教程（6）易用的深度学习框架Keras简介

DeepLearning教程（7）深度学习框架Keras的使用-进阶

Keras VGG-16模型 VGG16 model for Keras

PDNN，对应主页PDNN: A Python Toolkit for Deep Learning

Matlab

GoogLeNet, A GPU Implementation of GoogLeNet.

cnn-for-image-retrieval 快速上手指南

本项目基于卷积神经网络（CNN）实现图像检索功能，支持 Matlab (MatConvNet) 和 Python (Caffe/Keras) 多种实现。以下指南主要基于 README 中提供的 Matlab 核心流程，并推荐 Python 替代方案。

环境准备

系统要求

• 操作系统：必须是 64 位 系统。
• Matlab 版本：需安装 Matlab 2014 或更高版本（项目内置了编译好的 matconvnet-1.0-beta17）。
• 预训练模型：需从 MatConvNet 官网 下载最新的预训练模型文件。

前置依赖与替代方案

• Matlab 用户：确保已安装 MatConvNet 工具箱（项目文件夹中已包含编译版）。
• Python 用户（推荐）：如果你更熟悉 Python 或希望部署在线应用，推荐使用作者提供的纯 Python 版本，更易上手且无需 Matlab 环境：
  • Flask + Keras 版本
  • Caffe 版本

安装步骤

1. 克隆项目代码

   git clone https://github.com/willard-yuan/cnn-for-image-retrieval.git
   cd cnn-for-image-retrieval
   

2. 下载预训练模型 访问 MatConvNet 官网 下载最新模型，并将其放置于项目指定的模型目录中（具体路径参考 extractCNN.m 中的配置）。

3. 准备图像数据库

   • 仅检索（不计算 mAP）：创建一个名为 database 的文件夹，将所有待检索图片放入其中。
   • 需要计算 mAP（评估精度）：按照 databaseClassified 文件夹内的分类结构整理图片，然后运行以下命令自动移动文件：

     python movefiles.py
     

基本使用

以下以最基础的图像检索流程为例（基于 Matlab）：

1. 提取特征

运行 extractCNN.m 脚本提取图像库的 CNN 特征。

提示：如需加速处理，可取消脚本中 parfor 部分的注释以启用并行计算。

% 在 Matlab 命令行中运行
extractCNN;

2. 执行检索与可视化

运行演示脚本 queryInDatabaseDemo.m，输入查询图片即可在数据库中检索相似图像并展示结果。

% 在 Matlab 命令行中运行
queryInDatabaseDemo;

3. （可选）计算评估指标 mAP

如果需要评估检索系统的平均精度（mAP），运行以下脚本：

compute_MAP;

💡 性能优化建议

根据项目实验结论，强烈建议对提取的 CNN 特征进行降维处理。

• 将原始的 4096 维特征通过 PCA 降维至 128 维。
• 效果：不仅能大幅节省存储空间，实验表明在 Caltech101 等数据集上，降维后的检索精度甚至有所提升（消除了特征冗余）。