TiefVision

端到端深度学习图像相似度搜索引擎。

TiefVision 是一个基于深度学习的端到端集成式图像搜索引擎。它涵盖了 图像分类、图像定位（OverFeat）和 图像相似度（Deep Ranking）。

TiefVision 使用 Torch 和 Play Framework（Scala 版本）实现。目前仅支持配备 CUDA 的 GPU 的 Linux 系统。

结果

以下是针对一套连衣裙数据集的部分（最佳）结果：

功能

该项目分为两个模块组：深度学习模块和 工具模块。

深度学习模块

TiefVision 包含的深度学习模块如下：

迁移学习

TiefVision 转移了一个简化的（无分组）AlexNet 网络，用于编码目的。 迁移学习阶段涉及以下步骤：

• 将一个已经训练好的无分组 AlexNet 神经网络拆分为两个神经网络：
• 下部卷积部分，作为高层特征的编码器（“图像编码器”）
• 上部/顶部全连接部分，因主要用于其他用途（ImageNet 分类）而被舍弃。
• 降低编码器神经网络（下部）中最后一个最大池化层的步长，以提高空间精度。

图像分类

图像分类模块执行以下步骤：

• 使用编码神经网络对目标图像中的所有裁剪区域（例如，连衣裙）及其背景进行编码：

• 目标图像裁剪区域：对图像进行裁剪，使得至少50%的裁剪区域位于目标图像的边界框内。对于连衣裙数据集，至少50%的裁剪区域应包含连衣裙（最多可包含50%的背景）。

• 背景图像裁剪区域：对图像进行裁剪，使得至少50%的裁剪区域包含目标图像的背景。以连衣裙为例，至少50%的裁剪区域应包含背景。

• 训练一个全连接神经网络，用于对目标图像裁剪区域（例如，连衣裙）及其背景裁剪区域（例如，摄影棚背景）进行分类。

图像定位（基于OverFeat）

图像定位模块执行以下步骤：

• 将目标图像裁剪区域数据集与其归一化的边界框偏移量（即边界框左上角点与图像坐标原点之间的距离）一起进行编码。
• 训练四个全连接神经网络，用于预测边界框的两个相对顶点坐标：
• 两个神经网络用于预测左上角点的两个维度坐标。
• 两个神经网络用于预测右下角点的两个维度坐标。
• 利用图像分类神经网络提取边界框，并滤除背景裁剪区域；然后使用边界框神经网络对边界框进行平均处理。

图像相似度（基于Deep Ranking）

相似度基于两张图像编码之间的距离计算。 TiefVision训练一个神经网络，将编码后的图像映射到一个空间中，在该空间中，两个图像编码的点积即为它们之间的相似性距离。由于编码是归一化的，因此点积实际上计算的是两个编码之间夹角的余弦值。

给定以下三元组图像：

• H：参考图像
• H+：与参考图像（H）相似的图像
• H-：另一张与H相似但不如**H+**相似的图像

它通过使用合页损失函数来训练神经网络，使H+比H-更接近H：l(H, H+, H-) = max(0, margin + D(H, H+) - D(H, H-))，其中D表示映射到神经网络输出空间后两幅图像的点积：D(H1, H2) = NN(H1) · NN(H2)

工具模块

TiefVision包含一组Web工具，旨在简化数据集的生成过程，从而提高生产效率。

当前提供的工具包括：

• 可视化边界框数据库编辑器

• 可视化相似度数据库编辑器

• 基于Web的文件型图像搜索

• 图像画廊浏览器（点击搜索）

• 自动化训练和测试数据集生成，适用于：
• 图像（裁剪）分类
• 边界框回归
• 图像相似度（Deep Ranking）

开发者指南

有关详细信息，请参阅开发者指南。

版权声明

版权所有 © 2016 Pau Carré Cardona - 保留所有权利 您可以在Apache许可证v2的条款下使用、分发和修改此代码。

TiefVision 快速上手指南

TiefVision 是一个基于深度学习的端到端图像相似度搜索引擎，支持图像分类、目标定位（基于 OverFeat）和图像相似度检索（基于 Deep Ranking）。

环境准备

在开始之前，请确保您的开发环境满足以下严格要求：

• 操作系统：仅限 Linux。
• 硬件要求：必须配备支持 CUDA 的 NVIDIA GPU。
• 核心依赖：
  • Torch (深度学习框架)
  • Play Framework (Scala 版本，用于 Web 服务)

注意：该项目目前不支持 Windows 或 macOS，且未提供预编译包，需从源码构建。

安装步骤

由于项目依赖 Torch 和 Scala Play 框架，请按顺序执行以下操作：

1. 安装系统基础依赖

确保已安装 Git、CUDA Toolkit 及基础编译工具。

sudo apt-get update
sudo apt-get install -g git build-essential libatlas-base-dev
# 请根据 NVIDIA 官网指引安装对应版本的 CUDA Toolkit

2. 安装 Torch

如果您尚未安装 Torch，请使用官方脚本进行安装：

curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash

安装完成后，加载环境变量：

source ~/.bashrc

3. 克隆项目并安装 Lua 依赖

获取 TiefVision 源码并安装所需的 Lua 包：

git clone https://github.com/tiefvision/tiefvision.git
cd tiefvision

# 使用 luarocks 安装项目依赖
luarocks make rocks/tiefvision-scm-1.rockspec

4. 配置 Play Framework (Scala)

进入 Web 模块目录，确保已安装 sbt (Scala Build Tool)，然后编译项目：

cd web-app
sbt compile

注：国内开发者若遇到 sbt 下载依赖缓慢，建议在 ~/.sbt/repositories 中配置阿里云或腾讯云镜像源。

基本使用

TiefVision 的工作流主要分为数据标注、模型训练和搜索服务启动。以下是最简化的使用示例：

1. 数据标注

使用内置的 Web 工具标注数据集（生成边界框和相似度三元组）。 启动标注服务器：

cd web-app
sbt "run 9000"

访问 http://localhost:9000，使用 Visual Bounding Box Database Editor 标注目标物体（如服装），并使用 Visual Similarity Database Editor 定义图像间的相似关系（H, H+, H- 三元组）。

2. 训练模型

标注完成后，使用 Torch 脚本进行端到端训练。该过程包含迁移学习（AlexNet 编码器）、分类器训练、定位网络训练及排序网络训练。

运行训练脚本（假设数据已整理至 data/ 目录）：

th scripts/train.lua --dataDir data/dresses --modelDir models/dresses

训练完成后，模型权重将保存在 models/dresses 目录下。

3. 启动搜索服务

加载训练好的模型并启动图像搜索 API：

th scripts/server.lua --modelDir models/dresses --port 8080

4. 执行搜索

服务启动后，您可以通过 HTTP 请求上传图像进行相似度检索，或直接使用内置的 Image Gallery Browser 界面：

http://localhost:8080/search

点击界面上的任意图片，系统将实时返回基于深度特征编码的相似图像结果。