基于在线成对/三元组挖掘的暹罗网络和三元组网络学习

用于学习嵌入表示的暹罗网络和三元组网络的 PyTorch 实现。

暹罗网络和三元组网络可用于学习从图像到紧凑欧几里得空间的映射，其中距离对应于相似度度量[2]。以这种方式训练得到的嵌入可以作为分类或少样本学习任务的特征向量使用。

安装

需要 PyTorch 0.4 和 torchvision 0.2.1。

若需兼容 PyTorch 0.3，请检出标签 torch-0.3.1。

代码结构

• datasets.py
  • SiameseMNIST 类 - MNIST 类似数据集的包装器，返回随机的正负样本对。
  • TripletMNIST 类 - MNIST 类似数据集的包装器，返回随机三元组（锚点、正样本和负样本）。
  • BalancedBatchSampler 类 - 数据加载器的批采样器，根据标签从每个类别中随机选择 n_classes 个类别和 n_samples 个样本。
• networks.py
  • EmbeddingNet - 用于将图像编码为嵌入向量的基础网络。
  • ClassificationNet - 嵌入网络的包装器，添加全连接层和 log softmax 用于分类。
  • SiameseNet - 嵌入网络的包装器，处理输入的成对样本。
  • TripletNet - 嵌入网络的包装器，处理输入的三元组样本。
• losses.py
  • ContrastiveLoss - 针对嵌入对及其目标（相同/不同）的对比损失。
  • TripletLoss - 针对嵌入三元组的三元组损失。
  • OnlineContrastiveLoss - 针对一小批嵌入的对比损失。使用 PairSelector 对象根据真实类别标签在小批量中查找正负样本对，并计算这些样本对的对比损失。
  • OnlineTripletLoss - 针对一小批嵌入的三元组损失。使用 TripletSelector 对象根据真实类别标签在小批量中查找三元组，并计算三元组损失。
• trainer.py
  • fit - 用于训练具有不同输入数量和不同类型损失函数的网络的统一函数。
• metrics.py
  • 可与 trainer.py 中的 fit 函数一起使用的示例指标。
• utils.py
  • PairSelector - 定义基于嵌入和真实类别标签生成样本对的抽象类。可与 OnlineContrastiveLoss 一起使用。
    • AllPositivePairSelector, HardNegativePairSelector - PairSelector 的具体实现。
  • TripletSelector - 定义基于嵌入和真实类别标签生成三元组的抽象类。可与 OnlineTripletLoss 一起使用。
    • AllTripletSelector, HardestNegativeTripletSelector, RandomNegativeTripletSelector, SemihardNegativeTripletSelector - TripletSelector 的具体实现。

示例 - MNIST

我们将在 MNIST 数据集上训练嵌入。实验是在 jupyter notebook 中进行的。

我们将通过 MNIST 数据集，使用不同的损失函数来学习监督式特征嵌入。这里仅用于可视化目的，因此我们使用的是二维嵌入，这在实际应用中并不是最佳选择。

对于每个实验，我们都使用相同的嵌入网络（32 个 5x5 卷积 -> PReLU -> 2x2 最大池化 -> 64 个 5x5 卷积 -> PReLU -> 2x2 最大池化 -> 全连接 256 -> PReLU -> 全连接 256 -> PReLU -> 全连接 2），并且没有进行超参数搜索。

基线 - 使用 softmax 的分类

我们添加一个与类别数相等的全连接层，并使用 softmax 和交叉熵损失训练网络进行分类。网络最终达到约 99% 的准确率。我们从倒数第二层提取 2 维嵌入：

训练集：

测试集：

虽然这些嵌入看起来是可分的（这也是我们训练它们的目的），但它们并不具备良好的度量特性。因此，它们可能不适合作为新类别的描述符。

暹罗网络

现在我们将训练一个暹罗网络，该网络接收一对图像，并训练嵌入使得来自同一类别的图像之间的距离尽可能小，而来自不同类别的图像之间的距离则大于某个边界值。

我们将最小化对比损失函数 [1]：

SiameseMNIST 类会随机采样正负样本对，然后将其输入暹罗网络。

经过 20 个 epoch 的训练后，我们在训练集上得到了以下嵌入：

测试集：

训练得到的嵌入在同类内部聚类得更好。

三元组网络

我们将训练一个三元组网络，该网络接收一个锚点样本、一个与其同属一类的正样本以及一个属于不同类别的负样本。目标是学习一种嵌入，使得锚点样本与正样本的距离比与负样本的距离更近，并且两者之间存在一定的边界值。

来源: Schroff, Florian, Dmitry Kalenichenko, and James Philbin. Facenet: A unified embedding for face recognition and clustering. CVPR 2015.

三元组损失:

TripletMNIST 类会为每一个可能的锚点样本随机采样正负样本。

经过 20 个 epoch 的训练后，我们在训练集上得到了以下嵌入：

测试集：

训练得到的嵌入在同类内部并不像暹罗网络那样紧密，但这并不是我们优化的目标。我们希望嵌入与同类别中的其他嵌入相比，与不同类别的嵌入距离更远，而从结果来看，训练确实朝着这个方向发展。

在线对/三元组选择——负样本挖掘

暹罗网络和三元组网络存在几个问题：

1. 可能的对/三元组数量会随着样本数量的增加而呈二次方/三次方增长。处理所有这些对/三元组是不现实的，且训练收敛速度很慢。
2. 先前我们是随机生成对/三元组的。随着训练的进行，越来越多的对/三元组变得容易（损失值非常小甚至为0），这阻碍了网络的学习。我们需要为网络提供难样本。
3. 每张输入到网络中的图像仅用于计算一个对或三元组的对比损失/三元组损失。这种计算有些浪费；一旦嵌入被计算出来，它本可以被复用于许多对/三元组。

为了高效地解决这些问题，我们将像分类任务那样向网络输入标准的小批量数据。损失函数将负责在小批量内选择难样本对和三元组。如果我们每批次输入16张来自10个类别的图像，那么可以处理多达159×160/2 = 12,720个对，以及10×16×15/2×(9×16) = 172,800个三元组，相比之下，在之前的实现中只能处理80个对和53个三元组。

通常情况下，处理小批量内的所有可能对或三元组并不是最佳方案。关于如何选择三元组，可以在文献[2]和[3]中找到一些策略。

在线对选择

我们将像训练分类网络一样，向网络输入小批量数据。这一次，我们会使用一种特殊的BatchSampler，它会在每个类别中采样n_classes个类别和n_samples个样本，从而得到大小为n_classes×n_samples的小批量。

对于每个小批量，将根据提供的标签选择正样本对和负样本对。

MNIST数据集相对简单，从随机选择的样本对中得到的嵌入已经相当不错，因此在这里我们并没有看到明显的改进。

训练集嵌入：

测试集嵌入：

在线三元组选择

我们将像在线对选择那样，向网络输入小批量数据。给定标签和预测的嵌入，我们可以采用几种不同的三元组选择策略：

• 所有可能的三元组（可能会太多）
• 每个正样本对中最难的负样本（会导致每个锚点对应相同的负样本）
• 每个正样本对中随机选择的难负样本（只考虑三元组损失为正的情况）
• 每个正样本对中半难的负样本（类似于文献[2]中的方法）

三元组选择策略必须谨慎选择。如果策略不当，可能会导致训练效率低下，甚至更糟的是模型坍塌（所有嵌入最终都变为相同的值）。

以下是针对每个正样本对随机选择难负样本的结果。

训练集：

测试集：

FashionMNIST

类似的实验也在FashionMNIST数据集上进行了，其中在线负样本挖掘的优势更加明显。我们使用了完全相同的网络架构，但嵌入维度仅为2维，这可能不足以学习到良好的嵌入表示。对于类别数更多、数据集更复杂的场景，采用在线挖掘的方法将会带来更大的收益。

基线——分类任务

暹罗网络与带负样本挖掘的在线对比损失

暹罗网络，随机选择样本对

带负样本挖掘的在线对比损失

三元组网络与带负样本挖掘的在线三元组损失

三元组网络，随机选择三元组

带负样本挖掘的在线三元组损失

待办事项

• 优化三元组选择策略
• 使用可比较不同方法的指标进行评估
• 在测试集中包含训练集未出现的类别时，进行一次-shot设置下的评估
• 展示在更复杂数据集上的在线三元组选择示例

参考文献

[1] Raia Hadsell, Sumit Chopra, Yann LeCun，《通过学习不变映射进行降维》（http://yann.lecun.com/exdb/publis/pdf/hadsell-chopra-lecun-06.pdf），CVPR 2006

[2] Schroff, Florian, Dmitry Kalenichenko, and James Philbin，《FaceNet：用于人脸识别和聚类的统一嵌入》（https://arxiv.org/abs/1503.03832），CVPR 2015

[3] Alexander Hermans, Lucas Beyer, Bastian Leibe，《为行人再识别辩护：关于三元组损失的思考》（https://arxiv.org/pdf/1703.07737），2017年

[4] Brandon Amos, Bartosz Ludwiczuk, Mahadev Satyanarayanan，《OpenFace：一个通用的人脸识别库及其移动应用》（http://reports-archive.adm.cs.cmu.edu/anon/2016/CMU-CS-16-118.pdf），2016年

[5] Yi Sun, Xiaogang Wang, Xiaoou Tang，《通过联合识别-验证进行深度学习人脸表征》（http://papers.nips.cc/paper/5416-deep-learning-face-representation-by-joint-identification-verification），NIPS 2014

Siamese-Triplet 快速上手指南

本指南基于 siamese-triplet 开源项目，帮助开发者快速搭建孪生网络（Siamese Network）和三元组网络（Triplet Network），用于学习图像的紧凑嵌入向量（Embeddings）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • PyTorch >= 0.4 (推荐最新稳定版)
  • torchvision >= 0.2.1
• 可选依赖：Jupyter Notebook (用于运行示例实验)

注意：如果您使用的是较旧的 PyTorch 0.3 版本，请检出 torch-0.3.1 标签。

安装步骤

1. 克隆仓库

首先从 GitHub 获取源代码：

git clone https://github.com/adambielski/siamese-triplet.git
cd siamese-triplet

2. 安装依赖

推荐使用国内镜像源加速安装 PyTorch 及相关依赖。以下命令使用清华源安装所需包：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中包含 requirements.txt，也可以直接安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

该项目主要用于通过不同的损失函数（对比损失、三元组损失）在 MNIST 数据集上训练嵌入网络。以下是基于提供的代码结构进行简单使用的流程。

1. 导入核心模块

在您的 Python 脚本或 Jupyter Notebook 中，导入必要的类：

from datasets import SiameseMNIST, TripletMNIST, BalancedBatchSampler
from networks import EmbeddingNet, SiameseNet, TripletNet
from losses import OnlineContrastiveLoss, OnlineTripletLoss
from utils import AllTripletSelector, HardestNegativeTripletSelector
from trainer import fit

2. 定义网络架构

创建一个基础的嵌入网络（参考 README 中的 MNIST 示例架构）：

import torch.nn as nn
import torch.nn.functional as F

class EmbeddingNet(nn.Module):
    def __init__(self):
        super(EmbeddingNet, self).__init__()
        self.convnet = nn.Sequential(
            nn.Conv2d(1, 32, 5), nn.PReLU(), nn.MaxPool2d(2, 2),
            nn.Conv2d(32, 64, 5), nn.PReLU(), nn.MaxPool2d(2, 2)
        )
        self.fc = nn.Sequential(
            nn.Linear(64 * 4 * 4, 256), nn.PReLU(),
            nn.Linear(256, 256), nn.PReLU(),
            nn.Linear(256, 2) # 输出 2 维向量以便可视化
        )

    def forward(self, x):
        x = self.convnet(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

3. 包装网络与选择损失函数

根据任务需求选择孪生网络或三元组网络，并配置在线挖掘（Online Mining）策略：

示例：使用三元组网络进行在线难例挖掘

# 实例化基础网络
base_network = EmbeddingNet()

# 包装为三元组网络
triplet_net = TripletNet(base_network)

# 定义损失函数：使用在线三元组选择器（例如：随机硬负样本）
loss_fn = OnlineTripletLoss(margin=1.0, triplet_selector=RandomNegativeTripletSelector(margin=1.0))
# 注意：需从 utils 导入具体的 Selector 类，如 RandomNegativeTripletSelector

4. 准备数据加载器

使用 BalancedBatchSampler 确保每个批次中包含均衡的类别和样本，这对于在线挖掘至关重要：

from torch.utils.data import DataLoader

# 假设已加载 MNIST 数据集 train_dataset
n_classes = 10
n_samples = 16

batch_sampler = BalancedBatchSampler(train_dataset.targets, n_classes=n_classes, n_samples=n_samples)
data_loader = DataLoader(train_dataset, batch_sampler=batch_sampler)

5. 开始训练

使用统一的 fit 函数启动训练：

# 定义优化器
optimizer = torch.optim.Adam(triplet_net.parameters(), lr=0.001)

# 开始训练 (epochs, data_loader, model, loss_fn, optimizer, metrics)
fit(epochs=20, 
    train_loader=data_loader, 
    model=triplet_net, 
    loss_fn=loss_fn, 
    optimizer=optimizer, 
    metrics=[]) 

训练完成后，您可以提取 base_network 生成的嵌入向量，用于分类、聚类或少样本学习（Few-shot Learning）任务。详细的实验代码和可视化结果请参考项目中的 Experiments_MNIST.ipynb。