基于非参数化实例判别的无监督特征学习

本仓库包含CVPR2018无监督学习论文的PyTorch实现 (arxiv)。

更新的预训练模型

提供了一个更新的实例判别模型，采用了记忆库实现，并使用了65536个负样本的NCE损失。该更新后的模型采用CPC/MoCo中使用的Softmax-CE损失进行训练，而非原始的NCE损失。

• ResNet 50（线性ImageNet准确率58.5%）

旧版：原始发布的ResNet18和ResNet50模型，分别使用4096个负样本和NCE损失进行训练。每个tar包包含ImageNet所有训练图像的特征表示（600 MB）以及模型权重（100–200 MB）。您也可以通过将整个ImageNet数据集输入网络来获取这些特征表示。

• ResNet 18（top 1最近邻准确率41.0%）
• ResNet 50（top 1最近邻准确率46.8%）

亮点

• 我们从一个完全不同的非参数化视角来构建无监督学习。
• 每张图像的特征编码可以紧凑到仅128维。
• 能够受益于监督学习中先进的架构和技术。
• 可以与最近邻分类器无缝配合使用。

最近邻检索

请访问此链接，查看ImageNet上的最近邻检索结果。结果基于我们的ResNet50模型生成，并与原始图像特征及监督学习特征进行了对比。第一列为查询图像，随后是按相似度排序的20个检索结果。

使用方法

我们的代码扩展了官方PyTorch发布中用于ImageNet分类的PyTorch实现。有关数据准备和硬件配置的详细信息，请参考官方仓库。

• 支持Python 2.7和PyTorch 0.4版本

• 如果您需要PyTorch 0.3版本，请切换到v0.3标签

• 克隆本仓库：git clone https://github.com/zhirongw/lemniscate.pytorch

• 在ImageNet上进行训练：

  python main.py DATAPATH --arch resnet18 -j 32 --nce-k 4096 --nce-t 0.07 --lr 0.03 --nce-m 0.5 --low-dim 128 -b 256

  • 参数nce-k控制负样本的数量。若nce-k设置为0，则代码也支持全Softmax学习。
  • nce-t控制分布的温度。实践中0.07–0.1效果较好。
  • nce-m用于稳定训练过程。实践中0.5是一个合适的值。
  • 学习率初始设为0.03，略低于标准的监督学习设置。
  • 嵌入维度由参数low-dim控制。

• 在训练过程中，我们通过K=1的最近邻方法监控监督验证准确率，因为这种方法速度更快，且能较好地评估特征质量。

• 在ImageNet上进行测试：

  python main.py DATAPATH --arch resnet18 --resume input_model.pth.tar -e 将以默认的K=200个邻居进行测试。

• 在CIFAR10上进行训练：

  python cifar.py --nce-k 0 --nce-t 0.1 --lr 0.03

引用

@inproceedings{wu2018unsupervised,
  title={Unsupervised Feature Learning via Non-Parametric Instance Discrimination},
  author={Wu, Zhirong and Xiong, Yuanjun and Stella, X Yu and Lin, Dahua},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2018}
}

联系方式

如有任何问题，请随时联系：

Zhirong Wu: xavibrowu@gmail.com

lemniscate.pytorch 快速上手指南

本指南基于 CVPR 2018 论文《Unsupervised Feature Learning via Non-Parametric Instance Discrimination》的 PyTorch 实现，帮助用户快速搭建无监督特征学习环境。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: Python 2.7 (官方原始支持)，也兼容 Python 3 (需自行调整部分语法)
• 深度学习框架: PyTorch 0.4 (官方原始版本)
  • 注：若需使用 PyTorch 0.3，请切换至代码库的 v0.3 标签。现代高版本 PyTorch 可能需要修改部分废弃 API。
• 硬件要求: 支持 CUDA 的 NVIDIA GPU (建议显存 8GB 以上以运行 ResNet50)
• 数据集: ImageNet 或 CIFAR-10 (需预先下载并整理为标准格式)

安装步骤

1. 克隆代码仓库

   git clone https://github.com/zhirongw/lemniscate.pytorch
   cd lemniscate.pytorch
   

2. 安装依赖 确保已安装对应版本的 PyTorch。若未安装，可参考 PyTorch 官网历史版本指引。

   # 示例：安装 PyTorch 0.4 (具体命令视您的 CUDA 版本而定，以下为通用示意)
   pip install torch==0.4.1 torchvision==0.2.1
   

   其他依赖如 numpy, scipy 等通常随 PyTorch 自动安装，若缺失请手动 pip install。

基本使用

1. 在 ImageNet 上训练

以下命令使用 ResNet-18 架构进行无监督训练。请将 DATAPATH 替换为您的 ImageNet 数据集根目录路径。

python main.py DATAPATH --arch resnet18 -j 32 --nce-k 4096 --nce-t 0.07 --lr 0.03 --nce-m 0.5 --low-dim 128 -b 256

关键参数说明：

• --nce-k: 负样本数量。设为 0 时启用全 Softmax 学习。
• --nce-t: 分布温度系数，推荐范围 0.07 - 0.1。
• --nce-m: 动量系数，用于稳定学习过程，推荐 0.5。
• --low-dim: 特征嵌入维度，此处设为 128。
• --lr: 初始学习率，无监督任务通常略低于有监督任务 (默认 0.03)。

提示：训练过程中，代码会通过 K=1 的最近邻分类器监控验证集准确率，以此评估特征质量。

2. 在 ImageNet 上测试 (评估)

加载预训练模型进行评估（默认使用 K=200 个最近邻）：

python main.py DATAPATH --arch resnet18 --resume input_model.pth.tar -e

请将 input_model.pth.tar 替换为您训练好的模型路径或下载的预训练权重文件。

3. 在 CIFAR-10 上训练

针对小规模数据集的快速实验：

python cifar.py --nce-k 0 --nce-t 0.1 --lr 0.03

4. 使用官方预训练模型

您可以直接下载更新的预训练模型（基于 Softmax-CE Loss 训练，效果更优）：

• ResNet-50 (更新版): 下载链接 (ImageNet 线性分类准确率 58.5%)
• ResNet-18 (原版): 下载链接
• ResNet-50 (原版): 下载链接

下载后，使用上述“测试”命令加载即可提取特征或进行评估。