深入探究少样本分类 (A Closer Look at Few-shot Classification)

本仓库包含论文 A Closer Look at Few-shot Classification 的参考源代码，该论文发表于国际学习表征会议 (ICLR) 2019。在此项目中，我们提供了一个集成的测试平台 (testbed)，用于对少样本分类 (few-shot classification) 进行详细的实证研究。

引用

如果您觉得我们的代码有用，请使用以下 bibtex 引用我们的工作：

@inproceedings{
chen2019closerfewshot,
title={A Closer Look at Few-shot Classification},
author={Chen, Wei-Yu and Liu, Yen-Cheng and Kira, Zsolt and Wang, Yu-Chiang and  Huang, Jia-Bin},
booktitle={International Conference on Learning Representations},
year={2019}
}

环境

• Python3
• Pytorch 0.4 之前版本（对于新版本，请参见 issue #3）
• json

开始使用

CUB

• 进入目录 ./filelists/CUB
• 运行 source ./download_CUB.sh

mini-ImageNet

• 进入目录 ./filelists/miniImagenet
• 运行 source ./download_miniImagenet.sh

（警告：这将下载 155G 的 ImageNet 数据集。如果您已有该数据集，可以在 download_miniImagenet.sh 中注释掉第 5-6 行。）

mini-ImageNet->CUB (cross)

• 完成 CUB 和 mini-ImageNet 的准备即可！

Omniglot

• 进入目录 ./filelists/omniglot
• 运行 source ./download_omniglot.sh

Omniglot->EMNIST (cross_char)

• 首先完成 omniglot 的准备
• 进入目录 ./filelists/emnist
• 运行 source ./download_emnist.sh

自定义设置

• 每个数据集需要三个数据划分 json 文件：'base.json', 'val.json', 'novel.json'
• 格式应遵循
  {"label_names": ["class0","class1",...], "image_names": ["filepath1","filepath2",...],"image_labels":[l1,l2,l3,...]}
  参见 test.json 作为参考
• 将这些文件放在同一文件夹中，并在 configs.py 中将 data_dir['DATASETNAME'] 更改为文件夹路径

训练

运行 python ./train.py --dataset [DATASETNAME] --model [BACKBONENAME] --method [METHODNAME] [--OPTIONARG]

例如，运行 python ./train.py --dataset miniImagenet --model Conv4 --method baseline --train_aug
以下命令均遵循此示例，更多选项请参考 io_utils.py。

保存特征

在分类层之前保存提取的特征以提高测试速度。这不适用于 MAML (Model-Agnostic Meta-Learning)，但其他方法需要。 运行 python ./save_features.py --dataset miniImagenet --model Conv4 --method baseline --train_aug

测试

运行 python ./test.py --dataset miniImagenet --model Conv4 --method baseline --train_aug

结果

• 测试结果将记录在 ./record/results.txt 中
• 所有预计算的结果，请查看 ./record/few_shot_exp_figures.xlsx。这对于包含您自己的结果以便进行公平比较很有帮助。

参考文献

我们的测试平台基于几个现有的公开代码构建。具体来说，我们对以下代码进行了修改并集成到本项目中：

• 框架，骨干网络 (Backbone), 方法：Matching Network (匹配网络) https://github.com/facebookresearch/low-shot-shrink-hallucinate
• Omniglot 数据集，方法：Prototypical Network (原型网络) https://github.com/jakesnell/prototypical-networks
• 方法：Relational Network (关系网络) https://github.com/floodsung/LearningToCompare_FSL
• 方法：MAML https://github.com/cbfinn/maml
  https://github.com/dragen1860/MAML-Pytorch
  https://github.com/katerakelly/pytorch-maml

常见问题

• Q1 为什么我复现的 CUB 数据集结果约为 4~5%，而你们报告的结果不同？(#31, #34, #42)

• A1 抱歉，我在论文中报告的结果可能是在不同的轮次 (epochs) 或回合 (episodes) 下运行的，详情请见各个 issue。

• Q2 为什么我复现的 mini-ImageNet 数据集结果与你们报告的结果有 1~2% 的差异？(#17, #40, #41 #43)

• A2 由于随机初始化，每次训练过程可能导致不同的准确率。此外，每次测试时间也可能导致不同的准确率。

• Q3 你们是如何决定数据集归一化的均值和标准差的？(#18, #39)

• A3 我使用的是来自 ImageNet 的均值和标准差，但您也可以使用从自己数据集中计算出的值。

• Q4 你们是否有无需下载整个 ImageNet 即可使用的 mini-ImageNet 数据集？(#45 #29)

• A4 您可以使用这里的数据集 https://github.com/oscarknagg/few-shot，但您需要修改 filelists/miniImagenet/write_miniImagenet_filelist.py。

CloserLookFewShot 快速上手指南

本项目是 ICLR 2019 论文《A Closer Look at Few-shot Classification》的参考代码，提供了一个用于少样本分类（Few-shot Classification）实证研究的集成测试平台。支持多种主流模型与数据集。

环境准备

请确保您的开发环境满足以下要求：

• Python: Python 3
• 深度学习框架: PyTorch (建议版本小于 0.4，新版本兼容性请参考 Issue #3)
• 依赖库: json (Python 标准库自带)

数据准备

项目提供了自动化脚本下载常用数据集。请在对应目录下运行 Shell 脚本进行准备。

1. 下载数据集

根据您的需求选择以下任一数据集：

• CUB 数据集

  cd ./filelists/CUB
  source ./download_CUB.sh
  

• mini-ImageNet 数据集

  cd ./filelists/miniImagenet
  source ./download_miniImagenet.sh
  

  注意: 此操作会下载约 155G 的 ImageNet 数据。如果您本地已有该数据集，可编辑 download_miniImagenet.sh 注释掉第 5-6 行。

• Omniglot 数据集

  cd ./filelists/omniglot
  source ./download_omniglot.sh
  

• EMNIST 数据集 (跨字符任务) 需先完成 Omniglot 准备，然后执行：

  cd ./filelists/emnist
  source ./download_emnist.sh
  

2. 自定义数据集设置

若使用自有数据，需准备三个 JSON 文件：base.json, val.json, novel.json。格式如下：

{"label_names": ["class0","class1",...], "image_names": ["filepath1","filepath2",...],"image_labels":[l1,l2,l3,...]}

将文件放入同一文件夹，并在 configs.py 中修改 data_dir['DATASETNAME'] 指向该路径。

基本使用

所有命令均基于示例 miniImagenet 和 Conv4 骨干网络。更多参数选项请参考 io_utils.py。

1. 训练模型

python ./train.py --dataset [DATASETNAME] --model [BACKBONENAME] --method [METHODNAME] [--OPTIONARG]

示例：

python ./train.py --dataset miniImagenet --model Conv4 --method baseline --train_aug

2. 保存特征 (可选)

在分类层之前提取特征以加速测试（不适用于 MAML）。

python ./save_features.py --dataset miniImagenet --model Conv4 --method baseline --train_aug

3. 测试评估

python ./test.py --dataset miniImagenet --model Conv4 --method baseline --train_aug

4. 查看结果

测试结果将记录在 ./record/results.txt。预计算结果可参考 ./record/few_shot_exp_figures.xlsx 以便进行公平对比。