用于少样本学习的元迁移学习

本仓库包含了针对 CVPR 2019 论文《用于少样本学习的元迁移学习》（Qianru Sun,* Yaoyao Liu,* Tat-Seng Chua, 和 Bernt Schiele (*=同等贡献) 所著）的 TensorFlow 和 PyTorch 实现。

如果您对本仓库或相关论文有任何疑问，欢迎随时 创建问题 或 发送邮件 给我。

目录

• 简介
• 快速入门
• 数据集
• 性能
• 引用
• 致谢

简介

元学习作为一种框架被提出，旨在解决具有挑战性的少样本学习问题。其核心思想是利用大量相似的少样本任务来学习如何将基础学习器适配到仅有少量标注样本的新任务上。由于深度神经网络（DNN）在仅使用少量样本时容易过拟合，元学习通常采用浅层神经网络（SNN），从而限制了其效果。本文提出了一种新颖的少样本学习方法，称为 元迁移学习 (MTL)，该方法能够学习如何将 深度神经网络 适应于 少样本学习任务。具体而言，“元”指的是多任务训练，“迁移”则是通过为每个任务学习 DNN 权重的缩放和偏移函数来实现。我们在两个具有挑战性的少样本学习基准——𝑚𝑖𝑛𝑖ImageNet 和 Fewshot-CIFAR100——上进行了 (5 类, 1 次) 和 (5 类, 5 次) 识别任务的实验。

图：元迁移学习。(a) 参数级微调 (FT) 是一种传统的元训练操作，例如 MAML 中的做法。它的更新作用于所有神经元参数 𝑊 和 𝑏。(b) 我们在元迁移学习中提出的神经元级缩放与偏移 (SS) 操作。它们减少了学习参数的数量，并避免了过拟合问题。此外，它们还会冻结大规模预训练的参数（以黄色表示），从而防止“灾难性遗忘”。

快速入门

请参阅相应文件夹中的 README.md 文件：

• TensorFlow: [文档]
• PyTorch: [文档]

数据集

直接下载已处理好的图像：[下载页面]

𝒎𝒊𝒏𝒊ImageNet

𝒎𝒊𝒏𝒊ImageNet 数据集由 Vinyals 等人 提出，用于少样本学习评估。它使用 ImageNet 图像，复杂度较高，但所需的资源和基础设施比运行完整的 ImageNet 数据集 少得多。该数据集共有 100 个类别，每个类别包含 600 张 84×84 彩色图像。这 100 个类别分别划分为 64、16 和 20 个类别，用于元训练、元验证和元测试任务的采样。要从 ImageNet 生成此数据集，您可以使用仓库 𝑚𝑖𝑛𝑖ImageNet 工具。

Fewshot-CIFAR100

Fewshot-CIFAR100 (FC100) 基于流行的物体分类数据集 CIFAR100。其划分方案由 TADAM 提出。它提供了更具挑战性的场景，图像分辨率较低，且元训练/元测试的划分更加困难，按照物体的超类进行分离。该数据集包含 100 个物体类别，每个类别有 600 张 32×32 彩色图像。这 100 个类别隶属于 20 个超类。元训练数据来自 60 个属于 12 个超类的类别。元验证和元测试集则分别包含 20 个属于 4 个超类的类别。

𝒕𝒊𝒆𝒓𝒆𝒅ImageNet

𝒕𝒊𝒆𝒓𝒆𝒅ImageNet 数据集是 ILSVRC-12 的一个更大子集，包含 608 个类别（779,165 张图像），这些类别被归入 ImageNet 人工整理的层级结构中的 34 个更高层次的节点。要从 ImageNet 生成此数据集，您可以使用 𝒕𝒊𝒆𝒓𝒆𝒅ImageNet 数据集仓库：𝒕𝒊𝒆𝒓𝒆𝒅ImageNet 工具。

性能

(%)	𝑚𝑖𝑛𝑖 1 次	𝑚𝑖𝑛𝑖 5 次	FC100 1 次	FC100 5 次
MTL 论文	60.2 ± 1.8	74.3 ± 0.9	43.6 ± 1.8	55.4 ± 0.9
TensorFlow	60.8 ± 1.8	74.3 ± 0.9	44.3 ± 1.8	56.8 ± 1.0

• PyTorch 版本的性能仍在验证中。

引用

如果我们的论文对您的工作有所帮助，请引用如下：

@inproceedings{SunLCS2019MTL,
  author    = {Qianru Sun and
               Yaoyao Liu and
               Tat{-}Seng Chua and
               Bernt Schiele},
  title     = {Meta-Transfer Learning for Few-Shot Learning},
  booktitle = {{IEEE} Conference on Computer Vision and Pattern Recognition, {CVPR}
               2019, Long Beach, CA, USA, June 16-20, 2019},
  pages     = {403--412},
  publisher = {Computer Vision Foundation / {IEEE}},
  year      = {2019}
}

致谢

我们的实现使用了以下仓库和作者的源代码：

• 模型无关元学习

• 优化作为少样本学习的模型

• 用于少样本学习的嵌入适应学习

• dragen1860/MAML-Pytorch

• @icoz69

• @CookieLau

Meta-Transfer Learning (MTL) 快速上手指南

Meta-Transfer Learning (MTL) 是一种用于少样本学习（Few-Shot Learning）的创新方法。它通过学习深度神经网络（DNN）权重的缩放（Scaling）和偏移（Shifting）函数，使模型能够快速适应新任务，同时避免过拟合和灾难性遗忘。本项目提供了 TensorFlow 和 PyTorch 两种实现版本。

1. 环境准备

系统要求

• 操作系统: Linux / macOS / Windows
• Python 版本:
  • TensorFlow 版：Python 2.7 或 3.5+
  • PyTorch 版：Python 3.5+
• GPU: 推荐使用 NVIDIA GPU 以加速训练（可选，但强烈推荐）

前置依赖

请确保已安装以下核心框架的指定版本：

• TensorFlow: 1.3.0
• PyTorch: 0.4.0

注意：由于项目基于较旧版本的深度学习框架开发，建议使用虚拟环境（如 conda 或 venv）隔离依赖，以免冲突。

# 创建 conda 环境示例
conda create -n mtl_env python=3.5
conda activate mtl_env

2. 安装步骤

本项目代码分为 tensorflow 和 pytorch 两个独立目录，请根据需求选择其一进行克隆。

步骤一：克隆仓库

git clone https://github.com/yaoyao-liu/meta-transfer-learning.git
cd meta-transfer-learning

步骤二：安装 Python 依赖

进入对应框架目录安装依赖（以 PyTorch 为例，TensorFlow 同理）：

cd pytorch
pip install -r requirements.txt

若 requirements.txt 未包含所有依赖，请手动安装指定版本的框架：

PyTorch 用户:

pip install torch==0.4.0 torchvision

TensorFlow 用户:

pip install tensorflow-gpu==1.3.0

步骤三：准备数据集

项目支持 miniImageNet, Fewshot-CIFAR100 (FC100), 和 tieredImageNet。

推荐直接下载作者预处理好的数据以节省时间：

• 下载地址: https://mtl.yyliu.net/download/

下载后，将解压后的数据文件夹放置在项目根目录或代码中指定的 data/ 目录下。

如需自行从原始 ImageNet 生成 miniImageNet 或 tieredImageNet，可参考官方提供的工具仓库：

• miniImageNet tools: https://github.com/y2l/mini-imagenet-tools
• tieredImageNet tools: https://github.com/y2l/tiered-imagenet-tools

3. 基本使用

具体的运行命令请参考各框架目录下的 README.md。以下为典型的训练流程示例。

PyTorch 版本示例

进入 pytorch 目录：

cd pytorch

运行 5-way 1-shot 训练任务（以 miniImageNet 为例）：

python main.py --dataset miniImageNet --way 5 --shot 1 --train_shot 1

运行 5-way 5-shot 训练任务：

python main.py --dataset miniImageNet --way 5 --shot 5 --train_shot 5

TensorFlow 版本示例

进入 tensorflow 目录：

cd tensorflow

运行训练脚本（具体参数请参考该目录下的文档）：

python train.py --dataset miniImageNet --n_way 5 --k_shot 1

结果验证

训练完成后，模型将在测试集上进行评估。根据官方报告，在 miniImageNet 上的预期性能如下：

• 1-shot 准确率: ~60.8% ± 1.8
• 5-shot 准确率: ~74.3% ± 0.9

提示：PyTorch 版本的复现性能正在持续验证中，如有差异请以 TensorFlow 版本或论文原文数据为准。