如何用 PyTorch 训练你的 MAML

本项目复现了论文《如何训练你的 MAML》（arXiv:1810.09502），同时也复现了原始的《模型无关元学习》（arXiv:1703.03400，即 MAML）论文。

引言

欢迎来到《如何训练你的 MAML》代码仓库（arXiv:1810.09502）。该仓库包含了训练 MAML 和 MAML++ 模型的代码，以及相应的数据提供器和数据集。使用本代码库即表示您同意 LICENSE 文件中的条款与条件。如果您选择使用 Mini-Imagenet 数据集，则必须遵守 ImageNet LICENSE 中的条款与条件。

安装

本代码使用 PyTorch 运行，并依赖许多其他小型库。为了简化安装流程，我们推荐使用 conda 包管理工具。具体来说，建议使用 miniconda3，因为它轻量且安装迅速。如果您已经安装了 miniconda3，请从第 3 步开始。若要同时安装 conda 和所需依赖包，请执行以下步骤：

1. wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
2. 按照提示完成安装。
3. 激活 conda。
4. conda create -n meta_learning_pytorch_env python=3.6。
5. conda activate meta_learning_pytorch_env。
6. 在此阶段，您需要访问 这里 来选择所需的 PyTorch 版本。
7. 使用 conda 命令安装您选择的 PyTorch 版本。
8. 最后运行 bash install.sh。

要执行安装脚本，只需运行： bash <installation_file_name>

要激活您的 conda 环境，只需运行： conda activate

数据集

我们在 datasets 文件夹中直接提供了 omniglot 数据集。然而，由于 Mini-ImageNet 数据集远超 GitHub 的文件大小限制，我们选择将其上传至 Google Drive，并采用 pbzip（并行压缩）方式进行压缩。这种压缩方式在撰写本文时属于速度最快的之一，尤其适用于当今大规模数据集的压缩任务。我们已自动化了该数据集的解压和使用流程，您只需从我们的 mini_imagenet Google Drive 文件夹 下载即可。下载完成后，请将其放置于本仓库的 datasets 文件夹中，后续操作将由程序自动完成，当您运行 Mini-Imagenet 实验时即可正常使用。

注意：下载并使用 Mini-Imagenet 数据集即表示您已接受 imagenet_license.md 中的条款与条件。

代码概述：

• datasets 文件夹：包含数据集的 pbzip 文件以及图像文件夹，其结构可供自定义数据提供器读取。
• experiments_config：包含 experiments 脚本文件夹中列出的每项实验的配置文件。所有脚本均通过 script_generation_tools/generate_configs.py 脚本自动生成。
• experiment_scripts：包含可复现论文中所有结果的脚本。每个脚本只需简单执行以下命令即可运行：

bash <experiment-script.sh>

• experiment_template_config：包含模板配置文件。这些文件中声明了以 $variable_name$ 标记的变量，随后由 generate_configs.py 脚本自动填充。这样可以自动调整各种超参数。
• script_generation_tools：包含用于自动生成实验脚本的脚本和模板文件。
• utils：包含用于数据集提取、解析器参数提取、统计信息存储等实用工具。
• data.py：包含用于小样本元学习任务生成的数据提供器。该数据提供器与数据集无关，因此可用于任何数据集。最重要的是，它仅能在数据集采用特定格式时进行扫描和使用。数据提供器支持的两种格式如下：

1. 文件夹结构：顶级文件夹代表类别，每个文件夹内的图像即为该类别的样本，具体结构如下：

Dataset
    ||______
    |       |
 class_0 class_1 ... class_N
    |       |___________________
    |                           |
class_0 的样本    class_1 的样本

在这种情况下，数据提供器会根据 experiment_config 文件中的 train_val_test_split 变量将数据划分为训练集、验证集和测试集。然而，对于已预先划分数据集的情况（如 mini_imagenet），则可采用以下格式： 2. 文件夹结构：更高级别的文件夹表示数据集类型（如训练集、验证集、测试集），中间级别的文件夹表示类别，而每个类别文件夹内的图像即为该类别的样本。

Dataset
    ||
 ___||_________
|       |     |
训练集   验证集  测试集
|_________________________
    |       |            |
 class_0 class_1 ... class_N
    |       |___________________
    |                           |
class_0 的样本    class_1 的样本

• experiment_builder.py：构建一个可直接用于训练和评估元学习模型的实验环境。它支持自动检查点保存，并具备容错功能。如果脚本因某种原因被终止，只需重新运行即可。脚本会自动找到上次中断的位置并从中继续执行，直至收敛！

• few_shot_learning_system.py：包含 meta_learning_system 类，MAML 和 MAML++ 的核心实现大多在此类中完成。该类负责内层和外层优化循环、检查点保存与加载、统计信息生成，以及 PyTorch 中随机数种子的设置。

• meta_neural_network_architectures：包含新型 PyTorch 层，这些层既可以利用内部参数，也可以接收外部传入的参数。这在元学习场景中非常有用——内层更新步骤作用于模型的内部参数。通过允许各层接收仅用于当前推理阶段的权重，用户可以轻松构建各类需要内层优化的元学习模型，而无需在每一步都重新加载内部参数。从技术层面来看，元学习层的前向传播逻辑如下：

def forward(x, weights=None):

    if weights is not None:
        out = layer(x, weights)
    else:
        out = layer(x, self.parameters)
    return out

如果传入权重，则该层或模型将使用这些权重进行推理；否则则使用其内部参数。这种方式使得构建 MAML 等模型变得极为简便：第一步使用 weights=None，后续步骤则只需将新的内层动态权重传递给网络即可。

• train_maml_system.py：一个极简脚本，将数据提供器与元学习系统结合，并将其送入实验构建器以运行实验。此外，若数据未以文件夹结构存在，该脚本还会自动完成数据提取工作。

运行实验

在 Omniglot 数据集上运行论文中的实验：

1. 激活你的 Conda 环境：conda activate pytorch_meta_learning_env
2. 切换到 experiment_scripts 目录：cd experiment_scripts
3. 找到你想运行的实验。
4. 运行命令：bash experiment_script.sh gpu_ids_separated_by_spaces

注意：通过下载和使用 mini-ImageNet 数据集，即表示你已接受 imagenet_license.md 文件中的条款与条件。

在 Mini-ImageNet 数据集上运行论文中的实验：

1. 激活你的 Conda 环境：conda activate pytorch_meta_learning_env
2. 从 mini_imagenet gdrive 文件夹 下载 mini-imagenet 数据集。
3. 将 .pbzip 文件复制到 datasets 目录。
4. 切换到 experiment_scripts 目录：cd experiment_scripts
5. 找到你想运行的实验。
6. 运行命令：bash experiment_script.sh gpu_ids_separated_by_spaces

在任意数据集上运行自定义/新实验：

1. 激活你的 Conda 环境：conda activate pytorch_meta_learning_env
2. 确保你的数据已按照数据提供者可读取的文件夹结构存放在 datasets/ 目录下。
3. 切换到 experiment_template_config 目录：cd experiment_template_config
4. 找到一个与你计划进行的实验相近的配置文件并打开。
5. 以 MAML++ 在 Omniglot 上的实验为例，调整超参数以适应你的实验需求。请注意，${variable} 中的变量是由配置生成脚本自动填充的超参数。如果你添加了新的此类变量，还需要修改 generate_configs.py 文件，告知脚本如何填充这些变量。

6. {
     "batch_size":16,
     "image_height":28,
     "image_width":28,
     "image_channels":1,
     "gpu_to_use":0,
     "num_dataprovider_workers":8,
     "max_models_to_save":5,
     "dataset_name":"omniglot_dataset",
     "dataset_path":"omniglot_dataset",
     "reset_stored_paths":false,
     "experiment_name":"MAML++_Omniglot_$num_classes$_way_$samples_per_class$_shot_$train_update_steps$_filter_multi_step_loss_with_max_pooling_seed_$train_seed$",
     "train_seed": $train_seed$, "val_seed": $val_seed$,
     "train_val_test_split": [0.70918052988, 0.03080714725, 0.2606284658],
     "indexes_of_folders_indicating_class": [-3, -2],
     "sets_are_pre_split": false,
   
     "total_epochs": 150,
     "total_iter_per_epoch":500, "continue_from_epoch": -2,
   
     "max_pooling": true,
     "per_step_bn_statistics": true,
     "learnable_batch_norm_momentum": false,
   
     "dropout_rate_value":0.0,
     "min_learning_rate":0.00001,
     "meta_learning_rate":0.001,   "total_epochs_before_pause": 150,
     "task_learning_rate":-1,
     "init_task_learning_rate":0.4,
     "first_order_to_second_order_epoch":80,
   
     "norm_layer":"batch_norm",
     "cnn_num_filters":64,
     "num_stages":4,
     "number_of_training_steps_per_iter":$train_update_steps$,
     "number_of_evaluation_steps_per_iter":$val_update_steps$,
     "cnn_blocks_per_stage":1,
     "num_classes_per_set":$num_classes$,
     "num_samples_per_class":$samples_per_class$,
     "num_target_samples": $target_samples_per_class$,
   
     "second_order": true,
     "use_multi_step_loss_optimization":true,
     "use_gdrive":false
   }
   

7. 切换到 script_generation_tools 目录：cd script_generation_tools
8. 运行以下命令：python generate_configs.py; python generate_scripts.py
9. 你的新脚本将出现在 experiment_scripts 目录中，可以直接运行。

致谢

感谢爱丁堡大学和 EPSRC 研究理事会为本研究提供的资助。

HowToTrainYourMAMLPytorch 快速上手指南

本指南帮助中国开发者快速部署并运行 MAML 及 MAML++ 元学习模型。该项目复现了论文《How to train your MAML》及原始 MAML 论文的核心算法。

环境准备

• 操作系统: Linux (推荐，脚本针对 Linux 优化)
• 包管理器: Miniconda3 (轻量级，安装迅速)
• Python 版本: 3.6 (项目指定版本)
• 深度学习框架: PyTorch (需根据本地 CUDA 版本选择对应安装包)
• 硬件要求: 支持 CUDA 的 NVIDIA GPU (用于加速元学习训练)

注意：国内用户建议配置 Conda 和 Pip 的国内镜像源（如清华源或中科大源）以加速依赖下载。

安装步骤

1. 安装 Miniconda

如果尚未安装 Miniconda，请执行以下命令下载并安装（以 Linux x86_64 为例）：

wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 随后按提示完成安装流程

2. 创建并激活虚拟环境

创建名为 meta_learning_pytorch_env 的环境并激活：

conda create -n meta_learning_pytorch_env python=3.6
conda activate meta_learning_pytorch_env

3. 安装 PyTorch

访问 PyTorch 官网 选择适合你系统的安装命令。 国内加速建议：将命令中的 pip 或 conda 源替换为国内镜像。例如使用 pip 安装时：

# 示例：使用清华源安装 CPU 版本 (请根据实际需求替换为 cuda 版本命令)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装项目依赖

在项目根目录下运行提供的安装脚本：

bash install.sh

5. 数据集准备

• Omniglot: 已包含在 datasets 文件夹中，无需额外操作。
• Mini-ImageNet: 由于文件较大，需手动下载。
  1. 从 Google Drive 链接 下载 .pbzip 压缩包。
  2. 将下载的文件放入项目根目录下的 datasets 文件夹中。
  3. 程序在首次运行时会自动解压。

基本使用

运行预置实验 (Omniglot)

这是最简单的启动方式，直接复现论文中的 Omniglot 实验结果。

1. 激活环境：

   conda activate meta_learning_pytorch_env
   

2. 进入实验脚本目录：

   cd experiment_scripts
   

3. 选择并运行一个实验脚本（需指定可用的 GPU ID，空格分隔）：

   bash <experiment_script.sh> 0
   # 例如：bash maml_omniglot_5_way_1_shot.sh 0
   

运行 Mini-ImageNet 实验

确保已完成上述“数据集准备”步骤中 Mini-ImageNet 的下载。

1. 激活环境并进入目录：

   conda activate meta_learning_pytorch_env
   cd experiment_scripts
   

2. 运行对应的 Mini-ImageNet 实验脚本：

   bash <mini_imagenet_experiment_script.sh> 0
   

运行自定义实验

若需修改超参数或使用新数据集：

1. 编辑配置文件： 进入 experiment_template_config 目录，复制并修改接近你需求的 .json 配置文件。注意 $variable$ 格式的变量将由脚本自动生成填充。

2. 生成新的实验脚本：

   cd script_generation_tools
   python generate_configs.py
   python generate_scripts.py
   

   生成的新脚本将位于 experiment_scripts 目录，可直接运行。

特性提示：本项目支持断点续训。如果训练意外中断，重新运行相同的脚本即可自动加载最近的 checkpoint 继续训练。