开放世界中的大规模长尾识别

[项目] [论文] [博客]

概述

开放世界长尾识别 (OLTR) 是作者对以下文献中描述的长尾识别器的重新实现：
“开放世界中的大规模长尾识别”
Ziwei Liu^*,  Zhongqi Miao^*,  Xiaohang Zhan,  Jiayun Wang,  Boqing Gong,  Stella X. Yu  (香港中文大学 & 加州大学伯克利分校 / ICSI)  于 IEEE 计算机视觉与模式识别会议 (CVPR) 2019，口头报告

更多信息请联系 Zhongqi Miao 和 Ziwei Liu。

更新通知

• 2020年3月4日： 我们将所有名为 selfatt 的变量改为 modulatedatt，以便注意力模块能够在 Places-LT 数据集的第二阶段得到正确训练。ImageNet-LT 数据集不存在此问题，因为其权重并未冻结。我们已使用修复后的代码更新了结果，这些结果仍然优于论文中报告的结果。权重文件也已更新。感谢！
• 2020年2月11日： 我们更新了 Places_LT 数据集的配置文件。当前结果略高于论文中报告的结果，即使在更新了 F-measure 计算方式之后也是如此。需要注意的是，在 Places-LT 的第一阶段训练中，我们解冻了模型权重，这意味着在大多数情况下不适合使用单 GPU 进行训练（我们在实现中使用了 4 张 1080ti 显卡）。然而，在第二阶段，由于目前内存和中心损失不支持多 GPU，因此请切换回单 GPU 训练。非常感谢！
• 2020年1月29日： 我们更新了 util.py 中的 False Positive 计算方法，使数值恢复正常。论文中报告的 F-measure 数值可能略高于所有基线的实际数值。我们将尽快进行更新。下表中已更新为新的 F-measure 数值。谢谢。
• 2019年12月19日： 更新了包含 'clone()' 方法的模块，并将 ImageNet-LT 第一阶段配置中的 use_fc 设置为 False。目前，ImageNet-LT 的结果与论文中报告的数值相当（略好一些），复现结果已在下方更新。我们还发现了 Places-LT 中的 bug。我们将尽快更新代码和复现结果。
• 2019年8月5日： 修复了 utils.py 中的一个 bug。本页末尾更新了重新实现的 ImageNet-LT 权重。
• 2019年5月2日： 修复了 run_network.py 中的一个 bug，使模型能够正常训练。更新了 Imagenet-LT 第一阶段训练的配置文件，以便能够复现论文中的结果。

需求

• PyTorch（版本 >= 0.4.1）
• scikit-learn

数据准备

注意：Places-LT 数据集自首次发布以来已更新。如果您拥有旧版本，请重新下载。

• 首先，请下载 ImageNet_2014 和 Places_365（256x256 版本）。 同时，请相应地修改 main.py 中的 data_root 路径。

• 接下来，请从 这里 下载 ImageNet-LT 和 Places-LT。请将下载的文件放入 data 目录中，结构如下：

data
  |--ImageNet_LT
    |--ImageNet_LT_open
    |--ImageNet_LT_train.txt
    |--ImageNet_LT_test.txt
    |--ImageNet_LT_val.txt
    |--ImageNet_LT_open.txt
  |--Places_LT
    |--Places_LT_open
    |--Places_LT_train.txt
    |--Places_LT_test.txt
    |--Places_LT_val.txt
    |--Places_LT_open.txt

下载用于 Places_LT 第一阶段训练的 Caffe 预训练模型

• 可以从 这里 下载 Caffe 预训练的 ResNet152 权重，并将其保存到 ./logs/caffe_resnet152.pth。

快速入门（训练与测试）

ImageNet-LT

• 第一阶段训练：

python main.py --config ./config/ImageNet_LT/stage_1.py

• 第二阶段训练：

python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py

• 封闭集测试：

python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py --test

• 开放集测试（阈值法）：

python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py --test_open

• 在第一阶段模型上进行测试：

python main.py --config ./config/ImageNet_LT/stage_1.py --test

Places-LT

• 第一阶段训练（在此阶段，可能需要使用多 GPU，因为我们正在微调 ResNet-152）：

python main.py --config ./config/Places_LT/stage_1.py

• 第二阶段训练（在此阶段，仅支持单 GPU，请切换回单 GPU 训练）：

python main.py --config ./config/Places_LT/stage_2_meta_embedding.py

• 封闭集测试：

python main.py --config ./config/Places_LT/stage_2_meta_embedding.py --test

• 开放集测试（阈值法）：

python main.py --config ./config/Places_LT/stage_2_meta_embedding.py --test_open

复现的基准与模型库（2020年3月5日更新）

ImageNet-LT 开放集设置

主干网络	多样本	中等样本	少样本	F-Measure	下载
ResNet-10	44.2	35.2	17.5	44.6	模型

Places-LT 开放集设置

主干网络	多样本	中等样本	少样本	F-Measure	下载
ResNet-152	43.7	40.2	28.0	50.0	模型

注意事项

当前代码是在单 GPU 环境下编写的。除 Places-LT 的第一阶段外，使用多 GPU 可能会导致问题。

许可证与引用

本软件的使用遵循 BSD-3 许可协议。

@inproceedings{openlongtailrecognition,
  title={大规模开放世界下的长尾识别},
  author={刘子威、苗中奇、詹晓航、王嘉云、龚博清、Yu, Stella X.},
  booktitle={IEEE 计算机视觉与模式识别会议 (CVPR)},
  year={2019}
}

OpenLongTailRecognition (OLTR) 快速上手指南

本指南旨在帮助开发者快速部署并运行 OpenLongTailRecognition (OLTR) 项目，该项目用于解决开放世界中的大规模长尾识别问题（CVPR 2019 Oral）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 兼容 PyTorch 的版本
• 核心依赖:
  • PyTorch (版本 >= 0.4.1)
  • scikit-learn
• 硬件建议:
  • ImageNet-LT: 单卡或多卡均可（第一阶段训练）。
  • Places-LT:
    • 第一阶段（微调 ResNet-152）：建议使用多 GPU（原作者使用 4 张 1080ti）。
    • 第二阶段：由于内存和中心损失模块限制，必须切换回单 GPU 训练。

国内加速提示：安装 PyTorch 时，推荐使用清华或中科大镜像源以加快下载速度。 例如 (CUDA 11.3): pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/zhmiao/OpenLongTailRecognition-OLTR.git
   cd OpenLongTailRecognition-OLTR
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   # 如果项目中没有 requirements.txt，请手动安装：
   pip install scikit-learn
   

3. 数据准备

   • 下载基础数据集：ImageNet_2014 和 Places_365 (256x256 版本)。
   • 下载长尾划分文件：从 Google Drive 下载 ImageNet-LT 和 Places-LT 的相关 txt 及开放集文件。
   • 目录结构应如下所示：

     data
       |--ImageNet_LT
         |--ImageNet_LT_open
         |--ImageNet_LT_train.txt
         |--ImageNet_LT_test.txt
         |--ImageNet_LT_val.txt
         |--ImageNet_LT_open.txt
       |--Places_LT
         |--Places_LT_open
         |--Places_LT_train.txt
         |--Places_LT_test.txt
         |--Places_LT_val.txt
         |--Places_LT_open.txt
     

   • 重要：修改 main.py 中的 data_root 变量，指向你的实际数据路径。

4. 预训练模型下载 (仅针对 Places-LT 第一阶段)

   如果使用 Places-LT 数据集，需下载 Caffe 预训练的 ResNet152 权重并转换/保存：

   • 下载地址：ResNet152 Caffe Weights
   • 保存路径：./logs/caffe_resnet152.pth

基本使用

本项目训练分为两个阶段。以下以 ImageNet-LT 为例展示最简流程（Places-LT 命令类似，只需替换 config 路径）。

1. 第一阶段训练 (Stage 1)

训练基础特征提取器。

python main.py --config ./config/ImageNet_LT/stage_1.py

2. 第二阶段训练 (Stage 2)

基于第一阶段模型进行元嵌入（Meta Embedding）训练。 注意：若运行 Places-LT 的第二阶段，请确保只使用单张 GPU。

python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py

3. 测试与评估

• 闭集测试 (Close-set testing):

  python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py --test
  

• 开集测试 (Open-set testing):

  python main.py --config ./config/ImageNet_LT/stage_2_meta_embedding.py --test_open
  

• 直接测试第一阶段模型:

  python main.py --config ./config/ImageNet_LT/stage_1.py --test
  

提示：如需复现论文结果或直接使用预训练模型，请参考 README 中的 "Model Zoo" 部分下载对应权重文件放入 logs 目录。