PyCIL：面向类增量学习的 Python 工具箱

---

简介 • 已复现的方法 • 复现结果 • 使用方法 • 许可证 • 致谢 • 联系方式

---

欢迎使用 PyCIL，这或许是目前实现方法最多的类增量学习工具箱。本仓库是论文《PyCIL：面向类增量学习的 Python 工具箱》[论文] 的 PyTorch 代码库。如果您在工作中使用了本仓库中的任何内容，请引用以下 BibTeX 条目：

@article{zhou2023pycil,
    author = {Da-Wei Zhou and Fu-Yun Wang and Han-Jia Ye and De-Chuan Zhan},
    title = {PyCIL: a Python toolbox for class-incremental learning},
    journal = {SCIENCE CHINA Information Sciences},
    year = {2023},
    volume = {66},
    number = {9},
    pages = {197101},
    doi = {https://doi.org/10.1007/s11432-022-3600-y}
  }

@article{zhou2024class,
    author = {Zhou, Da-Wei and Wang, Qi-Wei and Qi, Zhi-Hong and Ye, Han-Jia and Zhan, De-Chuan and Liu, Ziwei},
    title = {Class-Incremental Learning: A Survey},
    journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
    volume={46},
    number={12},
    pages={9851--9873},
    year = {2024}
}

@inproceedings{zhou2024continual,
    title={Continual learning with pre-trained models: A survey},
    author={Zhou, Da-Wei and Sun, Hai-Long and Ning, Jingyi and Ye, Han-Jia and Zhan, De-Chuan},
    booktitle={IJCAI},
    pages={8363-8371},
    year={2024}
}

最新动态

• [2026-01]🌟 我们发布了 C3Box，一个基于 CLIP 的类增量学习工具箱。快来试试吧！
• [2025-07]🌟 查看我们关于使用 CLIP 进行类增量学习的最新工作（ICCV 2025）！
• [2025-07]🌟 查看我们关于基于预训练模型的类增量学习的最新工作（ICCV 2025）！
• [2025-07]🌟 查看我们关于使用 PTM 进行领域增量学习的最新工作（ICML 2025）！
• [2025-04]🌟 新增 TagFex。这是 2025 年的最先进方法！
• [2025-03]🌟 查看我们关于类增量学习的最新工作（CVPR 2025）！
• [2025-02]🌟 查看我们关于基于预训练模型的领域增量学习的最新工作（CVPR 2025）！
• [2025-02]🌟 查看我们关于使用视觉语言模型进行类增量学习的最新工作（TPAMI 2025）！
• [2024-12]🌟 查看我们关于基于预训练模型的类增量学习的最新工作（AAAI 2025）！
• [2024-08]🌟 查看我们关于基于预训练模型的类增量学习的最新工作（IJCV 2024）！
• [2024-07]🌟 查看我们关于类增量学习的严谨且统一的综述（TPAMI 2024），其中引入了一些与记忆无关的度量，并从多个角度进行了全面评估！
• [2024-06]🌟 查看我们关于类增量学习中全层边距的工作（ICML 2024）！
• [2024-03]🌟 查看我们关于基于预训练模型的类增量学习的最新工作（CVPR 2024）！
• [2024-01]🌟 查看我们关于基于预训练模型的持续学习的最新综述（IJCAI 2024）！
• [2023-09]🌟 我们发布了 PILOT 工具箱，用于基于预训练模型的类增量学习。快来试试吧！
• [2023-07]🌟 新增 MEMO、BEEF 和 SimpleCIL。这些都是 2023 年的最先进方法！
• [2022-12]🌟 新增 FrTrIL、PASS、IL2A 和 SSRE。
• [2022-10]🌟 PyCIL 已发表在《SCIENCE CHINA Information Sciences》上（https://link.springer.com/article/10.1007/s11432-022-3600-y）。请查看[官方介绍](https://mp.weixin.qq.com/s/h1qu2LpdvjeHAPLOnG478A)！
• [2022-08]🌟 新增 RMM。
• [2022-07]🌟 新增 FOSTER。这是一种仅使用单一主干网络的最先进方法！
• [2021-12]🌟 征集反馈：我们新增了一个板块,用于介绍使用 PyCIL 的优秀工作。如果您正在使用 PyCIL 在顶级会议或期刊上发表论文，请随时联系我们了解详情！
• [2021-12]🌟 由于团队成员正致力于其他项目，且代码评审需求十分紧迫，我们将优先评审那些在其论文中明确引用并实现了我们工具箱论文中方法的算法。 请在提交代码之前阅读PR 政策。

简介

传统的机器学习系统通常在封闭世界假设下部署，这意味着在离线训练过程中需要使用全部的训练数据。然而，在现实应用中，经常会遇到新类别的不断出现，模型需要能够持续地将这些新类别纳入其中。这种学习范式被称为类别增量学习（CIL）。我们提出了一款Python工具箱，实现了多种用于类别增量学习的关键算法，以减轻机器学习社区研究人员的工作负担。该工具箱不仅包含了EWC和iCaRL等类别增量学习领域的奠基性工作实现，还提供了当前最先进的算法，可用于开展新颖的基础研究。这款名为PyCIL（Python类别增量学习）的工具箱采用MIT许可证，完全开源。

如需了解更多关于增量学习的信息，可以参考以下资料：

• 关于CIL的简要中文介绍可参见这里。
• 一个包含明确代码和详细解释的PyTorch类别增量学习教程可参见这里。

复现的方法

• FineTune: 基线方法，仅在新任务上更新参数。
• EWC: 克服神经网络中的灾难性遗忘。PNAS2017 [论文]
• LwF: 不忘旧知识的学习。ECCV2016 [论文]
• Replay: 基于样本回放的基线方法。
• GEM: 用于持续学习的梯度情节记忆。NIPS2017 [论文]
• iCaRL: 增量分类器与表征学习。CVPR2017 [论文]
• BiC: 大规模增量学习。CVPR2019 [论文]
• WA: 在类别增量学习中保持判别能力和公平性。CVPR2020 [论文]
• PODNet: PODNet：用于小任务增量学习的池化输出蒸馏。ECCV2020 [论文]
• DER: 用于类别增量学习的动态可扩展表征。CVPR2021 [论文]
• PASS: 用于增量学习的原型增强与自监督。CVPR2021 [论文]
• RMM: 用于类别增量学习的强化内存管理。NeurIPS2021 [论文]
• IL2A: 通过双重增强实现类别增量学习。NeurIPS2021 [论文]
• ACIL: 基于绝对记忆和隐私保护的解析式类别增量学习。NeurIPS 2022 [论文]
• SSRE: 用于无样本类别增量学习的自我维持表征扩展。CVPR2022 [论文]
• FeTrIL: 用于无样本类别增量学习的特征迁移。WACV2023 [论文]
• Coil: 用于类别增量学习的协同传输。ACM MM2021 [论文]
• FOSTER: 用于类别增量学习的特征增强与压缩。ECCV 2022 [论文]
• MEMO: 模型还是603个样本？迈向内存高效的类别增量学习。ICLR 2023 Spotlight [论文]
• BEEF: BEEF：基于能量扩张与融合的双兼容类别增量学习。ICLR 2023 [论文]
• DS-AL: 用于无样本类别增量学习的双流解析学习。AAAI 2024 [论文]
• SimpleCIL: 重新审视预训练模型下的类别增量学习：泛化能力和适应性就是全部所需。IJCV 2024 [论文]
• Aper: 重新审视预训练模型下的类别增量学习：泛化能力和适应性就是全部所需。IJCV 2024 [论文]
• TagFex: 用于类别增量学习的任务无关引导特征扩展。CVPR 2025 [论文]

复现的结果

CIFAR-100

ImageNet-100

ImageNet-100（Top-5准确率）

更多实验细节和结果请参阅我们的综述。

使用方法

克隆

克隆本GitHub仓库：

git clone https://github.com/G-U-N/PyCIL.git
cd PyCIL

依赖项

1. torch 1.81
2. torchvision 0.6.0
3. tqdm
4. numpy
5. scipy
6. quadprog
7. POT

运行实验

1. 编辑 [模型名称].json 文件以设置全局参数。
2. 在对应的 [模型名称].py 文件中（例如 models/icarl.py）编辑超参数。
3. 运行以下命令：

python main.py --config=./exps/[模型名称].json

其中 [模型名称] 应从 finetune、ewc、lwf、replay、gem、icarl、bic、wa、podnet、der 等中选择。

4. 超参数

使用 PyCIL 时，您可以在相应的 JSON 文件中编辑全局参数和特定算法的超参数。

这些参数包括：

• memory-size：增量学习过程中的总示例数。假设当前阶段有 $K$ 个类别，则模型将为每个类别保留 $\left[\frac{memory-size}{K}\right]$ 个示例。
• init-cls：第一个增量阶段的类别数量。由于 CIL 中第一阶段的类别数量设置不同，我们的框架支持多种选择来定义初始阶段。
• increment：每个增量阶段 $i$ 的类别数量，$i > 1$。默认情况下，每个增量阶段的类别数量相等。
• convnet-type：增量模型的主干网络。根据基准设置，CIFAR100 使用 ResNet32，而 ImageNet 使用 ResNet18。
• seed：用于打乱类别顺序的随机种子。根据基准设置，默认值为 1993。

其他与模型优化相关的参数，如批量大小、优化轮数、学习率、学习率衰减、权重衰减、里程碑和温度，可在对应的 Python 文件中进行修改。

数据集

我们已实现了 CIFAR100、imagenet100 和 imagenet1000 的预处理。在训练 CIFAR100 时，该框架会自动下载数据集。而在训练 imagenet100/1000 时，您需要在 utils/data.py 中指定您的数据集文件夹路径。

    def download_data(self):
        assert 0,"您应指定您的数据集文件夹"
        train_dir = '[DATA-PATH]/train/'
        test_dir = '[DATA-PATH]/val/'

此处 是 ImageNet100（或称 ImageNet-Sub）的数据文件列表。

使用 PyCIL 的优秀论文

我们的论文

• 基于 CLIP 的类增量学习中的外部知识注入（ICCV 2025）[论文] [代码]

• 针对预训练模型的类增量学习中任务特定适配器与通用适配器的融合（ICCV 2025）[论文] [代码]

• 通过双平衡协作专家解决不平衡领域增量学习问题（ICML 2025）[论文] [代码]

• 预训练模型驱动下的领域增量学习中的双重整合（CVPR 2025）[论文] [代码]

• 面向类增量学习的任务无关引导特征扩展（CVPR 2025）[论文] [代码]

• 视觉-语言模型的无遗忘学习（TPAMI 2025）[论文] [代码]

• 重新审视基于预训练模型的类增量学习：泛化能力和适应性就是全部所需（IJCV 2025）[论文] [代码]

• PILOT：基于预训练模型的持续学习工具箱（SCIS 2025）[论文] [代码]

• 类增量学习综述（TPAMI 2024）[论文] [代码]

• 预训练模型驱动下的可扩展子空间集成类增量学习（CVPR 2024）[论文] [代码]

• 面向类增量学习的多层重演特征增强（ICML 2024）[论文] [代码]

• 基于预训练模型的持续学习综述（IJCAI 2024）[论文] [代码]

• 长尾类增量学习中的自适应适配器路由（机器学习 2024）[论文] [代码]

• 无需训练的原型校准实现的小样本类增量学习（NeurIPS 2023）[论文] [代码]

• BEEF：基于能量的扩展与融合实现的双向兼容类增量学习（ICLR 2023）[论文] [代码]

• 一个模型还是 603 个示例？迈向内存高效的类增量学习（ICLR 2023）[论文] [代码]

• 通过采样多阶段任务实现的小样本类增量学习（TPAMI 2022）[论文] [代码]

• FOSTER：面向类增量学习的特征增强与压缩（ECCV 2022）[论文] [代码]

• 向前兼容的小样本类增量学习（CVPR 2022）[论文] [代码]

• 面向类增量学习的协同运输（ACM MM 2021）[论文] [代码]

其他优秀作品

• 面向工业持续学习场景的现实评估：重点关注能耗与计算开销（ICCV 2023）[论文][代码]

• 用于类别增量学习的动态残差分类器（ICCV 2023）[论文][代码]

• 基于预训练Transformer的S-Prompts学习：面向领域增量学习的奥卡姆剃刀原则（NeurIPS 2022）[论文][代码]

• ...

许可证

请查看本仓库中列出的 MIT 许可证。

致谢

我们感谢以下项目在我们的工作中提供了有用的组件或功能。

• Continual-Learning-Reproduce
• GEM
• FACIL

我们的训练流程和数据配置基于 Continual-Learning-Reproduce。该仓库的基础分支中包含了原始信息。

联系方式

如有任何问题，欢迎通过提交 issue 提出新功能建议，或直接联系作者：Da-Wei Zhou(zhoudw@lamda.nju.edu.cn) 和 Fu-Yun Wang(wangfuyun@smail.nju.edu.cn)。祝您使用愉快。

星标历史 🚀

PyCIL 快速上手指南

PyCIL 是一个基于 PyTorch 的类增量学习（Class-Incremental Learning, CIL）Python 工具箱，集成了包括 EWC、iCaRL、FOSTER、SimpleCIL 等在内的 20+ 种经典及最先进（SOTA）算法，旨在降低研究人员复现和探索增量学习算法的门槛。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 及以上
• 核心框架：
  • PyTorch >= 1.8
  • torchvision >= 0.6.0
• 其他依赖库：
  • tqdm, numpy, scipy
  • quadprog (用于 GEM 等方法)
  • POT (Python Optimal Transport，用于部分传输类方法)

提示：国内用户建议使用清华或阿里镜像源加速 pip 包安装。

安装步骤

1. 克隆项目

首先从 GitHub 克隆代码仓库：

git clone https://github.com/G-U-N/PyCIL.git
cd PyCIL

2. 安装依赖

推荐使用 pip 安装所需依赖。为确保下载速度，可使用国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中未提供 requirements.txt，请手动安装核心依赖：

pip install torch>=1.8 torchvision>=0.6.0 tqdm numpy scipy quadprog POT -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：quadprog 在 Windows 下可能需要预编译的二进制包，若安装失败，请前往 Gohlke 网站 下载对应版本的 .whl 文件进行安装。

基本使用

PyCIL 通过配置文件和命令行参数来运行实验。以下是运行一个标准类增量学习实验的最简流程。

1. 配置模型参数

在 exps/ 目录下找到对应模型的 JSON 配置文件（例如 finetune.json 或 icarl.json）。

• 全局设置：编辑 [MODEL NAME].json 文件，设置数据集路径、增量阶段数、随机种子等全局参数。
• 超参数微调：如需修改特定算法的超参数，可直接编辑 models/[MODEL NAME].py 文件。

2. 运行实验

使用 main.py 启动训练，指定配置文件路径：

python main.py --config=./exps/icarl.json

将 icarl 替换为您想要复现的其他算法名称（如 finetune, ewc, foster, simplecil 等）。

3. 查看结果

程序运行结束后，日志和结果通常会保存在 logs/ 或项目根目录下的指定输出文件夹中，包含各阶段的准确率及最终平均准确率。

---

引用说明：如果您在研究中使用了 PyCIL，请务必引用以下论文：

@article{zhou2023pycil,
  title={PyCIL: a Python toolbox for class-incremental learning},
  author={Zhou, Da-Wei and Wang, Fu-Yun and Ye, Han-Jia and Zhan, De-Chuan},
  journal={SCIENCE CHINA Information Sciences},
  year={2023}
}