迁移学习库

• 简介
• 更新
• 支持的方法
• 安装
• 文档
• 联系方式
• 引用

更新 (2024-03-15)

我们在此上传了文档的离线版本 这里。您可以下载并解压以查看文档。

注意 (2023-08-09)

关于数据集链接失效的说明，请参阅：DATASETS.md。

简介

TLlib 是一个开源且文档完善的迁移学习库。它基于纯 PyTorch 构建，具有高性能和友好的 API。我们的代码风格符合 Python 习惯，设计与 torchvision 保持一致。您可以轻松开发新算法，也可以直接应用现有的算法。

我们的 API 按方法划分，包括：

• 域对齐方法 (tllib.aligment)
• 域转换方法 (tllib.translation)
• 自训练方法 (tllib.self_training)
• 正则化方法 (tllib.regularization)
• 数据重加权/重采样方法 (tllib.reweight)
• 模型排序/选择方法 (tllib.ranking)
• 基于归一化的方法 (tllib.normalization)

我们在 examples 目录中提供了许多示例代码，这些代码按学习设置分类。目前支持的学习设置包括：

• DA（领域适应）
• TA（任务适应，也称为微调）
• OOD（分布外泛化，也称为 DG / 领域泛化）
• SSL（半监督学习）
• 模型选择

我们支持的任务包括：分类、回归、目标检测、分割、关键点检测等。

更新

2022.9

我们现在支持通过 pip 安装 TLlib，目前仍处于实验阶段。

pip install -i https://test.pypi.org/simple/ tllib==0.4

2022.8

我们发布了 TLlib 的 v0.4 版本。之前的版本可以在 这里 找到。在 v0.4 中，我们新增了以下方法的实现：

• 目标检测领域的领域适应 [代码] [API]
• 预训练模型选择 [代码] [API]
• 分类任务的半监督学习 [代码] [API]

此外，我们在另一个仓库 A Roadmap for Transfer Learning 中维护了一个 迁移学习领域的优秀论文合集。

2022.2

我们根据我们的综述文章 深度学习中的可迁移性 调整了我们的 API。

支持的方法

目前支持的算法包括：

分类任务的领域适应 [代码]

• DANN - 通过反向传播实现的无监督领域适应 [ICML 2015] [代码]
• DAN - 使用深度适应网络学习可迁移特征 [ICML 2015] [代码]
• JAN - 使用联合适应网络进行深度迁移学习 [ICML 2017] [代码]
• ADDA - 对抗式判别性领域适应 [CVPR 2017] [代码]
• CDAN - 条件对抗式领域适应 [NIPS 2018] [代码]
• MCD - 最大分类器差异用于无监督领域适应 [CVPR 2018] [代码]
• MDD - 沟通领域适应的理论与算法 [ICML 2019] [代码]
• BSP - 可迁移性 vs. 辨识能力：用于对抗式领域适应的批处理谱惩罚 [ICML 2019] [代码]
• MCC - 最小类别混淆用于多功能领域适应 [ECCV 2020] [代码]

目标检测领域的领域适应 [代码]

• CycleGAN - 使用循环一致性对抗网络进行无配对图像到图像的转换 [ICCV 2017] [代码]
• D-adapt - 用于跨域目标检测的解耦适应 [ICLR 2022] [代码]

语义分割领域的领域适应 [代码]

• CycleGAN - 使用循环一致性对抗网络进行无配对图像到图像的转换 [ICCV 2017] [代码]
• CyCADA - 循环一致性的对抗式领域适应 [ICML 2018] [代码]
• ADVENT - 语义分割领域适应中的对抗式熵最小化 [CVPR 2019] [代码]
• FDA - 语义分割任务中的傅里叶域适应 [CVPR 2020] [代码]

关键点检测领域的领域自适应 [代码]

• RegDA - 用于无监督关键点检测的回归型领域自适应 [CVPR 2021] [代码]

人员重识别领域的领域自适应 [代码]

• IBN-Net - 一举两得：通过 IBN-Net 提升学习与泛化能力 [ECCV 2018]
• MMT - 相互均值教学：面向人员重识别无监督领域自适应的伪标签精炼 [ICLR 2020] [代码]
• SPGAN - 保持相似性的生成对抗网络 [CVPR 2018] [代码]

部分领域自适应 [代码]

• IWAN - 基于重要性加权的对抗网络用于部分领域自适应 [CVPR 2018] [代码]
• AFN - 范数越大越可迁移：一种用于无监督领域自适应的自适应特征范数方法 [ICCV 2019] [代码]

开集领域自适应 [代码]

• OSBP - 通过反向传播实现开集领域自适应 [ECCV 2018] [代码]

分类任务的领域泛化 [代码]

• IBN-Net - 一举两得：通过 IBN-Net 提升学习与泛化能力 [ECCV 2018]
• MixStyle - 使用 MixStyle 实现领域泛化 [ICLR 2021] [代码]
• MLDG - 学习如何泛化：面向领域泛化的元学习 [AAAI 2018] [代码]
• IRM - 不变风险最小化 [ArXiv] [代码]
• VREx - 通过风险外推实现分布外泛化 [ICML 2021] [代码]
• GroupDRO - 面向群体偏移的分布鲁棒神经网络：论正则化对最坏情况泛化的重要性 [ArXiv] [代码]
• Deep CORAL - 深度领域自适应中的相关性对齐 [ECCV 2016] [代码]

人员重识别领域的领域泛化 [代码]

• IBN-Net - 一举两得：通过 IBN-Net 提升学习与泛化能力 [ECCV 2018]
• MixStyle - 使用 MixStyle 实现领域泛化 [ICLR 2021] [代码]

图像分类任务的迁移适配（微调）[代码]

• L2-SP - 卷积网络迁移学习中的显式归纳偏置 [ICML 2018] [代码]
• BSS - 灾难性遗忘遇上负迁移：批量谱收缩用于安全的迁移学习 [NIPS 2019] [代码]
• DELTA - 基于注意力机制的特征图深度学习迁移 [ICLR 2019] [代码]
• Co-Tuning - 迁移学习中的协同调优 [NIPS 2020] [代码]
• StochNorm - 随机归一化 [NIPS 2020] [代码]
• LWF - 不忘旧知识的学习 [ECCV 2016] [代码]
• Bi-Tuning - 预训练表示的双向调优 [ArXiv] [代码]

预训练模型选择 [代码]

• H-Score - 基于信息论的任务迁移学习可迁移性评估方法 [ICIP 2019] [代码]
• NCE - “可迁移性与监督分类任务难度”中的负条件熵 [ICCV 2019] [代码]
• LEEP - LEEP：一种评估学习表征可迁移性的新指标 [ICML 2020] [代码]
• LogME - “LogME：预训练模型在迁移学习中实用评估”的最大证据对数 [ICML 2021] [代码]

半监督学习用于分类 [代码]

• 伪标签 - 伪标签：一种简单高效的深度神经网络半监督学习方法 [ICML 2013] [代码]
• Pi模型 - 用于半监督学习的时间集成 [ICLR 2017] [代码]
• 均值教师 - 均值教师是更好的榜样：权重平均的一致性目标可提升半监督深度学习效果 [NIPS 2017] [代码]
• 噪声学生 - 使用噪声学生的自训练可提升 ImageNet 分类性能 [CVPR 2020] [代码]
• UDA - 用于一致性训练的无监督数据增强 [NIPS 2020] [代码]
• FixMatch - 通过一致性和置信度简化半监督学习 [NIPS 2020] [代码]
• 自调优 - 面向数据高效深度学习的自调优技术 [ICML 2021] [代码]
• FlexMatch - FlexMatch：利用课程式伪标签提升半监督学习效果 [NIPS 2021] [代码]
• DebiasMatch - 基于自然不均衡伪标签的去偏学习 [CVPR 2022] [代码]
• DST - 面向半监督学习的去偏自训练 [NIPS 2022 口头报告] [代码]

安装

从源代码安装

• 请先使用 git 克隆本库。然后运行以下命令以安装 tllib 及其所有依赖项。

python setup.py install
pip install -r requirements.txt

通过 pip 安装

• 目前通过 pip 安装仍处于实验阶段。

pip install -i https://test.pypi.org/simple/ tllib==0.4

文档

您可以在网站上找到 API 文档：文档。

使用

您可以在 examples 目录中找到示例。典型用法如下：

# 在 Office-31 数据集上，使用 ResNet 50 训练 DANN 模型，任务为 Amazon → Webcam。
# 假设您已将数据集放置在 `data/office-31` 路径下，
# 或者您愿意自动从互联网下载数据集到该路径。
python dann.py data/office31 -d Office31 -s A -t W -a resnet50 --epochs 20

贡献

我们欢迎所有贡献。如果您计划提交 bug 修复，请直接操作，无需进一步讨论。若您打算贡献新功能、实用工具或扩展，请先创建议题并与我们讨论该功能。

数据集免责声明

本库是一个用于下载和准备公开数据集的工具库。我们不托管或分发这些数据集，也不对其质量或公平性作出保证，更不声称您拥有使用这些数据集的许可。您有责任根据数据集的许可协议确定自己是否具备使用权限。

如果您是数据集的所有者，并希望更新其中的任何部分（如描述、引用等），或者不希望您的数据集被纳入本库，请通过 GitHub 议题与我们联系。感谢您对机器学习社区的贡献！

联系方式

如果您对我们的代码有任何问题或建议，包括未来功能的改进，欢迎随时联系：

• Baixu Chen (cbx_99_hasta@outlook.com)
• Junguang Jiang (JiangJunguang1123@outlook.com)
• Mingsheng Long (longmingsheng@gmail.com)

或在 Issues 中提出您的问题。

如需中文答疑，您也可以先在此处提问，再发送邮件。迁移学习算法库答疑专区

引用

如果您在研究中使用了本工具箱或基准测试，请引用本项目。

@misc{jiang2022transferability,
      title={深度学习中的迁移能力：综述}, 
      author={Junguang Jiang、Yang Shu、Jianmin Wang、Mingsheng Long},
      year={2022},
      eprint={2201.05867},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{tllib,
    author = {Junguang Jiang、Baixu Chen、Bo Fu、Mingsheng Long},
    title = {迁移学习库},
    year = {2020},
    publisher = {GitHub},
    journal = {GitHub 仓库},
    howpublished = {\url{https://github.com/thuml/Transfer-Learning-Library}},
}

致谢

我们衷心感谢清华大学软件学院以及大数据软件国家工程实验室，为我们的机器学习研究提供了如此优秀的平台。

Transfer-Learning-Library 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.6 及以上版本
• 核心框架: PyTorch (纯 PyTorch 实现，无其他重型依赖)
• 可选依赖: torchvision (用于数据加载和模型构建，设计风格与 TLlib 一致)

建议先安装好基础的 PyTorch 环境。

安装步骤

TLlib 支持通过 pip 进行实验性安装。考虑到网络环境，推荐优先尝试国内镜像源加速安装。

方式一：使用 pip 安装（推荐）

使用清华大学开源软件镜像源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tllib==0.4

或使用官方测试源（如镜像源暂无该版本）：

pip install -i https://test.pypi.org/simple/ tllib==0.4

方式二：源码安装（获取最新功能）

如果您需要最新的代码或示例，可以直接克隆仓库：

git clone https://github.com/thuml/Transfer-Learning-Library.git
cd Transfer-Learning-Library
pip install -e .

基本使用

TLlib 的 API 设计遵循 Pythonic 风格，并与 torchvision 保持高度一致。库按方法类型划分为多个模块（如 tllib.alignment, tllib.self_training 等）。

以下是一个基于 DANN (Domain Adversarial Neural Network) 进行图像分类域适应的最简使用流程示例：

1. 导入必要模块

import torch
import torch.nn as nn
from tllib.alignment.d_adapt import DannGenerator, DannDiscriminator
# 假设您已准备好自己的 DataLoader (source_loader, target_loader)

2. 定义模型与算法组件

TLlib 提供了标准的生成器（特征提取器 + 分类器）和判别器组件：

# 初始化生成器 (通常包含 backbone 和 classifier)
generator = DannGenerator(backbone=your_resnet_model, num_classes=num_classes)

# 初始化域判别器
discriminator = DannDiscriminator(in_features=feature_dim)

# 定义优化器
optimizer_g = torch.optim.SGD(generator.parameters(), lr=0.01)
optimizer_d = torch.optim.SGD(discriminator.parameters(), lr=0.01)

# 定义损失函数
domain_criterion = nn.BCELoss()
task_criterion = nn.CrossEntropyLoss()

3. 训练循环示例

在训练步中，交替优化生成器和判别器，这是 DANN 的核心逻辑：

for i, ((source_images, source_labels), (target_images, _)) in enumerate(zip(source_loader, target_loader)):
    
    # --- 训练域判别器 ---
    optimizer_d.zero_grad()
    
    source_features = generator.extract_features(source_images)
    target_features = generator.extract_features(target_images)
    
    source_domain_output = discriminator(source_features.detach())
    target_domain_output = discriminator(target_features.detach())
    
    # 构造标签：源域为 1，目标域为 0
    domain_labels_source = torch.ones_like(source_domain_output)
    domain_labels_target = torch.zeros_like(target_domain_output)
    
    loss_d = domain_criterion(source_domain_output, domain_labels_source) + \
             domain_criterion(target_domain_output, domain_labels_target)
    
    loss_d.backward()
    optimizer_d.step()

    # --- 训练生成器 (特征提取器 + 分类器) ---
    optimizer_g.zero_grad()
    
    # 再次前向传播
    source_features = generator.extract_features(source_images)
    target_features = generator.extract_features(target_images)
    
    # 分类任务损失
    source_predictions = generator.classify(source_features)
    loss_task = task_criterion(source_predictions, source_labels)
    
    # 域对抗损失 (梯度反转层通常在 generator 内部或作为独立模块处理，此处简化演示逻辑)
    # 实际使用中，TLlib 的 DannGenerator 通常内置了梯度反转逻辑或需配合特定 wrapper
    source_domain_output_adv = discriminator(source_features)
    target_domain_output_adv = discriminator(target_features)
    
    # 生成器希望混淆判别器：源域标为 0，目标域标为 1 (与判别器目标相反)
    loss_adv = domain_criterion(source_domain_output_adv, domain_labels_target) + \
               domain_criterion(target_domain_output_adv, domain_labels_source)
    
    loss_g = loss_task + loss_adv
    loss_g.backward()
    optimizer_g.step()

提示：TLlib 在 examples 目录下提供了完整的、可直接运行的脚本（如 examples/domain_adaptation/image_classification/dann.py），涵盖了数据加载、模型定义及完整的训练评估流程，建议开发者直接参考这些示例进行二次开发。