PyTorch中的深度迁移学习

这是一个用于深度迁移学习的PyTorch库。我们将代码分为两个方面：单源无监督域适应（SUDA）和多源无监督域适应（MUDA）。虽然单源无监督域适应的方法很多，但采用深度学习的多源无监督域适应方法却相对较少。此外，结合深度学习的多源域适应可能是域适应领域中一个更有前景的方向。

在此，我实现了一些深度迁移方法，具体如下：

• UDA
  • DDC：通过最大化深度域混淆实现域不变性
  • DAN：利用深度适应网络学习可迁移特征（ICML2015）
  • Deep Coral：基于深度CORAL的相关对齐用于深度域适应（ECCV2016）
  • Revgrad：基于反向传播的无监督域适应（ICML2015）
  • MRAN：用于跨域图像分类的多表示适应网络（Neural Network 2019）
  • DSAN：用于图像分类的深度子域适应网络（IEEE Transactions on Neural Networks and Learning Systems 2020）
• MUDA
  • 针对多源跨域分类的域特定分布与分类器对齐方法（AAAI2019）
• 应用
  • 跨域欺诈检测：利用层次化可解释网络建模用户行为序列进行跨域欺诈检测（WWW2020）
  • 基于元混合专家与评论家的学习以扩展受众群体用于推荐与广告投放（KDD2021）
• 综述
  • 迁移学习综合综述（Proc. IEEE）

Office31数据集上的结果（UDA）

方法	A - W	D - W	W - D	A - D	D - A	W - A	平均
ResNet	68.4±0.5	96.7±0.5	99.3±0.1	68.9±0.2	62.5±0.3	60.7±0.3	76.1
DDC	75.8±0.2	95.0±0.2	98.2±0.1	77.5±0.3	67.4±0.4	64.0±0.5	79.7
DDC*	78.3±0.4	97.1±0.1	100.0±0.0	81.7±0.9	65.2±0.6	65.1±0.4	81.2
DAN	83.8±0.4	96.8±0.2	99.5±0.1	78.4±0.2	66.7±0.3	62.7±0.2	81.3
DAN*	82.6±0.7	97.7±0.1	100.0±0.0	83.1±0.9	66.8±0.3	66.6±0.4	82.8
DCORAL*	79.0±0.5	98.0±0.2	100.0±0.0	82.7±0.1	65.3±0.3	64.5±0.3	81.6
Revgrad	82.0±0.4	96.9±0.2	99.1±0.1	79.7±0.4	68.2±0.4	67.4±0.5	82.2
Revgrad*	82.6±0.9	97.8±0.2	100.0±0.0	83.3±0.9	66.8±0.1	66.1±0.5	82.8
MRAN	91.4±0.1	96.9±0.3	99.8±0.2	86.4±0.6	68.3±0.5	70.9±0.6	85.6
DSAN	93.6±0.2	98.4±0.1	100.0±0.0	90.2±0.7	73.5±0.5	74.8±0.4	88.4

注意：未带“*”的结果来自论文。带“*”的结果是我使用代码运行得到的。

Office31数据集上的结果（MUDA）

标准	方法	A,W - D	A,D - W	D,W - A	平均
	ResNet	99.3	96.7	62.5	86.2
	DAN	99.5	96.8	66.7	87.7
单一最佳	DCORAL	99.7	98.0	65.3	87.7
	RevGrad	99.1	96.9	68.2	88.1
	DAN	99.6	97.8	67.6	88.3
源组合	DCORAL	99.3	98.0	67.1	88.1
	RevGrad	99.7	98.1	67.6	88.5
多源	MFSAN	99.5	98.5	72.7	90.2

OfficeHome数据集上的结果（MUDA）

标准	方法	C,P,R - A	A,P,R - C	A,C,R - P	A,C,P - R	平均
	ResNet	65.3	49.6	79.7	75.4	67.5
	DAN	64.1	50.8	78.2	75.0	67.0
单一最佳	DCORAL	68.2	56.5	80.3	75.9	70.2
	RevGrad	67.9	55.9	80.4	75.8	70.0
	DAN	68.5	59.4	79.0	82.5	72.4
源组合	DCORAL	68.1	58.6	79.5	82.7	72.2
	RevGrad	68.4	59.1	79.5	82.7	72.4
多源	MFSAN	72.1	62.0	80.3	81.8	74.1

注意：(1) 源组合：将所有源域合并为一个传统的单源对目标域的设置。(2) 单一最佳：在多个源域中，报告表现最好的单一源迁移结果。(3) 多源：指MUDA方法的结果。

注意事项

如果您发现准确率达到100%，问题可能出在数据集文件夹上。请注意，数据提供者正常工作所需的文件夹结构如下：

-dataset
    -amazon
    -webcam
    -dslr

联系方式

如果您对该库有任何问题，请创建Issue或发送邮件至：

• zhuyongchun18s@ict.ac.cn
• jindongwang@outlook.com

参考文献

如果您使用本仓库，请引用以下论文：

@inproceedings{zhu2019aligning,
  title={Aligning domain-specific distribution and classifier for cross-domain classification from multiple sources},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Deqing},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={33},
  pages={5989--5996},
  year={2019}
}

@article{zhu2020deep,
  title={Deep subdomain adaptation network for image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Ke, Guolin and Chen, Jingwu and Bian, Jiang and Xiong, Hui and He, Qing},
  journal={IEEE transactions on neural networks and learning systems},
  volume={32},
  number={4},
  pages={1713--1722},
  year={2020},
  publisher={IEEE}
}

@article{zhu2019multi,
  title={Multi-representation adaptation network for cross-domain image classification},
  author={Zhu, Yongchun and Zhuang, Fuzhen and Wang, Jindong and Chen, Jingwu and Shi, Zhiping and Wu, Wenjuan and He, Qing},
  journal={Neural Networks},
  volume={119},
  pages={214--221},
  year={2019},
  publisher={Elsevier}
}

deep-transfer-learning 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python：建议 Python 3.6 及以上版本
• 深度学习框架：PyTorch (建议最新稳定版)
• 依赖库：torchvision, numpy, scikit-learn 等常规科学计算库

国内加速建议： 安装 PyTorch 时，推荐使用清华或中科大镜像源以加快下载速度。 例如使用 pip 安装 PyTorch (CUDA 11.8 示例)：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

本项目为开源代码库，通常通过克隆仓库的方式获取并使用。

1. 克隆项目代码

   git clone https://github.com/jindongwang/deep-transfer-learning.git
   cd deep-transfer-learning
   

2. 安装 Python 依赖 进入项目目录后，安装所需的第三方库：

   pip install -r requirements.txt
   

   (注：如果项目中没有 requirements.txt 文件，请手动安装 torch, torchvision, numpy, scikit-learn)

3. 准备数据集 根据项目说明，数据文件夹结构必须严格符合以下格式，否则可能导致准确率异常（如出现 100% 的错误结果）：

   - dataset
       - amazon
       - webcam
       - dslr
   

   请将 Office31 或其他相关数据集下载并解压至上述结构中。

基本使用

本项目主要包含单源无监督域适应 (SUDA) 和多源无监督域适应 (MUDA) 两类方法。以下以运行 DSAN (SUDA 方法) 和 MFSAN (MUDA 方法) 为例。

1. 运行单源域适应 (SUDA) 示例

假设我们要运行 DSAN 算法，在 Office31 数据集上进行从 Amazon 到 Webcam 的迁移任务 (A -> W)：

python main.py --method DSAN --source amazon --target webcam --dataset office31

• --method: 选择算法名称 (如 DDC, DAN, DeepCoral, Revgrad, MRAN, DSAN)。
• --source: 源域名称。
• --target: 目标域名称。
• --dataset: 数据集名称。

2. 运行多源域适应 (MUDA) 示例

假设我们要运行 MFSAN 算法，利用 Amazon 和 DSLR 作为源域，Webcam 作为目标域 (A,D -> W)：

python main_muda.py --method MFSAN --sources amazon dslr --target webcam --dataset office31

• --sources: 支持传入多个源域名称，用空格分隔。
• 其他参数含义同上。

3. 查看可用参数

您可以运行以下命令查看完整的参数配置帮助：

python main.py --help

---

更多详细实验结果及论文引用信息，请参考项目根目录下的 README 原文。如有问题，可通过 Issue 或邮件联系作者。