PyTorch 对抗域适应

对抗式无监督域适应算法的实现集合。

域适应

域适应的目标是将模型的知识迁移到一个不同但相关的数据分布上。模型在源数据集上进行训练，然后应用于目标数据集（通常是无标签的）。在本例中，模型是在标准 MNIST 图像上训练的，但我们希望它在随机颜色的 MNIST 数据上也能取得良好的性能（无需任何标签）。

在对抗式域适应中，这一问题通常通过训练一个称为域判别器的辅助模型来解决。该模型的目标是将样本分类为来自源分布或目标分布。原始分类器则会尝试最大化域判别器的损失，这与 GAN 的训练过程类似。

已实现的论文

论文: 通过反向传播实现的无监督域适应，Ganin & Lemptsky (2014)
链接: https://arxiv.org/abs/1409.7495
描述: 通过反转判别器的梯度，使特征提取器能够同时训练两个网络。
实现: revgrad.py

---

论文: 对抗性判别式域适应，Tzeng 等 (2017)
链接: https://arxiv.org/abs/1702.05464
描述: 调整在源数据上预训练的分类器的权重，使其在目标数据上产生相似的特征。
实现: adda.py

---

论文: 水利斯坦距离引导的表示学习，Shen 等 (2017)
链接: https://arxiv.org/abs/1707.01217
描述: 使用域评鉴器来最小化域之间的水利斯坦距离（并加入梯度惩罚项）。
实现: wdgrl.py

结果

方法	在 MNIST-M 上的准确率	参数
仅使用源数据	0.33
RevGrad	0.74	默认
ADDA	0.76	默认
WDGRL	0.78	--k-clf 10 --wd-clf 0.1

使用说明

1. 下载 BSDS500 数据集，并解压到某个位置。将 config.py 中的 DATA_DIR 变量指向该路径。
2. 在 Python 3.6 环境中运行：

$ conda install pytorch torchvision numpy -c pytorch
$ pip install tqdm opencv-python

3. 在源数据集上训练模型：

$ python train_source.py

4. 选择一种算法，并传入预训练好的网络，例如：

$ python adda.py trained_models/source.pt

pytorch-domain-adaptation 快速上手指南

本工具集成了多种基于对抗学习的无监督域适应（Adversarial Unsupervised Domain Adaptation）算法实现，旨在帮助模型将从源域（有标签）学到的知识迁移到目标域（通常无标签）。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • PyTorch
  • torchvision
  • numpy
  • tqdm
  • opencv-python

安装步骤

1. 配置数据路径 下载 BSDS500 数据集 并解压。修改 config.py 文件中的 DATA_DIR 变量，指向该数据集的存放路径。

2. 安装依赖库 建议使用国内镜像源加速安装。在终端执行以下命令：

   # 使用清华源安装 PyTorch 及相关基础库
   conda install pytorch torchvision numpy -c pytorch
   
   # 使用国内 pip 源安装其他依赖
   pip install tqdm opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

使用流程分为两步：首先在源数据集上训练基础模型，然后选择特定的域适应算法进行迁移训练。

1. 训练源域模型 在源数据集上预训练分类器：

   python train_source.py
   

2. 运行域适应算法 加载预训练好的模型权重，选择一种算法（如 ADDA）开始适配目标域：

   python adda.py trained_models/source.pt
   

   其他可用算法示例：

   • RevGrad: python revgrad.py trained_models/source.pt
   • WDGRL (需特定参数): python wdgrl.py trained_models/source.pt --k-clf 10 --wd-clf 0.1