在 TensorFlow 中进行神经网络的域对抗训练

论文“通过反向传播实现无监督域适应”提出了一种简单而有效的方法，利用带有梯度反转层的 SGD 来完成域适应任务。这项工作在“神经网络的域对抗训练”中得到了进一步阐述和扩展。有关更多信息以及 Caffe 中等效实现的链接，请参阅 http://sites.skoltech.ru/compvision/projects/grl/。

Blobs-DANN.ipynb 展示了在一个非常简单的数据集上的一些基础实验。MNIST-DANN.ipynb 则在合成数据集上复现了论文中的 MNIST 实验。合成数据集的生成说明如下。

本项目需要 TensorFlow>=1.0，并已在 Python 2.7 和 Python 3.4 上测试通过。

梯度反转层

flip_gradient 操作通过使用 tf.gradient_override_map 覆盖 tf.identity 的梯度来用 Python 实现。具体实现方式请参阅 flip_gradient.py 文件。

from flip_gradient import flip_gradient

# 反转 y 关于 x 的梯度，并乘以系数 l（默认为 1.0）
y = flip_gradient(x, l)

MNIST 实验

MNIST-DANN.ipynb 笔记本实现了论文中的 MNIST 实验，采用了相同的模型和优化参数，包括学习率和域适应参数的调度策略。以下是大致的实验结果（更多的训练可能会进一步提升效果——论文中并未报告训练轮数）：

方法	目标域准确率（论文）	目标域准确率（本仓库，10 轮训练）
仅源域	0.5225	0.4801
DANN	0.7666	0.7189

构建 MNIST-M 数据集

MNIST-M 数据集由 MNIST 数字与来自 BSDS500 数据集的随机颜色块混合而成。要生成 MNIST-M 数据集，首先下载 BSDS500 数据集，然后运行 create_mnistm.py 脚本：

curl -L -O http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/BSR/BSR_bsds500.tgz
python create_mnistm.py

此过程可能需要几分钟，最终会生成一个包含生成图像的 mnistm_data.pkl 文件。

贡献

欢迎向本仓库添加其他实验。如果您决定复现论文中的其他结果，或开展全新的实验，请随时提交 Pull Request。

tf-dann 快速上手指南

tf-dann 是基于 TensorFlow 实现的域对抗神经网络训练（Domain-Adversarial Training of Neural Networks, DANN）工具。它通过引入梯度反转层（Gradient Reversal Layer），利用无监督域自适应方法，帮助模型将从源域学到的知识迁移到目标域。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 2.7 或 Python 3.4+
• 核心依赖：TensorFlow >= 1.0
• 其他依赖：Jupyter Notebook (用于运行示例脚本), NumPy, PIL/Pillow

建议安装命令：

pip install tensorflow>=1.0 jupyter numpy pillow

安装步骤

该项目主要为代码实现，无需复杂的编译安装过程，直接克隆仓库即可使用。

1. 克隆仓库

   git clone https://github.com/pumpikano/tf-dann.git
   cd tf-dann
   

2. 验证核心组件 确认 flip_gradient.py 文件存在，这是实现梯度反转层的核心模块。

基本使用

1. 核心功能：梯度反转层

DANN 的核心在于 flip_gradient 操作，它在反向传播时将梯度乘以 -λ（默认 λ=1.0），从而实现域分类器的梯度反转。

代码示例：

from flip_gradient import flip_gradient

# x: 输入张量
# l: 缩放系数 (默认为 1.0)
# y: 输出张量，前向传播与 x 相同，反向传播梯度被反转并缩放
y = flip_gradient(x, l)

2. 运行 MNIST 域自适应实验

项目提供了 MNIST-DANN.ipynb 笔记本，复现了论文中的经典实验（将模型从标准 MNIST 迁移到 MNIST-M 数据集）。

第一步：构建 MNIST-M 数据集

MNIST-M 是由 MNIST 数字与 BSDS500 数据集中的随机色块混合而成的合成数据集。

1. 下载 BSDS500 数据集

   curl -L -O http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/BSR/BSR_bsds500.tgz
   

   (注：如果下载速度慢，可尝试手动下载后解压至当前目录)

2. 生成数据文件 运行脚本生成 mnistm_data.pkl 文件：

   python create_mnistm.py
   

   此过程可能需要几分钟。

第二步：启动实验

生成数据后，启动 Jupyter Notebook 并打开 MNIST-DANN.ipynb：

jupyter notebook MNIST-DANN.ipynb

在 Notebook 中按顺序执行单元格，即可观察“仅源域训练”（Source Only）与"DANN 方法”在目标域上的准确率对比。根据官方测试，经过 10 个 epoch 的训练，DANN 方法通常能将目标域准确率提升至 70% 以上，显著优于源域单独训练的效果。