无监督数据增强

概述

无监督数据增强（UDA）是一种半监督学习方法，在多种语言和视觉任务上均取得了最先进的结果。

仅使用20个标注样本，UDA在IMDb上的表现就超过了此前的最先进水平，而后者是在25,000个标注样本上训练得到的。

模型	标注样本数量	错误率
混合VAT（先前SOTA）	25,000	4.32
BERT	25,000	4.51
UDA	20	4.20

在CIFAR-10数据集上，使用4,000个标注样本时，UDA将错误率降低了超过30%；而在SVHN数据集上，使用1,000个标注样本时，同样实现了显著的性能提升：

模型	CIFAR-10	SVHN
ICT（先前SOTA）	7.66±.17	3.53±.07
UDA	4.31±.08	2.28±.10

在ImageNet数据集上，使用10%的标注数据时，UDA也带来了显著的性能提升。

模型	top-1准确率	top-5准确率
ResNet-50	55.09	77.26
UDA	68.78	88.80

工作原理

UDA是一种半监督学习方法，它减少了对标注样本的需求，并更好地利用未标注的数据。

我们发布的内容

我们发布了以下内容：

• 基于BERT的文本分类代码。
• 针对CIFAR-10和SVHN的图像分类代码。
• 我们的反向翻译增强系统代码及检查点。

本仓库中的所有代码均可在GPU和Google Cloud TPU上开箱即用。

环境要求

代码已在Python 2.7和TensorFlow 1.13上测试通过。安装TensorFlow后，请运行以下命令以安装依赖项：

pip install --user absl-py

图像分类

预处理

我们为每个原始样本生成100个增强样本。要下载所有增强数据，请进入image目录并运行：

AUG_COPY=100
bash scripts/download_cifar10.sh ${AUG_COPY}

请注意，所有增强数据需要120G的磁盘空间。为了节省空间，您可以将AUG_COPY设置为较小的值，例如30。

或者，您也可以自行生成增强样本，运行以下命令：

AUG_COPY=100
bash scripts/preprocess.sh --aug_copy=${AUG_COPY}

在GPU上使用250、500、1,000、2,000、4,000个样本进行CIFAR-10分类

GPU命令：

# UDA准确率： 
# 4000：95.68 ± 0.08
# 2000：95.27 ± 0.14
# 1000：95.25 ± 0.10
# 500：95.20 ± 0.09
# 250：94.57 ± 0.96
bash scripts/run_cifar10_gpu.sh --aug_copy=${AUG_COPY}

在GPU上使用250、500、1,000、2,000、4,000个样本进行SVHN分类

# UDA准确率：
# 4000：97.72 ± 0.10
# 2000：97.80 ± 0.06
# 1000：97.77 ± 0.07
# 500：97.73 ± 0.09
# 250：97.28 ± 0.40

bash scripts/run_svhn_gpu.sh --aug_copy=${AUG_COPY}

文本分类

在GPU上运行

内存问题

IMDb中的电影评论文本比许多分类任务的文本更长，因此使用较长的序列长度可以获得更好的性能。然而，在使用BERT时，序列长度会受到TPU/GPU内存的限制（参见BERT的内存不足问题）。为此，我们提供了使用较短序列长度和较小批量大小运行的脚本。

指令

如果您想在具有11GB内存的GPU上使用BERT运行UDA，请进入text目录并执行以下命令：

# 如果您的GPU内存大于11GB，请设置更大的max_seq_length
MAX_SEQ_LENGTH=128

# 下载数据和预训练的BERT检查点
bash scripts/download.sh

# 预处理
bash scripts/prepro.sh --max_seq_length=${MAX_SEQ_LENGTH}

# 基线准确率：约68%
bash scripts/run_base.sh --max_seq_length=${MAX_SEQ_LENGTH}

# UDA准确率：约90%
# 如果您的GPU内存更大，可以设置更大的train_batch_size以获得更好的性能。
bash scripts/run_base_uda.sh --train_batch_size=8 --max_seq_length=${MAX_SEQ_LENGTH}

在Cloud TPU v3-32 Pod上运行以达到SOTA性能

论文中最好的性能是通过使用512的max_seq_length，并从在领域内无监督数据上微调过的BERT large模型初始化得到的。如果您可以访问Google Cloud TPU v3-32 Pod，请尝试：

MAX_SEQ_LENGTH=512

# 下载数据和预训练的BERT检查点
bash scripts/download.sh

# 预处理
bash scripts/prepro.sh --max_seq_length=${MAX_SEQ_LENGTH}

# UDA准确率：95.3% - 95.9%
bash train_large_ft_uda_tpu.sh

为您的数据集运行反向翻译数据增强

首先，请安装以下依赖项：

pip install --user nltk
python -c "import nltk; nltk.download('punkt')"
pip install --user tensor2tensor==1.13.4

以下命令将翻译提供的示例文件。它会自动将段落分割成句子，将英语句子翻译成法语，然后再翻译回英语。最后，它会将改写的句子重新组合成段落。请进入back_translate目录并运行：

bash download.sh
bash run.sh

超参数指南：

bash脚本中有一个变量sampling_temp，用于控制改写句子的多样性和质量。提高sampling_temp会增加多样性，但会降低质量。令人惊讶的是，在我们尝试的许多任务中，多样性比质量更为重要。

我们建议尝试将sampling_temp设置为0.7、0.8和0.9。如果您的任务对噪声具有很强的鲁棒性，则sampling_temp=0.9或0.8可能会带来性能提升。如果您的任务对噪声不那么鲁棒，则将sampling_temp设置为0.7或0.6可能更好。

如果您想对大型文件进行反向翻译，可以修改run.sh中的replicas和worker_id参数。例如，当replicas=3时，我们会将数据分成三份，每份run.sh将根据worker_id只处理其中一部分。

超参数设置的一般指南：

UDA 开箱即用，无需进行大量的超参数调优，但若想进一步提升性能，可参考以下建议：

• 将无监督目标的权重 'unsup_coeff' 设置为 1 效果较好。
• 由于同时计算有标签数据和无标签数据上的两个损失项，建议使用比纯监督学习更低的学习率。
• 如果数据量非常少，可以适当调整 'uda_softmax_temp' 和 'uda_confidence_thresh'。关于这两个超参数的详细说明，请参阅论文中的“基于置信度的掩码”和“Softmax 温度控制”部分。
• 针对监督学习的有效数据增强方法通常也适用于 UDA。
• 对于某些任务，我们观察到增大无监督目标的批次大小能够带来更好的性能；而对于另一些任务，则小批次同样有效。例如，在 CIFAR-10 数据集上使用 GPU 运行 UDA 时，无监督目标的最佳批次大小为 160。

致谢

代码的大部分内容源自 BERT 和 RandAugment。在此表示感谢！

引用

如果您使用了 UDA，请引用本文：

@article{xie2019unsupervised,
  title={Unsupervised Data Augmentation for Consistency Training},
  author={Xie, Qizhe and Dai, Zihang and Hovy, Eduard and Luong, Minh-Thang and Le, Quoc V},
  journal={arXiv preprint arXiv:1904.12848},
  year={2019}
}

如果您将 UDA 应用于图像任务，也请引用以下论文：

@article{cubuk2019randaugment,
  title={RandAugment: Practical data augmentation with no separate search},
  author={Cubuk, Ekin D and Zoph, Barret and Shlens, Jonathon and Le, Quoc V},
  journal={arXiv preprint arXiv:1909.13719},
  year={2019}
}

免责声明

本项目并非 Google 官方支持的产品。

UDA (Unsupervised Data Augmentation) 快速上手指南

UDA 是一种半监督学习方法，能够利用大量未标记数据显著提升模型性能。即使在仅有少量标记样本（如 20 个）的情况下，也能在文本分类和图像分类任务中达到业界领先（SOTA）的效果。

环境准备

系统要求

• 操作系统: Linux (推荐)
• 硬件: 支持 GPU 或 Google Cloud TPU
• Python 版本: 2.7 (官方测试版本，建议兼容环境)
• 框架版本: TensorFlow 1.13

前置依赖

安装 TensorFlow 后，需安装以下 Python 依赖包：

pip install --user absl-py

注意：若需使用回译（Back Translation）数据增强功能，还需额外安装：

pip install --user nltk
python -c "import nltk; nltk.download('punkt')"
pip install --user tensor2tensor==1.13.4

安装步骤

本项目代码无需编译，克隆仓库即可直接使用。确保已安装上述依赖。

git clone https://github.com/google-research/uda.git
cd uda

基本使用

以下提供图像分类和文本分类的最简运行示例。

场景一：图像分类 (CIFAR-10)

此示例展示如何在 GPU 上运行 CIFAR-10 数据集的 UDA 训练。

1. 数据预处理 下载并生成增强数据（默认每个原图生成 100 个增强样本，需约 120G 空间。若空间不足，可将 AUG_COPY 设为 30）。

cd image
AUG_COPY=100
bash scripts/download_cifar10.sh ${AUG_COPY}

或者手动生成增强数据：

AUG_COPY=100
bash scripts/preprocess.sh --aug_copy=${AUG_COPY}

2. 启动训练 运行以下脚本开始在 GPU 上训练（支持 250 至 4000 个标记样本）：

bash scripts/run_cifar10_gpu.sh --aug_copy=${AUG_COPY}

场景二：文本分类 (IMDb)

此示例展示如何在显存为 11GB 的 GPU 上运行基于 BERT 的 IMDb 情感分析。

1. 进入目录并配置参数

cd text
# 若显存大于 11GB，可适当增大 MAX_SEQ_LENGTH
MAX_SEQ_LENGTH=128

2. 下载数据与预训练模型

bash scripts/download.sh

3. 数据预处理

bash scripts/prepro.sh --max_seq_length=${MAX_SEQ_LENGTH}

4. 启动 UDA 训练

# train_batch_size 可根据显存大小调整，显存越大可设越大以提升性能
bash scripts/run_base_uda.sh --train_batch_size=8 --max_seq_length=${MAX_SEQ_LENGTH}

场景三：自定义数据的回译增强

若需为自己的数据集生成回译增强数据（英->法->英），请进入 back_translate 目录：

cd back_translate
bash download.sh
bash run.sh

调参建议：在 run.sh 中可通过调整 sampling_temp 控制生成多样性。

• 任务对噪声鲁棒性强：尝试 0.8 或 0.9
• 任务对噪声敏感：尝试 0.6 或 0.7

核心超参数建议

UDA 通常开箱即用，但若需进一步压榨性能，可参考以下调整策略：

• unsup_coeff: 无监督损失权重，建议设为 1。
• Learning Rate: 由于同时计算有标签和无标签损失，建议使用比纯监督学习更低的学习率。
• 小样本场景: 微调 uda_softmax_temp 和 uda_confidence_thresh。
• Batch Size: 对于无监督目标，增大 Batch Size 在某些任务（如 CIFAR-10）中能提升效果（最佳值约为 160）。