噪声学生训练

概述

噪声学生训练 是一种半监督学习方法，在 ImageNet 数据集上达到了 88.4% 的 top-1 准确率（SOTA），并在鲁棒性和对抗性基准测试中取得了令人惊讶的提升。噪声学生训练基于自训练框架，通过以下四个简单步骤进行训练：

1. 在有标签数据上训练一个分类器（教师模型）。
2. 对规模大得多的无标签数据集进行标签预测。
3. 使用包含噪声的组合数据集训练一个更大的分类器（噪声学生模型）。
4. 以学生模型作为教师模型，返回步骤 2。

有关使用噪声学生训练法在 ImageNet 上训练得到的检查点，请参阅 EfficientNet GitHub 仓库。

SVHN 实验

在这里，我们展示了在 SVHN 数据集上实现噪声学生训练的方法，该方法将监督模型的准确率从 97.9% 提升至 98.6%。

# 下载并预处理 SVHN 数据。同时下载在有标签数据上训练、准确率为 97.9% 的教师模型。
bash local_scripts/svhn/prepro.sh

# 训练与评估（预期准确率：98.6 ± 0.1）
# 在此脚本中，教师模型会实时生成预测结果。若希望保存教师模型的预测结果以节省训练时间，请参阅后续说明。
bash local_scripts/svhn/run.sh

关于在无标签数据上运行预测、过滤与平衡数据，以及使用存储的预测结果进行训练的说明：

# 在多个分片上运行预测。
# 如果有多块 GPU/TPU，可并行运行预测。
bash local_scripts/svhn/predict.sh

# 获取不同分片的统计信息（可并行执行）。
bash local_scripts/svhn/filter_unlabel.sh 1

# 输出过滤并平衡后的数据（可并行执行）。
bash local_scripts/svhn/filter_unlabel.sh 0

# 使用存储的预测结果进行训练与评估。
bash local_scripts/svhn/run_offline.sh

如果获得了更好的模型，可以使用该模型对过滤后的数据重新分配伪标签。

# 重新分配伪标签。
# 如果有多块 GPU/TPU，可并行运行预测。
bash local_scripts/svhn/reassign.sh

您也可以使用 Colab 脚本 noisystudent_svhn.ipynb，在免费的 Colab GPU 上尝试该方法。

ImageNet 实验

用于 ImageNet 实验的脚本如下：

# 训练：
# 请参阅针对 EfficientNet-B0 至 B7 的超参数脚本。
# 需要在脚本中填写 label_data_dir、unlabel_data_dir、model_name 和 teacher_model_path。
bash local_scripts/imagenet/train.sh

# 评估：
bash local_scripts/imagenet/eval.sh

类似的脚本可用于在无标签数据上运行预测、过滤与平衡数据，以及使用过滤后的数据进行训练：

# 在多个分片上运行预测。
bash local_scripts/imagenet/predict.sh

# 获取不同分片的统计信息（可并行执行）。
bash local_scripts/imagenet/filter_unlabel.sh 1

# 输出过滤并平衡后的数据（可并行执行）。
bash local_scripts/imagenet/filter_unlabel.sh 0

# 使用过滤后的数据进行训练与评估。
bash local_scripts/imagenet/run_offline.sh
bash local_scripts/imagenet/eval.sh

使用模型对过滤后的数据进行伪标签预测：

# 重新分配伪标签。
# 如果有多块 GPU/TPU，可并行运行预测。
bash local_scripts/imagenet/reassign.sh

BibTeX 引用

@article{xie2019self,
  title={Self-training with Noisy Student improves ImageNet classification},
  author={Xie, Qizhe and Luong, Minh-Thang and Hovy, Eduard and Le, Quoc V},
  journal={arXiv preprint arXiv:1911.04252},
  year={2019}
}

本内容并非 Google 官方支持的产品。

Noisy Student 快速上手指南

Noisy Student Training 是一种半监督学习方法，通过“教师 - 学生”自训练框架，利用大量无标签数据显著提升模型性能（如在 ImageNet 上达到 88.4% Top-1 准确率）及鲁棒性。

环境准备

在开始之前，请确保满足以下系统和依赖要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• 硬件: 支持 CUDA 的 NVIDIA GPU 或 Google TPU（多卡/多 TPU 可加速并行预测）
• 核心依赖:
  • Python 3.6+
  • TensorFlow (版本需与 EfficientNet 官方实现兼容，通常建议 TF 2.x)
  • Git
• 数据集:
  • SVHN: 脚本将自动下载并预处理。
  • ImageNet: 需自行准备已标注数据 (label_data_dir) 和未标注数据 (unlabel_data_dir)。

注意: 本项目非 Google 官方支持产品。国内用户若遇到 GitHub 克隆或模型下载缓慢，建议配置科学网络环境或使用国内镜像源加速 TensorFlow 及相关依赖的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/google-research/noisystudent.git
   cd noisystudent
   

2. 安装依赖 确保已安装 TensorFlow。若未安装，可使用 pip 安装（国内用户可指定清华源加速）：

   pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：具体 TensorFlow 版本要求请参考项目隐含依赖或 EfficientNet 官方文档。

3. 权限设置 赋予脚本执行权限：

   chmod +x local_scripts/*/*.sh
   

基本使用

以下以 SVHN 数据集为例，展示最简化的完整训练流程。该流程将从预训练教师模型开始，生成伪标签，并训练出更强大的学生模型（预期准确率从 97.9% 提升至 98.6%）。

方式一：一键运行（在线生成伪标签）

适合快速验证，脚本会在训练时动态生成伪标签。

1. 下载数据与教师模型

   bash local_scripts/svhn/prepro.sh
   

2. 训练与评估

   bash local_scripts/svhn/run.sh
   

   运行结束后，预期获得约 98.6% 的准确率。

方式二：分步运行（离线存储伪标签）

适合大规模数据集（如 ImageNet）或多卡并行场景，可节省重复计算时间。

1. 并行预测（生成伪标签） 若有多个 GPU/TPU，可并行运行以下命令：

   bash local_scripts/svhn/predict.sh
   

2. 数据过滤与平衡 先获取统计信息，再输出过滤后的数据：

   # 获取分片统计
   bash local_scripts/svhn/filter_unlabel.sh 1
   
   # 输出过滤并平衡后的数据
   bash local_scripts/svhn/filter_unlabel.sh 0
   

3. 使用存储的预测结果进行训练

   bash local_scripts/svhn/run_offline.sh
   

4. 迭代优化（可选） 若获得了更好的模型，可重新分配伪标签进行下一轮迭代：

   bash local_scripts/svhn/reassign.sh
   

云端体验

若无本地 GPU 资源，可直接使用 Google Colab 尝试：

• 访问笔记本：noisystudent_svhn.ipynb

---

对于 ImageNet 实验，流程与 SVHN 类似，只需将脚本路径中的 svhn 替换为 imagenet，并在 train.sh 中配置正确的数据目录和模型路径。