PyTorch 学习率查找器

基于 Cyclical Learning Rates for Training Neural Networks 中提出的学习率范围测试的 PyTorch 实现，由 Leslie N. Smith 提出，以及 fastai 框架使用的改进版本。

学习率范围测试是一种能够提供关于最优学习率重要信息的测试。在预训练运行过程中，学习率会在两个边界之间线性或指数增加。初始较低的学习率允许网络开始收敛，随着学习率增加，最终会变得太大导致网络发散。

通常，一个合适的静态学习率可以找到在下降的损失曲线中间。在下图中，该值为 lr = 0.002。

对于循环学习率（也详细说明在 Leslie Smith 的论文中），学习率会在两个边界 (start_lr, end_lr) 之间循环。作者建议在损失开始下降的点和损失停止下降或变得不规则的点分别取值。在下图中，start_lr = 0.0002 和 end_lr=0.2。

安装

Python 3.5 及以上版本：

pip install torch-lr-finder

支持混合精度训练（参见 此部分)：

pip install torch-lr-finder -v --global-option="apex"

实现细节和用法

改进版 fastai 实现

以指数方式增加学习率，并计算每个学习率下的训练损失。lr_finder.plot() 会绘制训练损失与对数学习率的关系图。

from torch_lr_finder import LRFinder

model = ...
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=1e-7, weight_decay=1e-2)
lr_finder = LRFinder(model, optimizer, criterion, device="cuda")
lr_finder.range_test(trainloader, end_lr=100, num_iter=100)
lr_finder.plot() # 用于查看损失-学习率图
lr_finder.reset() # 重置模型和优化器到初始状态

Leslie Smith 的方法

以线性方式增加学习率，并计算每个学习率下的评估损失。lr_finder.plot() 会绘制评估损失与学习率的关系图。这种方法通常会产生更精确的曲线，因为评估损失更容易出现发散，但测试时间显著更长，尤其是当评估数据集较大时。

from torch_lr_finder import LRFinder

model = ...
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.1, weight_decay=1e-2)
lr_finder = LRFinder(model, optimizer, criterion, device="cuda")
lr_finder.range_test(trainloader, val_loader=val_loader, end_lr=1, num_iter=100, step_mode="linear")
lr_finder.plot(log_lr=False)
lr_finder.reset()

注意事项

• CIFAR10 和 MNIST 的示例可在 examples 文件夹中找到。
• 传递给 LRFinder 的优化器不应附加 LRScheduler。
• LRFinder.range_test() 会修改模型权重和优化器参数。可以通过 LRFinder.reset() 恢复到初始状态。
• 学习率和损失历史可通过 lr_finder.history 访问，返回包含 lr 和 loss 键的字典。
• 使用 step_mode="linear" 时，学习率范围应处于同一数量级。
• LRFinder.range_test() 期望从传入的 DataLoader 返回 input, label 对。input 需要准备好传递给模型，label 需要准备好传递给 criterion，无需进一步数据处理。如果需要 workaround，可以使用 TrainDataLoaderIter 和 ValDataLoaderIter 类在 DataLoader 和训练/评估循环之间进行数据处理。示例可在 examples/lrfinder_cifar10_dataloader_iter 中找到。

额外的训练支持

梯度累积

可以在 LRFinder.range_test() 中设置 accumulation_steps 参数进行梯度累积：

from torch.utils.data import DataLoader
from torch_lr_finder import LRFinder

desired_batch_size, real_batch_size = 32, 4
accumulation_steps = desired_batch_size // real_batch_size

dataset = ...

# 注意 `DataLoader` 中使用的 `batch_size`
trainloader = DataLoader(dataset, batch_size=real_batch_size, shuffle=True)

model = ...
criterion = ...
optimizer = ...

# （可选）此设置下会自动采用 amp.scale_loss()
# model, optimizer = amp.initialize(model, optimizer, opt_level='O1')

lr_finder = LRFinder(model, optimizer, criterion, device="cuda")
lr_finder.range_test(trainloader, end_lr=10, num_iter=100, step_mode="exp", accumulation_steps=accumulation_steps)
lr_finder.plot()
lr_finder.reset()

混合精度训练

现在支持 apex.amp 和 torch.amp，以下是示例：

• 使用 apex.amp：

  from torch_lr_finder import LRFinder
  from apex import amp
  
  # 在运行 `LRFinder` 之前添加此行
  model, optimizer = amp.initialize(model, optimizer, opt_level='O1')
  
  lr_finder = LRFinder(model, optimizer, criterion, device='cuda', amp_backend='apex')
  lr_finder.range_test(trainloader, end_lr=10, num_iter=100, step_mode='exp')
  lr_finder.plot()
  lr_finder.reset()
  

• 使用 torch.amp

  from torch_lr_finder import LRFinder
  
  amp_config = {
      'device_type': 'cuda',
      'dtype': torch.float16,
  }
  grad_scaler = torch.cuda.amp.GradScaler()
  
  lr_finder = LRFinder(
      model, optimizer, criterion, device='cuda',
      amp_backend='torch', amp_config=amp_config, grad_scaler=grad_scaler
  )
  lr_finder.range_test(trainloader, end_lr=10, num_iter=100, step_mode='exp')
  lr_finder.plot()
  lr_finder.reset()
  

需要注意的是，混合精度训练的优势需要NVIDIA GPU配备张量核心（参见：NVIDIA/apex #297）

此外，可以尝试设置 torch.backends.cudnn.benchmark = True 以提高训练速度。（但某些情况下不适用，使用时请自行承担风险）

贡献和拉取请求

所有贡献都欢迎，但首先，请查看 CONTRIBUTING.md。

pytorch-lr-finder 快速上手指南

环境准备

• Python 3.5及以上
• 需要PyTorch框架支持
• 推荐使用NVIDIA GPU（混合精度训练需Tensor Core支持）

安装步骤

# 普通安装（推荐使用国内镜像）
pip install torch-lr-finder -i https://pypi.tuna.tsinghua.edu.cn/simple

# 混合精度训练支持（需安装apex）
pip install torch-lr-finder -v --global-option="apex" -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

from torch_lr_finder import LRFinder
import torch
import torch.nn as nn
import torch.optim as optim

# 初始化模型、损失函数、优化器
model = ...  # 你的模型
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=1e-7, weight_decay=1e-2)

# 创建学习率查找器
lr_finder = LRFinder(model, optimizer, criterion, device="cuda")

# 执行范围测试
lr_finder.range_test(trainloader, end_lr=100, num_iter=100)

# 绘制学习率-损失曲线
lr_finder.plot()

# 恢复初始状态
lr_finder.reset()