Ranger-深度学习优化器

Ranger 是一种协同优化器，将 RAdam（修正版 Adam）与 LookAhead 结合，并在最新版本中加入了梯度中心化（GC），集多种优势于一身。

补充说明 - Ranger21 目前处于测试阶段，是 Ranger 的升级版，包含多项新改进。

建议您将其效果与 Ranger21 进行对比：https://github.com/lessw2020/Ranger21

最新版本 20.9.4 - 将梯度中心化更新为 GC2（感谢 GC 的开发者），并移除了 PyTorch 1.60 中 addcmul_ 已弃用的警告信息。

*最新版本位于 ranger2020.py 文件中，我们正在考虑再加入一些功能，随后整合到主文件 ranger.py 中。

什么是梯度中心化？= “GC 可以被视为一种带有约束损失函数的投影梯度下降法。该约束损失函数及其梯度的利普希茨连续性更好，从而使训练过程更加高效和稳定。” 来源论文：https://arxiv.org/abs/2004.01461v2
Ranger 现在默认使用梯度中心化，并将其应用于所有卷积层和全连接层。不过，所有设置均可自定义，您可以在自己的数据集上尝试开启或关闭 GC 的效果。（通过初始化时的 use_gc 标志来控制开关）。

最佳训练效果 - 先以 75% 的固定学习率训练，随后逐步降低学习率，用剩余 25% 的时间以较低的学习率继续训练，或者在最后 25% 的时间采用余弦退火策略。

根据大量实验结果，需要注意的是，如果全程只使用一个学习率，往往无法获得最优效果。
Ranger 实际上会在最佳区域附近“徘徊”，但只有在以较低的学习率进一步训练一段时间后，才能真正进入最优解所在的“山谷”。

初始化时的完全自定义选项：

Ranger 现在会在初始化时打印出 ID 和 GC 设置，方便您在训练时确认优化器的具体配置：

/////////////////////

更多信息请参阅 Medium 文章：
https://medium.com/@lessw/new-deep-learning-optimizer-ranger-synergistic-combination-of-radam-lookahead-for-the-best-of-2dc83f79a48d

多项更新： 1 - Ranger 是我们在 FastAI 排行榜上打破 12 个不同类别最高分所使用的优化器！（此前的记录均由 AdamW 优化器保持）。

2 - 强烈推荐将 Ranger 与 Mish 激活函数以及平缓+余弦退火的学习率曲线结合使用。

3 - 基于此，我们还发现 beta1（动量）参数取 0.95 比 0.90 更优（即 betas=(0.95, 0.999)）。

修复内容： 1 - 现已支持分组学习率。这一修复源自 RAdam，并由 @sholderbach 移植至此。

2 - 保存后再加载模型时，首次运行的权重可能会滞留在内存中，导致后续运行变慢 = 已修复。

安装方法

克隆仓库，进入目录并以可编辑模式安装（使用 -e 选项）。这样，在修改代码后无需重新安装包。

git clone https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer
cd Ranger-Deep-Learning-Optimizer
pip install -e . 

使用方法

from ranger import Ranger  # 来自 ranger.py
from ranger import RangerVA  # 来自 ranger913A.py
from ranger import RangerQH  # 来自 rangerqh.py

# 定义您的模型
model = ...
# Ranger、RangerVA 和 RangerQH 各有不同的参数设置。
optimizer = Ranger(model.parameters(), **kwargs)

使用示例及测试笔记本请见： https://github.com/lessw2020/Ranger-Mish-ImageWoof-5

引用本工作

我们建议您在论文或其他出版物中引用 Ranger 时使用以下格式：

@misc{Ranger,
  author = {Wright, Less},
  title = {Ranger - 一种协同优化器},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer}}
}

Ranger 深度学习优化器快速上手指南

Ranger 是一款协同优化器，集成了 RAdam（修正版 Adam）、LookAhead 以及 GC（梯度中心化）技术，旨在提供更高效、稳定的深度学习训练过程。

环境准备

• 系统要求：支持 Linux、macOS 或 Windows。
• 前置依赖：
  • Python 3.6+
  • PyTorch 1.6+ (最新版本已修复 PyTorch 1.60 的弃用警告)
  • Git
• 网络建议：由于仓库托管在 GitHub，国内用户建议在克隆代码时配置代理或使用国内镜像加速。

安装步骤

通过源码以可编辑模式安装，方便后续自定义修改而无需重新安装。

git clone https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer
cd Ranger-Deep-Learning-Optimizer
pip install -e .

提示：若下载速度较慢，可将 pip 替换为国内源，例如： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Ranger 提供了多个变体（如 Ranger, RangerVA, RangerQH），默认版本已启用梯度中心化（GC）。

1. 导入与初始化

from ranger import Ranger  # 主版本 (ranger.py)
# from ranger import RangerVA  # 变体 A (ranger913A.py)
# from ranger import RangerQH  # 变体 QH (rangerqh.py)

# 定义你的模型
model = ... 

# 初始化优化器
# 推荐参数设置：betas=(0.95, 0.999)，配合扁平化学习率 + 余弦退火策略
optimizer = Ranger(model.parameters(), lr=1e-3, betas=(0.95, 0.999))

2. 关键配置说明

• 梯度中心化 (GC)：默认开启，适用于所有卷积层和全连接层。如需关闭，可在初始化时设置 use_gc=False。
• 学习率策略：为了获得最佳效果，建议采用 75% 时间使用平坦学习率，剩余 25% 时间降低学习率（阶梯式下降或余弦退火）。全程使用单一学习率可能导致模型无法收敛至最优谷底。
• 动量参数：测试表明 beta1=0.95 通常优于默认的 0.90。

3. 训练循环示例

for epoch in range(num_epochs):
    for inputs, targets in dataloader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step()
    
    # 可选：在训练初期打印确认优化器设置（ID 和 GC 状态）
    if epoch == 0:
        print("Optimizer initialized with settings displayed above.")

进阶建议：结合 Mish 激活函数 与 Flat + Cosine Anneal 学习率曲线，可进一步发挥 Ranger 的性能优势。