PyTorch 的早停法

早停法是一种正则化技术，用于防止模型在训练数据集上过拟合。它会持续监控验证损失；如果验证损失连续多个 epoch 没有下降，训练就会提前终止。位于 early_stopping_pytorch/early_stopping.py 中的 EarlyStopping 类用于创建一个对象，以便在训练 PyTorch 模型时跟踪验证损失。每当验证损失降低时，该类都会保存一次模型检查点。我们可以通过设置 EarlyStopping 类中的 patience 参数来指定，在验证损失最后一次改善之后，希望等待多少个 epoch 才中断训练循环。MNIST_Early_Stopping_example 笔记本中提供了一个简单的使用示例。

下方是来自示例笔记本的图表，展示了 EarlyStopping 对象在模型开始过拟合之前所保存的最后一个检查点。该示例中将耐心期设置为 20。

安装

方法 1：从 PyPI 安装（推荐）

pip install early-stopping-pytorch

方法 2：从源代码安装

适用于开发场景或希望获取最新未发布的更改时：

1. 克隆仓库

git clone https://github.com/your_username/early-stopping-pytorch.git
cd early-stopping-pytorch

2. 设置虚拟环境

运行设置脚本以创建虚拟环境并安装所有必要的依赖项。

./setup_dev_env.sh

3. 激活虚拟环境

激活虚拟环境：

source dev-venv/bin/activate

4. 以可编辑模式安装包

以可编辑模式在本地安装该包，以便立即使用：

pip install -e .

使用方法

from early_stopping_pytorch import EarlyStopping

# 初始化早停对象
early_stopping = EarlyStopping(patience=7, verbose=True)

# 在训练循环中：
for epoch in range(num_epochs):
    # ... 训练代码 ...
    val_loss = ... # 计算验证损失

    # 调用早停机制
    early_stopping(val_loss, model)
    if early_stopping.early_stop:
        print("触发早停")
        break

完整的示例请参阅 MNIST 早停示例笔记本。

引用

如果您在研究中使用了本包，请考虑按以下格式引用：

@misc{early_stopping_pytorch,
  author = {Bjarte Mehus Sunde},
  title = {early-stopping-pytorch: 用于 PyTorch 的早停实用工具包},
  year = {2024},
  url = {https://github.com/Bjarten/early-stopping-pytorch},
}

参考文献

early_stopping_pytorch/early_stopping.py 中的 EarlyStopping 类灵感来源于 ignite 的 EarlyStopping 类。

early-stopping-pytorch 快速上手指南

early-stopping-pytorch 是一个用于 PyTorch 的轻量级工具包，旨在通过监控验证集损失（validation loss）来实现早停（Early Stopping），从而有效防止模型过拟合。当验证损失在连续多个 epoch 内不再下降时，它将自动停止训练并保存最佳模型检查点。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.6 及以上
• 核心依赖：
  • PyTorch (已安装)
  • pip 包管理工具

提示：国内开发者建议使用清华或阿里镜像源加速 PyTorch 及相关依赖的安装。

安装步骤

您可以选择以下任一方式进行安装。

方式一：通过 PyPI 安装（推荐）

这是最快捷的安装方式。国内用户可添加 -i 参数使用镜像源：

pip install early-stopping-pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（适用于开发）

如果您需要最新的功能或参与贡献，可以从 GitHub 克隆源码进行安装：

# 1. 克隆仓库
git clone https://github.com/Bjarten/early-stopping-pytorch.git
cd early-stopping-pytorch

# 2. 设置虚拟环境并激活
./setup_dev_env.sh
source dev-venv/bin/activate

# 3. 以可编辑模式安装
pip install -e .

基本使用

只需几行代码即可将早停机制集成到您的训练循环中。

1. 初始化对象

导入类并设置 patience 参数（即允许验证损失不改善的最大 epoch 数）。

2. 集成到训练循环

在每个 epoch 结束时，传入当前的验证损失和模型对象。如果触发早停，循环将中断。

from early_stopping_pytorch import EarlyStopping

# 初始化早停对象
# patience: 等待多少个 epoch 后若损失未改善则停止
# verbose: 是否打印详细信息
early_stopping = EarlyStopping(patience=7, verbose=True)

# 训练循环
for epoch in range(num_epochs):
    # ... 此处为您的训练代码 ...
    
    # 计算验证集损失
    val_loss = ... 

    # 调用早停逻辑
    # 该函数会自动保存验证损失最低时的模型检查点
    early_stopping(val_loss, model)
    
    if early_stopping.early_stop:
        print("Early stopping triggered")
        break

注意：该工具会在验证损失每次下降时自动保存模型检查点。训练结束后，您可以加载最后保存的检查点以获得最佳模型性能。完整示例请参考项目中的 MNIST_Early_Stopping_example.ipynb。