状态：该代码库测试不够充分，且未采用我们在论文中使用的完全相同的设置。不过，根据我们的经验，在模型规模差距较大且使用多个随机种子的情况下，它仍能产生定性相似的结果。以下提供了两个数据集的预期结果。

弱到强泛化

本项目包含用于实现我们关于弱到强泛化的论文的代码（论文链接）。

主代码库重新实现了我们针对二分类任务的弱到强学习设置。该代码库包含了微调预训练语言模型的代码，以及利用另一语言模型的标签进行训练的功能。我们还支持论文中提到的各种损失函数，例如置信度辅助损失。

vision目录包含独立的代码，用于视觉模型场景下的弱到强泛化（AlexNet -> DINO，数据集为ImageNet）。

快速入门

这些说明将帮助您在本地机器上搭建并运行该项目，以供开发和测试之用。

安装

您需要在本地安装Python。该项目使用pyproject.toml来管理依赖项。要安装依赖项，您可以使用pip等包管理工具：

pip install .

运行脚本

项目的主脚本是sweep.py。您可以通过以下命令在命令行中运行它：

python sweep.py --model_sizes=gpt2,gpt2-medium

除了--model_sizes之外，sweep.py还接受几乎train_simple.py所支持的所有参数（例如--batch_size、--n_docs、--n_test_docs等，完整列表请参阅train_simple.py）。这些参数会直接传递给train_simple.py。

sweep.py以如下方式调用train_simple.py：

1. 首先，它为每个模型规模调用train_simple.py以训练基准模型。
2. 然后，对于model_sizes列表中的每一对弱模型和强模型（其中，只有当强模型在model_sizes列表中的索引大于或等于弱模型的索引时，它才能作为强模型），它会调用train_simple.py并传入--weak_model_size参数，从而使强模型使用弱模型的标签进行训练。

例如，上述示例将运行gpt2（基准）、gpt2-medium（基准）、gpt2 -> gpt2、gpt2 -> gpt2-medium，以及gpt2-medium -> gpt2-medium。

如果需要，您也可以直接运行train_simple.py。

请注意，sweep.py不会接受--weak_model_size、--weak_labels_path或--model_size（与带“s”的--model_sizes不同）等参数；因为自动选择这些值正是sweep.py的设计目的。

用于绘制结果的Jupyter笔记本示例位于notebooks/Plotting.ipynb。

发布时，主脚本名为train_weak_to_strong.py，但其可用性不如sweep.py和train_simple.py。该脚本仍保留在此处，并在文档末尾提供了旧版说明。

预期结果

作者

• Adrien Ecoffet
• Manas Joglekar
• Jeffrey Wu
• Jan Hendrik Kirchner
• Pavel Izmailov（视觉部分）

许可证

本项目采用MIT许可证授权——详情请参阅LICENSE.md文件。

致谢

• Hugging Face提供的开源Transformer模型

原始单次运行脚本

您可以通过以下命令运行原始训练脚本：

python train_weak_to_strong.py

该脚本接受多个命令行参数来定制训练过程。以下是一些示例：

python train_weak_to_strong.py --batch_size 32 --max_ctx 512 --ds_name "sciq" --loss "logconf" --n_docs 1000 --n_test_docs 100 --weak_model_size "gpt2-medium" --strong_model_size "gpt2-large" --seed 42

笔记本notebooks/Plotting_old.ipynb保留了与旧式训练方式相对应的绘图笔记本。

这种旧式方法与新的sweep.py风格的主要区别在于：train_weak_to_strong.py总是会训练三个模型——弱模型、迁移模型和强模型。而sweep.py则通过一次性训练一系列基准模型（用作弱模型和强模型）以及一系列迁移模型来优化这一流程。这减少了重复训练，也更简单易用。此外，由train_simple.py和sweep.py生成的文件也更加易于使用。

Weak-to-Strong 快速上手指南

本指南帮助开发者快速部署并运行 OpenAI 的 Weak-to-Strong Generalization 项目，用于研究弱模型监督强模型的学习范式。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8 及以上
• 前置依赖：
  • pip 包管理器
  • GPU 环境（推荐，用于加速大模型训练，需安装对应的 CUDA 驱动）
  • Hugging Face Transformers 库访问权限（项目依赖其开源模型）

国内加速建议： 若下载 Hugging Face 模型或 Python 包速度较慢，建议配置国内镜像源：

• PyPI 镜像：使用清华源 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...
• HF 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

安装步骤

该项目使用 pyproject.toml 管理依赖。克隆仓库后，进入项目根目录执行以下命令安装依赖：

pip install .

若需使用国内镜像加速安装：

pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

项目的核心功能通过 sweep.py 脚本调用，它会自动协调“弱模型”与“强模型”的训练流程（包括训练基准真值模型和使用弱模型标签训练强模型）。

最简单的运行示例

以下命令将启动一个包含 gpt2 和 gpt2-medium 模型的实验扫描：

python sweep.py --model_sizes=gpt2,gpt2-medium

执行逻辑说明： 该命令将自动依次执行以下训练任务：

1. 训练 gpt2 (作为真值基准)
2. 训练 gpt2-medium (作为真值基准)
3. 使用 gpt2 的标签训练 gpt2 (弱->弱)
4. 使用 gpt2 的标签训练 gpt2-medium (弱->强)
5. 使用 gpt2-medium 的标签训练 gpt2-medium (弱->弱)

自定义参数

sweep.py 支持传递大部分 train_simple.py 的参数（如批次大小、文档数量等）。例如，指定数据集和批次大小：

python sweep.py --model_sizes=gpt2,gpt2-large --batch_size=32 --n_docs=1000 --ds_name="sciq"

注意：不要手动传递 --weak_model_size 或 --model_size 给 sweep.py，该脚本会根据 --model_sizes 列表自动推导这些关系。

结果可视化

训练完成后，可参考项目自带的 Jupyter Notebook 查看结果图表：

# 启动 Jupyter 并打开绘图笔记
jupyter notebook notebooks/Plotting.ipynb