训练开放的指令遵循语言模型

本仓库致力于在公开可用的数据集上对流行的预训练语言模型进行指令微调和后训练的开放性研究。我们发布此仓库，并将持续更新以下内容：

1. 使用最新技术和统一格式的指令数据集对语言模型进行微调的代码。
2. 用于DPO、偏好微调以及可验证奖励强化学习（RLVR）的代码。
3. 我们在探索过程中构建的检查点或其他有用成果。

我们还在代码库中原生支持一些评估，但这些评估目前已不再维护。我们建议使用 OLMES，该工具曾被用于 TÜLU 3 的评估。

有关开放后训练的最新详情，请参阅 TÜLU 3：推动开放语言模型后训练的前沿。

请参阅我们的第一篇论文 骆驼能走多远？探索开放资源上的指令微调现状，以了解该项目背后的更多思考及初步发现。
请参阅我们的第二篇论文 气候变化中的骆驼：利用 Tulu 2 提升语言模型适应能力，以获取使用 Llama-2 模型和直接偏好优化的结果。我们仍在继续探索更多模型。

如需了解涉及 PPO 和 DPO 的最新成果，请参阅我们的第三篇论文 解析 DPO 和 PPO：拆解从偏好反馈中学习的最佳实践。

尝试使用 Open Instruct 训练的一些模型吧！您可以在 免费演示 中体验，或从 HuggingFace 下载：

阶段	Llama 3.1 8B	Llama 3.1 70B	OLMo-2 7B	OLMo-2 13B
基础模型	meta-llama/Llama-3.1-8B	meta-llama/Llama-3.1-70B	allenai/OLMo2-7B-1124	allenai/OLMo-2-13B-1124
SFT	allenai/Llama-3.1-Tulu-3-8B-SFT	allenai/Llama-3.1-Tulu-3-70B-SFT	allenai/OLMo-2-1124-7B-SFT	allenai/OLMo-2-1124-13B-SFT
DPO	allenai/Llama-3.1-Tulu-3-8B-DPO	allenai/Llama-3.1-Tulu-3-70B-DPO	allenai/OLMo-2-1124-7B-DPO	allenai/OLMo-2-1124-13B-DPO
最终模型（RLVR）	allenai/Llama-3.1-Tulu-3-8B	allenai/Llama-3.1-Tulu-3-70B	allenai/OLMo-2-1124-7B-Instruct	allenai/OLMo-2-1124-13B-Instruct
奖励模型（RM）	allenai/Llama-3.1-Tulu-3-8B-RM	(与8B相同)	allenai/OLMo-2-1124-7B-RM	(与7B相同)

新闻

• [2024-11-22] 我们发布了 TÜLU 3: 推动开源语言模型后训练的边界，并使用 Llama 3.1 和 OLMo 2 更新了我们完整的开源后训练方案。
• [2024-07-01] 我们发布了 解析 DPO 和 PPO：拆解基于偏好反馈的学习最佳实践，并对代码库进行了重大更新，以支持新模型和软件包版本。
• [2023-11-27] 我们发布了 气候变化中的骆驼：借助 Tulu 2 提升语言模型适应能力。请在此处查看我们的模型：链接。我们新增了一个用于复现实验结果的 DPO 微调脚本。
• [2023-09-26] 我们改用官方的 alpaca-eval 库来运行 AlpacaFarm 评估，但使用重新生成的更长参考输出。这将改变论文中报告的指标。我们将在近期更新论文。
• [2023-09-25] 支持使用 vLLM 进行评估，使评估速度提升了 10 倍。
• [2023-09-17] 支持 LoRA 和 QLoRA 微调。更多详情请参见 此处。
• [2023-08-18] 增加了对 ToxiGen/TruthfulQA 评估的支持。可在 scripts/eval/ 中找到运行这些评估的示例。
• [2023-08-08] 支持了几种新的指令数据集，包括 LIMA / WizardLM / Open-Orca。详细信息请参阅 准备脚本。目前尚未评估其性能。
• [2023-08-06] 通过升级 transformers 及其他依赖库的版本，支持 LLaMa 2 微调和 FlashAttention-2。
• [2023-06-29] 为我们发布的模型添加了 许可信息。
• [2023-06-09] 在 HuggingFace 上发布了 Tülu（一套在强大混合数据集上完全微调的 LLaMa 模型）及其他多个检查点 [链接]。
• [2023-06-09] 初次发布包含我们 arxiv 论文 训练与评估代码的代码库。

设置

我们的设置遵循我们的 Dockerfile。请注意，Open Instruct 是一个研究性代码库，不保证向后兼容性。

使用 uv 安装

我们使用 uv 来安装和运行代码。您可以通过 uv sync 进行安装。

• Git LFS（用于运行测试）：在克隆之前，请先安装 Git LFS 并运行 git lfs install。详情请参阅 CONTRIBUTING.md。

• Docker 安装：您也可以使用 Dockerfile 构建 Docker 镜像。可使用以下命令构建镜像：

docker build . \
    --build-arg GIT_COMMIT=$(git rev-parse --short HEAD) \
	--build-arg GIT_BRANCH=$(git rev-parse --abbrev-ref HEAD) \
	-t open_instruct_dev

# 如果您在 AI2 内部工作，可以按如下方式创建 Beaker 镜像：
beaker_user=$(beaker account whoami --format json | jq -r '.[0].name')
beaker image delete $beaker_user/open_instruct_dev
beaker image create open_instruct_dev -n open_instruct_dev -w ai2/$beaker_user

如果您在 AI2 内部工作，可以使用我们始终最新构建的自动镜像 nathanl/open_instruct_auto 来启动实验。

训练

环境搭建完成后，您就可以开始进行一些实验了。我们提供以下几个示例。如需了解更多关于如何复现 Tulu 3 模型的信息，请参阅 Tulu 3 README。Tulu 1 和 Tulu 2 的说明及文档请参见 Tulu 1 和 2 README。

微调

您可以运行以下命令开始：

# 使用 8 张 GPU 卡训练一个 8B 的 tulu3 模型
bash scripts/train/tulu3/finetune_8b.sh

OLMo-core SFT：对于支持的模型（OLMo、OLMoE、Qwen3），我们推荐更节省 GPU 资源的 OLMo-core SFT 实现。支持的模型列表请参见 open_instruct/olmo_core_utils.py。

偏好优化

# 使用 8 张 GPU 卡训练一个 8B 的 tulu3 模型
bash scripts/train/tulu3/dpo_8b.sh

基于可验证奖励的强化学习 (RLVR)

# 使用 1 张 GPU 卡进行快速调试（0.5 用于推理，0.5 用于训练）
# 由于我们使用的是小型模型，可能无法训练出高质量的模型，但便于测试运行和输出日志。
bash scripts/train/debug/single_gpu_on_beaker.sh

# 使用 8 张 GPU 卡训练一个 8B 的 tulu3 模型（1 张用于推理，7 张用于训练）
bash scripts/train/rlvr/tulu_rlvr.sh

污染检测

我们发布了用于测量指令微调数据集与评估数据集之间重叠度的脚本，位于 ./decontamination 目录下。更多详情请参阅 README。

开发

当向此仓库提交 PR 时，我们会对 open_instruct/ 中的核心代码进行以下风格检查：

make style
make quality

使用 uv run pytest 运行测试。

预提交钩子

要让每次提交时自动运行 lint 和格式化：

uv add pre-commit --dev
uv run pre-commit install

要在所有文件上运行（建议在初始设置后执行）：

uv run pre-commit run --all-files

仓库结构

├── assets/                     <- 图片、许可证等。
├── configs/
|     ├── beaker_configs/       <- AI2 Beaker 配置
|     ├── ds_configs/           <- DeepSpeed 配置
|     └── train_configs/        <- 训练配置
├── decontamination/            <- 用于测量训练-评估重叠度的脚本
├── eval/                       <- 微调模型的评估套件
├── human_eval/                 <- 人工评估界面（未维护）
├── open_instruct/              <- 源代码（扁平化）
├── quantize/                   <- 量化脚本
├── scripts/                    <- 核心训练和评估脚本
└── Dockerfile                  <- Dockerfile

许可证

本代码库采用 Apache 2.0 许可证，详见 LICENSE。

我们为已发布的 V1 模型所使用的许可证（连同基础模型许可证）可在 assets/model_licenses/tulu_license.txt 中找到——只需将 <MODELNAME> 替换为实际模型名称（即 HuggingFace 上的名称）。

V2 模型则采用 低风险 AI2 ImpACT 许可证。更多详情请参见 此处。

致谢

Open Instruct 项目受益于众多开源项目和库。我们特别感谢以下项目：

• HuggingFace Transformers：我们基于 Hugging Face 的 Trainer 对我们的微调脚本进行了适配。
• HuggingFace TRL 和 eric-mitchell/direct-preference-optimization：我们的偏好优化代码改编自 TRL 以及 Eric Mitchell 的 DPO 代码。
• OpenAI 的 lm-human-preferences、summarize-from-feedback 和 vwxyzjn/summarize_from_feedback_details：我们的核心 PPO 代码改编自 OpenAI 的原始 RLHF 代码，以及 Huang 等人 (2024) 对 OpenAI 总结反馈工作的复现工作。
• OpenRLHF：我们借鉴了 OpenRLHF 的 Ray + vLLM 分布式代码，用于将 PPO RLVR 训练扩展到 700 亿参数规模。

引用

如果您使用了本仓库或我们的模型，请引用我们的工作：

Tulu 1：

@misc{wang2023far,
   title={骆驼能走多远？探索开放资源上的指令微调现状},
   author={王一中、哈米什·伊维森、普拉迪普·达西吉、杰克·赫塞尔、图沙尔·科特、卡亚蒂·拉加维·钱杜、大卫·瓦登、凯尔西·麦克米兰、诺亚·A·史密斯、伊兹·贝尔塔吉、汉娜内·哈吉希尔齐},
   year={2023},
   eprint={2306.04751},
   archivePrefix={arXiv},
   primaryClass={cs.CL}
}

Tulu 2：

@misc{ivison2023camels,
      title={气候变化中的骆驼：借助 Tulu 2 提升语言模型的适应能力},
      author={哈米什·伊维森、王一中、瓦伦蒂娜·皮亚特金、内森·兰伯特、马修·彼得斯、普拉迪普·达西吉、乔尔·张、大卫·瓦登、诺亚·A·史密斯、伊兹·贝尔塔吉、汉娜内·哈吉希尔齐},
      year={2023},
      eprint={2311.10702},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Tulu 2.5：

@misc{ivison2024unpacking,
      title={解析 DPO 和 PPO：厘清基于偏好反馈学习的最佳实践},
      author={哈米什·伊维森、王一中、刘嘉诚、吴泽秋、瓦伦蒂娜·皮亚特金、内森·兰伯特、诺亚·A·史密斯、叶津·崔、汉娜内·哈吉希尔齐},
      year={2024},
      eprint={2406.09279},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
}

Tulu 3：

@article{lambert2024tulu3,
  title = {Tülu 3：推动开放语言模型后训练的前沿},
  author = {
    内森·兰伯特、雅各布·莫里森、瓦伦蒂娜·皮亚特金、黄圣毅、哈米什·伊维森、法耶兹·布拉曼、莱斯特·詹姆斯·V·米兰达、阿丽莎·刘、努哈·德齐里、谢恩·吕、谷玉玲、索姆亚·马利克、维多利亚·格拉夫、珍娜·D·黄、杨江江、罗南·勒·布拉斯、奥伊温德·塔夫约德、克里斯·维尔海姆、卢卡·索尔代尼、诺亚·A·史密斯、王一中、普拉迪普·达西吉、汉娜内·哈吉希尔齐
  },
  year = {2024},
  email = {tulu@allenai.org}
}

OLMo 3：

@misc{olmo2025olmo3,
      title={OLMo 3},
      author={OLMo 团队、艾莉森·埃廷格、阿曼达·伯奇、贝利·库尔、大卫·格雷厄姆、大卫·海涅曼、迪尔克·格罗内韦尔德、法耶兹·布拉曼、芬巴尔·蒂姆伯斯、哈米什·伊维森、雅各布·莫里森、杰克·波兹南斯基、凯尔·洛、卢卡·索尔代尼、马特·乔丹、梅伊·陈、迈克尔·诺霍维奇、内森·兰伯特、皮特·沃尔什、普拉迪普·达西吉、罗伯特·贝里、索姆亚·马利克、萨乌拉布·沙阿、斯科特·耿、谢恩·阿罗拉、夏尚克·古普塔、泰拉·安德森、滕晓、泰勒·默里、泰勒·罗梅罗、维多利亚·格拉夫、明纪·浅井、阿克希塔·巴吉亚、亚历山大·韦蒂格、阿丽莎·刘、阿曼·兰加普尔、克洛伊·阿纳斯塔西亚德斯、科斯塔·黄、达斯汀·施文克、哈什·特里维迪、伊恩·马格努森、贾隆·洛克纳、刘嘉诚、莱斯特·詹姆斯·V·米兰达、马尔滕·萨普、玛丽亚·摩根、迈克尔·施密茨、米哈尔·格尔金、迈克尔·威尔逊、里根·哈夫、罗南·勒·布拉斯、瑞鑫、如林·邵、萨姆·斯琼斯贝格、香农·泽江申、舒悦·斯特拉·李、塔克·怀尔德、瓦伦蒂娜·皮亚特金、威尔·梅里尔、叶佩·昌、谷玉玲、智源·曾、阿希什·萨巴瓦尔、卢克·泽特勒莫耶、庞伟·科、阿里·法尔哈迪、诺亚·A·史密斯、汉娜内·哈吉希尔齐},
      year={2025},
      eprint={2512.13961},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.13961},
}

Open-Instruct 快速上手指南

Open-Instruct 是 AllenAI 开源的指令微调（Instruction Tuning）和后训练（Post-Training）框架，支持对 Llama、OLMo 等主流预训练模型进行 SFT、DPO 及基于可验证奖励的强化学习（RLVR）。本指南帮助开发者快速搭建环境并运行基础训练任务。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡（根据模型大小需求不同，8B 模型建议至少 8x A100/A800 或同等显存）
• Python: 3.10+
• 存储: 建议预留 50GB+ 空间用于数据集和模型权重

前置依赖

• Git LFS: 用于拉取大模型文件

  sudo apt-get install git-lfs
  git lfs install
  

• Docker (可选): 如需使用容器化环境，请确保已安装 Docker 和 Beaker CLI（仅限 AI2 内部或兼容环境）。
• uv: 本项目推荐使用 uv 进行依赖管理和运行。

安装步骤

本项目推荐使用 uv 进行快速安装和环境同步。

1. 克隆仓库

   git clone https://github.com/allenai/open-instruct.git
   cd open-instruct
   

2. 使用 uv 同步环境 确保已安装 uv (参考 uv 文档)，然后执行：

   uv sync
   

   注：国内用户若遇到 PyPI 下载慢，可配置 UV_INDEX_URL 环境变量使用清华或阿里镜像源：

   export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
   uv sync
   

3. 验证安装 运行测试以确保环境正常：

   uv run pytest
   

(可选) Docker 构建方式:

docker build . \
    --build-arg GIT_COMMIT=$(git rev-parse --short HEAD) \
    --build-arg GIT_BRANCH=$(git rev-parse --abbrev-ref HEAD) \
    -t open_instruct_dev

基本使用

以下示例展示如何启动基础的指令微调（SFT）和偏好优化（DPO）任务。具体配置文件位于 scripts/train/tulu3/ 目录下。

1. 指令微调 (SFT)

使用 8 张 GPU 训练一个 8B 参数的 Tulu 3 模型：

bash scripts/train/tulu3/finetune_8b.sh

提示: 对于 OLMo、OLMoE、Qwen3 等特定架构模型，推荐使用更高效的 OLMo-core SFT 实现。

2. 偏好微调 (DPO)

在 SFT 模型基础上进行 DPO 训练（同样使用 8 张 GPU）：

bash scripts/train/tulu3/dpo_8b.sh

3. 基于可验证奖励的强化学习 (RLVR)

运行单卡调试脚本（适合快速测试流程）：

bash scripts/train/debug/single_gpu_on_beaker.sh

正式训练 8B 模型（1 卡推理，7 卡训练）：

bash scripts/train/rlvr/tulu_rlvr.sh

4. 数据去重检查 (可选)

在训练前，建议检查训练集与评估集的重叠情况：

# 查看 decontamination 目录下的具体脚本
ls ./decontamination

---

注意: Open-Instruct 是一个研究性质的代码库，不保证向后兼容性。详细复现 Tulu 3 模型的步骤请参考项目根目录下的 docs/tulu3.md。