InstructGPT：通过人类反馈训练语言模型以遵循指令

论文链接

仅仅增大语言模型的规模，并不能使其更自然地理解并执行用户的意图。例如，大型语言模型可能会生成不真实、具有毒性或对用户毫无帮助的输出。换句话说，这些模型与用户的需求并不一致。在本文中，我们展示了一种通过结合人类反馈进行微调的方法，能够在广泛的任务上使语言模型更好地对齐用户意图。我们首先收集了一组由标注人员编写的提示以及通过 OpenAI API 提交的提示，进而构建了一个包含标注人员示范理想模型行为的数据集。利用该数据集，我们采用监督学习的方式对 GPT-3 进行微调。随后，我们又收集了一组针对模型输出的排序数据，并基于此进一步使用人类反馈强化学习（RLHF）对已有的监督学习模型进行微调。最终得到的模型被称为 InstructGPT。在针对我们提示分布的人类评估中，尽管参数量仅为 GPT-3 的百分之一，13亿参数的 InstructGPT 模型生成的输出仍更受青睐。此外，InstructGPT 模型在真实性方面有所提升，生成有毒内容的情况也显著减少，同时在公开的 NLP 数据集上的性能几乎没有下降。尽管 InstructGPT 仍然会犯一些简单的错误，但我们的研究结果表明，通过人类反馈进行微调是实现语言模型与人类意图对齐的一个很有前景的方向。

目录

• model-card.md - InstructGPT 模型卡片
• automatic-eval-samples - 我们的模型（包括 GPT-3 和 InstructGPT）在公开 NLP 基准测试中的示例。
• API 分发标注说明 - 提供给承包商用于对我们 API 提示分布进行最终评估的 Google 文档说明。
• 毒性标注说明 - 提供给承包商用于对 RealToxicityPrompts 数据集中的毒性输出进行标注的 Google 文档说明。

InstructGPT 快速上手指南

InstructGPT 是通过人类反馈强化学习（RLHF）微调的语言模型，旨在更好地遵循用户指令。本项目主要包含论文数据、模型卡片及评估样本，核心训练代码与模型权重并未完全开源（需通过 OpenAI API 访问或参考论文复现）。以下指南基于项目提供的资源进行说明。

环境准备

由于本项目主要是研究资料库而非直接可运行的 Python 包，环境准备主要针对阅读文档和运行评估样本分析。

• 操作系统: Linux, macOS 或 Windows
• 前置依赖:
  • Git (用于克隆仓库)
  • Python 3.8+ (用于处理数据样本)
  • 网络连接 (访问论文链接及 Google Docs 标注指南)

安装步骤

该项目无需通过 pip 安装特定包，只需克隆仓库即可获取所有资源。

1. 克隆仓库:

   git clone https://github.com/openai/following-instructions-human-feedback.git
   cd following-instructions-human-feedback
   

2. 查看资源结构: 克隆后，你将获得以下关键文件：

   • model-card.md: 模型详细信息卡片。
   • automatic-eval-samples/: GPT-3 与 InstructGPT 在公共 NLP 基准测试上的输出样本。
   • 相关标注指南链接（位于 README 中，需浏览器访问）。

注意: 若需使用 InstructGPT 模型进行推理，目前官方途径是调用 OpenAI API (text-davinci-003 等模型)，而非本地部署。

基本使用

1. 查阅评估样本

你可以直接查看 automatic-eval-samples 目录下的文件，对比原始 GPT-3 与 InstructGPT 在不同任务上的表现差异。

ls automatic-eval-samples
cat automatic-eval-samples/<具体文件名>.jsonl

2. 通过 API 调用 InstructGPT (推荐方式)

由于模型权重未公开，实际使用需通过 OpenAI API。请确保已安装 openai 库并配置好 OPENAI_API_KEY。

安装 SDK:

pip install openai

Python 调用示例:

import openai

# 设置 API Key (请替换为你的真实密钥)
openai.api_key = "YOUR_OPENAI_API_KEY"

response = openai.Completion.create(
  model="text-davinci-003", # InstructGPT 系列模型
  prompt="Translate the following English text to Chinese: 'Hello, world!'",
  max_tokens=60
)

print(response.choices[0].text.strip())

3. 参考标注指南

若需进行类似的数据标注或评估工作，请参考 README 中提供的 Google Docs 链接：

• API 分布标注指南: 点击查看
• 毒性内容标注指南: 点击查看

---

注：本指南基于开源仓库内容整理。如需深入复现 RLHF 训练流程，建议研读原文论文《Training Language Models to Follow Instructions with Human Feedback》。