GPTeacher

由 GPT-4 生成的模块化数据集合集，涵盖 General-Instruct、Roleplay-Instruct、Code-Instruct 和 Toolformer 四个子集。

新增：/roleplay/ 目录下已添加 Roleplay V2（补充）数据集：
- 仍100%由GPT-4生成
- 规模是原始Roleplay数据集的2.5倍
- 多样性显著提升
- 大部分样本包含模拟对话或聊天记录。

这些数据集主要基于 Alpaca 的提示模板进行调整，其中 Toolformer 数据集的修改相对更多一些。我们使用了多种版本的提示，但由于只保存了最终的提示文本，可能不会公开，以免让最终用户感到困惑。示例提示可参考此处：https://github.com/tatsu-lab/stanford_alpaca/blob/main/generate_instruction.py

General-Instruct 数据集沿用了 Alpaca 的许多种子提示，同时也加入了一些在 Alpaca 中较少见的内容，例如思维链推理、逻辑谜题、文字游戏、轻度的角色扮演等。此外，在示例回答中，还特别要求加入推理过程和思考步骤等内容。

General-Instruct 数据集约有2万条样本，仅进行了简单的去重处理。

仍在清理 Codegen Instruct 数据集，清理完成后会发布。
更新：Code-Instruct 数据集已上传！包含约5350条不同编程语言的代码任务指令！

Roleplay-Instruct 数据集则专注于角色扮演任务，参与者需要代入各种背景、性格设定下的虚构或真实人物。

除 Roleplay 数据集外，其余每个数据集都根据相似度评分清洗后，被划分为5个独立的数据子集。清洗方式仅为简单去重，并按相似度从<60%到<90%划分出不同的清洁程度的子集。

所有数据集均遵循 Alpaca 数据集的格式规范，即每条样本都包含指令、输入和输出字段，因此可以更方便地沿用 Alpaca 的微调脚本和流程。

Toolformers 部分的相关文档即将发布。我们生成了一个数据集，用于模拟使用一组预定义工具，包括搜索引擎、Python解释器、终端/Shell、维基百科、Wolfram Alpha等。

GPTeacher 快速上手指南

GPTeacher 是一套由 GPT-4 生成的模块化指令微调数据集，涵盖通用指令（General-Instruct）、角色扮演（Roleplay-Instruct）、代码生成（Code-Instruct）及工具使用（Toolformer）。所有数据均兼容 Alpaca 格式（包含 instruction, input, output 字段），可直接用于现有的 Alpaca 微调流程。

环境准备

在开始使用前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+) 或 macOS。
• Python 版本：Python 3.8 或更高版本。
• 前置依赖：
  • git：用于克隆仓库。
  • pip：Python 包管理工具。
  • 深度学习框架（如 PyTorch）及 Transformers 库（若需直接加载数据进行训练）。

提示：国内开发者建议使用国内镜像源加速依赖安装，例如清华源或阿里源。

安装步骤

GPTeacher 主要提供数据集文件，无需复杂的安装包，只需克隆仓库并获取数据即可。

1. 克隆项目仓库

   git clone https://github.com/teknium1/GPTeacher.git
   cd GPTeacher
   

2. 验证数据文件 进入对应子目录检查数据文件是否完整。目前主要包含以下数据集：

   • general-instruct.json (约 20,000 条，含逻辑推理、思维链等)
   • roleplay-instruct.json (含 V2 版本，数据量更大且更多样)
   • code-instruct.json (约 5,350 条多语言代码任务)
   • toolformer/ (包含搜索、Python、终端等工具使用数据)

   ls general-instruct/ roleplay/ code-instruct/ toolformer/
   

3. 安装训练依赖（可选） 如果您打算直接使用这些数据进行微调，建议安装基础 NLP 库：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers datasets accelerate torch
   

基本使用

GPTeacher 的数据格式与 Stanford Alpaca 完全一致，您可以直接使用 Alpaca 的微调脚本或任何支持该格式的 DataLoader。

数据格式示例

每个样本包含三个字段：

{
    "instruction": "解释什么是递归。",
    "input": "",
    "output": "递归是一种编程技术，其中函数直接或间接地调用自身..."
}

最简单的使用示例（Python 加载）

以下代码演示如何使用 Hugging Face datasets 库加载本地数据并进行简单预览：

from datasets import load_dataset

# 加载 General-Instruct 数据集 (假设已下载 json 文件到本地)
# 请将路径替换为您实际的文件路径
data_files = {"train": "general-instruct/general-instruct.json"}
dataset = load_dataset("json", data_files=data_files)

# 查看第一条数据
print(dataset["train"][0])

# 输出示例:
# {'instruction': '...', 'input': '...', 'output': '...'}

接入微调流程

由于格式兼容，您只需将训练脚本中的数据集路径指向 GPTeacher 的 JSON 文件即可。例如，在使用标准的 Alpaca 微调脚本时：

python train.py \
    --data_path path/to/GPTeacher/general-instruct/general-instruct.json \
    --model_name_or_path decapoda-research/llama-7b-hf \
    --output_dir ./lora-alpaca-gpteacher

注意：对于角色扮演（Roleplay）数据集，推荐使用 /roleplay/ 目录下的 V2 补充数据集，其规模是原始版本的 2.5 倍，且包含更多模拟对话历史，效果更佳。