开源SFT数据集整理

数据集	数目	Lang	Task	Gen	类型	来源	链接
belle_cn	1079517	CN	TS/MT	SI	通用指令，数学推理，对话	text-davunci-003	下载
firefly	1649398	CN	MT	COL	23种nlp任务	收集中文数据集，人工书写指令模板	下载
GAOKAO	2785	CN	MT	COL	高考中的多选，填空等问题	人工标注的数据集的收集	下载
COIG	298428	CN	MT	COL	考试，翻译，价值观指令数据集搜集，基于知识图谱的反事实对话	自动化工具+人工验证	下载
pCLUE	1200705	CN	MT		73个Prompt,分类，推理，关键词识别，阅读理解等9个NLP任务		下载
CSL	396209	CN	MT		40万中文论文元数据，26个Prompt		下载
CNewSum	304307	CN	TS		字节与UCSB发布的中文摘要数据集		下载
Coco-cn		CN	TS		图文多模态		下载
news_commentary	69200	EN/CN	TS		中英文翻译数据		下载
Chain of Thought	74771	EN/CN	MT	HG	CoT相关任务	人在现有数据集上标注CoT	下载
HC3	37175	EN/CN	TS	MIX	对话评估	gpt-3.5 或 人工	下载
instinwild	52191	EN/CN	MT	SI	生成，开放域问答，头脑风暴	text-davunci-003	下载
Alpaca_GPT4	52002	EN/CN	MT	SI	通用指令	GPT-4 生成的Alpaca数据	下载
MOSS	1583595	EN/CN	SI				下载
LLMZoo		ML					下载
Guanaco	534610	ML	MT	SI	多种nlp任务	text-davinci-003	下载
Natural Instructions	5040134	ML	MT	COL	多种nlp任务	人工标注的数据集的收集	下载
xP3	78883588	ML	MT	COL	多种nlp任务	人工标注的数据集的收集	下载
alpaca	52002	EN	MT	SI	通用指令	text-davinci-003	下载
GPT4all	806199	EN	MT	COL	代码，故事，对话	GPT-3.5-turbo 蒸馏	下载
GPTeacher	29013	EN	MT	SI	通用，角色扮演，工具指令	GPT-4 & toolformer	下载
prosocial dialog	165681	EN	TS	MIX	对话	GPT-3改写问题，人工回复	下载
finance_en	68912	EN	TS	COL	金融领域问答	GPT3.5	下载
instruct	888969	EN	MT	COL	GPT4All，Alpaca和开源数据集的增强	使用AllenAI提供的nlp增强工具	下载
Code Alpaca	20022	EN	SI	SI	代码生成，编辑，优化	text-davinci-003	下载
webGPT	18994	EN	TS	MIX	信息检索问答	fine-tuned GPT-3 + 人工评估	下载
dolly 2.0	15015	EN	TS	HG	公开、封闭式问答、信息抽取、摘要生成、开放式构思、分类以及创意写作七类任务	人工标注	下载
baize	653699	EN	MT	COL	Alpaca和多种问答任务	人工标注的数据集的收集	下载
hh-rlhf	284517	EN	TS	MIX	对话	RLHF models	下载
OIG(part)	49237	EN	MT	COL	多种nlp任务	人工标注的数据集的收集和数据增强	下载
camel	760620	EN	MT	SI	物理生物化学编程，数学，社会等领域的角色扮演对话人工标注的数据集的收集	gpt-3.5-turbo 生成	下载
FLAN-Muffin	1764800	EN	MT	COL	60种nlp任务	人工标注的数据集的收集	下载
GPT4Tools	71446	EN	MT	SI	a collection of tool-related instructions	gpt-3.5-turbo	下载
ShareChat	1663241	EN	MT	MIX	general instruct	收集ShareGPT	下载
Auto CoT		EN					下载
ultrachat	28247446	EN					下载
StackLLaMA	todo	EN

sft_datasets 快速上手指南

sft_datasets 是一个开源的 SFT（监督微调）数据集整理项目，汇集了涵盖中文、英文及多语言的多种任务数据（如指令遵循、对话、推理、代码生成等）。本项目主要提供数据集的索引、元数据整理及下载链接，而非单一的 Python 库。开发者可直接通过提供的链接获取数据用于模型训练。

环境准备

在开始使用前，请确保您的开发环境满足以下基本要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+), macOS 或 Windows (WSL2)。
• Python 版本：Python 3.8 或更高版本。
• 存储空间：根据所选数据集大小，建议预留至少 50GB - 100GB 的磁盘空间（部分大型数据集如 xP3 需更多空间）。
• 前置依赖：
  • git：用于克隆仓库或下载脚本。
  • wget 或 curl：用于直接下载文件。
  • huggingface-cli (可选但推荐)：用于从 Hugging Face 高速下载数据集。
  • 稳定的网络连接（访问 Hugging Face 或 GitHub）。

安装必要工具：

# 安装 Hugging Face CLI 工具
pip install huggingface_hub

# 登录 Hugging Face (如果下载私有或需要鉴权的数据集)
huggingface-cli login

提示：国内开发者若访问 Hugging Face 速度慢，可配置镜像源或使用代理加速。

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

由于 sft_datasets 本质是数据集清单与链接集合，无需安装特定的 Python 包。获取数据的核心步骤是克隆整理仓库或直接通过链接下载。

方式一：克隆项目仓库（获取完整列表与脚本）

git clone https://github.com/QingyiSi/Alpaca-CoT.git
cd Alpaca-CoT

注：该项目整理了大量数据集的转换脚本和说明，位于各子目录中。

方式二：直接使用 huggingface-cli 下载特定数据集

以下载热门的中文指令数据集 belle_cn 为例：

# 设置国内镜像加速 (可选)
export HF_ENDPOINT=https://hf-mirror.com

# 下载 belle_cn 数据集到本地目录 ./data/belle_cn
huggingface-cli download --repo-type dataset QingyiSi/Alpaca-CoT --subfolder belle_cn --local-dir ./data/belle_cn

若要下载其他数据集（如 firefly, alpacaGPT4 等），只需更改 --subfolder 参数为对应的数据集名称。

基本使用

下载完成后，数据通常以 JSON、JSONL 或 Parquet 格式存在。以下是使用 Python 加载并预览数据的简单示例。

1. 加载 JSONL 格式数据（以 Belle 数据集为例）

大多数整理后的数据集为 JSONL 格式，每行一个独立的样本。

import json

def load_dataset(file_path):
    data = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if line.strip():
                data.append(json.loads(line))
    return data

# 假设已下载 belle_cn 下的训练文件
file_path = "./data/belle_cn/train_0.5M.json" 

# 加载数据
dataset = load_dataset(file_path)

# 查看第一条数据
print(f"总样本数：{len(dataset)}")
print("样本示例:")
print(json.dumps(dataset[0], ensure_ascii=False, indent=2))

输出示例结构：

{
  "instruction": "计算 123 乘以 456 的结果。",
  "input": "",
  "output": "123 乘以 456 的结果是 56088。",
  "history": []
}

2. 使用 Hugging Face Datasets 库加载（推荐）

如果数据集已上传至 Hugging Face Hub 且格式标准，可直接使用 datasets 库流式加载，节省内存。

from datasets import load_dataset

# 加载特定子集 (例如 belle_cn)
# 注意：路径需对应 HF 上的实际 structure，此处以 QingyiSi/Alpaca-CoT 为例
dataset = load_dataset(
    "QingyiSi/Alpaca-CoT", 
    data_dir="belle_cn", 
    split="train",
    streaming=True  # 开启流式模式，不一次性下载所有数据
)

# 遍历前 5 条数据
for i, example in enumerate(dataset):
    if i >= 5:
        break
    print(f"--- Sample {i+1} ---")
    print(f"Instruction: {example.get('instruction', 'N/A')}")
    print(f"Output: {example.get('output', 'N/A')}")

3. 数据格式说明

不同数据集的字段名可能略有差异，常见字段包括：

• instruction: 指令/问题
• input: 输入上下文（可选）
• output: 期望的回答
• history: 多轮对话历史（列表形式）
• system: 系统提示词

在使用前建议先打印几条数据确认字段名称，以便构建正确的训练 DataLoader。