令人惊叹的ChatGPT数据集

解锁大语言模型的强大能力：探索这些数据集，训练属于你自己的ChatGPT！

自选混合数据集

git clone https://github.com/voidful/awesome-chatgpt-dataset.git
cd awesome-chatgpt-dataset/mixed/dataset

挑选你想要使用的数据集，然后合并并上传：

python preprocess.py 你的数据集名称_to_HuggingFaceHub

数据集详情

按数据集大小排序（小 → 大）。大小未知的条目将显示在最后。

数据集名称	大小	语言	来源	许可证
TheoremQA	1K	英语	我们标注了800个问答对，涵盖数学、电气工程与计算机科学、物理和金融领域的350多个定理。	MIT
LIMA	1K	英语	LIMA：对齐中的“少即是多”。	CC BY-NC-SA 4.0
WildGuardMix	1.7K	英语	包含常规/对抗性提示及多标注者标签的安全训练混合数据集。	ODC-BY
Berkeley Function Calling Leaderboard (BFCL)	2K	英语 + 代码	覆盖多种语言下并行/多调用场景的函数/工具调用评估。	-
im-feeling-curious	3K	英语	摘自谷歌的“I’m Feeling Curious”事实库。	-
Puffin	3K	英语	精确包含3,000个多轮对话示例；每条回复均由GPT‑4生成。	Apache-2.0
cc_sbu_align	4K	英语	MiniGPT‑4对齐数据（图像–文本）。	BSD-3-Clause
QA-Feedback	4K	英语	基于人工反馈重构的ASQA数据集。	-
SLF5K	5K	英语	带有语言反馈的摘要生成数据集（5,000个独特样本）。	Apache-2.0
blended_skill_talk	7K	英语	7,000段融合个性、同理心和知识的对话。	-
GSM‑IC	8K	英语	包含无关背景信息（干扰句）的小学数学题。	-
ChatAlpaca‑10K	10K	英语	10,000个多轮对话（基于Alpaca模型）。	Apache-2.0
PKU‑SafeRLHF‑10K	10K	英语	第一轮安全RLHF数据，包含安全偏好。	-
Dolly‑15K	15K	英语	Databricks众包的15,000条指令记录。	CC BY-3.0
WebGPT (comparisons)	20K	英语	用于WebGPT奖励模型的人类偏好比较数据集。	-
CodeAlpaca‑20K	20K	英语	20,022组指令–代码对，用于代码生成任务。	-
HelpSteer2	21K	英语	开源的助益性数据，用于奖励模型和偏好学习。	CC BY-4.0
openapi-function-invocations‑25k	25K	英语	合成+提取的OpenAPI函数调用轨迹数据集。	MIT
LongForm	28K	英语	反向指令的长文本生成数据集。	MIT
Chatbot Arena Conversations	33K	英语	33,000条清理后的Arena聊天记录，附带成对偏好。	-
HC3	37K	英语、中文	37,175条指令，包含人类与LLM的回答。	-
Anthropic HH Golden	45K	英语	有益且无害的偏好数据；黄金子集。	-
Mol‑Instructions	48K	英语	面向LLM的生物分子指令数据集。	CC BY-4.0
RefGPT	50K	英语、中文	成本效益高的流水线，用于生成带参考文献的多轮问答。	-
arxiv‑math‑instruct‑50k	50K	英语	从arXiv数学摘要中提取的问答对。	-
arxiv‑math‑instruct‑50k (ArtifactAI)	51K	英语	T5生成的问题；GPT‑3.5回答。	-
Traditional Chinese Alpaca	52K	繁体中文	由ChatGPT API翻译的Alpaca数据集。	Apache-2.0
Cabrita Dataset	52K	葡萄牙语	Alpaca被翻译成葡萄牙语。	-
Japanese Alpaca	52K	日语	由ChatGPT API翻译的Alpaca数据集。	CC BY-NC-4.0；OpenAI条款
Alpaca Dataset	52K	英语	由OpenAI完成的175条种子指令。	CC BY-NC-4.0；OpenAI条款
Alpaca Data Cleaned	52K	英语	清理后的Alpaca 52K数据集。	-
Alpaca GPT‑4 Data	52K	英语	相同的提示，由GPT‑4完成。	-
Alpaca GPT‑4 Chinese	52K	中文	针对中文提示的GPT‑4完成内容。	-
xLAM Function Calling 60K	60K	英语	面向可执行智能体的结构化工具调用数据集。	Apache-2.0
Dynosaur	66K	英语	动态增长范式，用于指令整理。	Apache-2.0
Finance	69K	英语	68,912条金融相关指令。	-
WizardLM evol	70K	英语	进化型指令微调数据集（WizardLM）。	-
Vicuna Dataset	75K	英语	约10万条ShareGPT聊天记录（精选）。	-
InstructionTranslation	80K	多语言	M2M‑12B翻译的指令（≤512 tokens）。	MIT
Self‑Instruct	82K	英语	52K条种子指令；82K个输入输出对。	-
OASST1	89K	多语言	人类生成的助手对话（35种语言）。	Apache-2.0
HH‑RLHF	91K	英语	有益/无害的RLHF配对数据集。	MIT
Guanaco Dataset	98K	英语、简体中文、繁体中文、日语	跨语言的175个Alpaca任务。	GPL-3.0
InstructionWild	104K	英语、中文	以429条指令为种子；约52K条自动生成。	仅限研究用途；OpenAI条款
CAMEL Dataset	107K	英语	多角色、主题多样的指令对话。	-
TAPIR‑Cleaned	117K	英语	清理后的IFTTT规则数据集，用于指令微调。	CC BY-NC-4.0
OASST2 (final)	135K	多语言	Open Assistant对话发布2（训练+验证）。	Apache-2.0
WizardLM Evol‑Instruct V2	143K	英语	143K条混合进化数据集。	-
LLaVA Visual Instruct 150K	150K	英语	GPT生成的多模态指令对。	CC BY-NC-4.0
ProsocialDialog	166K	英语	165,681条亲社会指令及反馈。	-
M2Lingual	175K	多语言	多语言混合模态（代码+文本）聊天/指令SFT。	-
COIG	191K	中文	中国开放指令通用模型。	Apache-2.0
orca‑chat	198K	英语	清理、修剪后的Orca风格对话子集。	-
OpenR1‑Math‑220k	220K	英语	DeepSeek‑R1蒸馏的数学轨迹（已验证）。	Apache-2.0
Unnatural Instructions	241K	英语	大规模创意/多样化指令语料库。	MIT
WildJailbreak	262K	英语	合成越狱及良性对比提示。	ODC-BY
SHP	358K	英语	385K条Reddit上的18个主题的偏好配对数据集。	Reddit——可撤销、非独家许可
Dromedary	361K	英语	Dromedary‑Verbose‑Clone合成指令。	CC BY-NC-4.0
UltraChat	404K	英语	双API生成（用户 vs 助手），用于质量控制。	CC BY-NC-4.0
IGN Clean Instruct 500K	509K	英语	约508K条来自Ultrachat的高质量指令。	Apache-2.0
ELI5	559K	英语	长篇社区问答（“像对待五岁小孩一样解释”）。	-
GPT4All	806K	多语言	LAION OIG + StackOverflow + P3提示；OpenAI输出。	-
Instruct	889K	英语	888,969条英语指令（增强版）。	MIT
MOSS	1M	中文	GPT‑3.5‑turbo生成的中文SFT数据集。	Apache-2.0 + AGPL-3.0
WildChat	1.0M	英语	实际场景下的用户–LLM聊天数据集（许可证已更新）。	ODC-BY
smolTalk	1.1M	英语	超紧凑型多轮聊天，适用于小型SFT。	Apache-2.0
Open‑PerfectBlend	1.42M	英语	多样化、去重后的聊天混合数据集，适用于通用SFT。	Apache-2.0
The Tome	1.75M	英语	由Arcee整理的大规模清理后指令数据集。	MIT
NaturalReasoning	2.8M	英语	2.8M道具有挑战性的推理题（已净化）。	CC BY-NC-4.0
LaMini‑Instruction	3.0M	英语	约2.58M–3M条指令–回应对（GPT‑3.5）。	CC BY-NC-4.0
OpenOrca (full)	3.0M	英语	GPT‑4/3.5增强的FLAN集合。	-
WildChat‑4.8M (无毒子集)	3.20M	英语	WildChat 4.8M中的无毒过滤版本。	ODC-BY
Infinity‑Instruct	8.9M	多语言	7.4M基础数据 + 约1.5M聊天指令数据集。	CC BY-SA 4.0
BELLE‑10M	10M	中文	跨领域、多类型的中文指令数据集。	仅限研究用途；OpenAI条款
Firefly	16M	中文	23个NLP任务中超过160万条中文指令（扩展语料库）。	-
OIG‑43M	43M	多语言	LAION + Together + OntoCord组成的复合指令池。	-
xP3	79M	多语言	来自46种语言、16个任务的提示数据集中的78,883,588条指令。	-

未知/混合大小（为完整性保留；格式与原文一致）

数据集名称	大小	语言	来源	许可证
CodeParrot	-	python	180GB Python 文件（每个小于1MB），2000多万个文件。	-
Alpaca‑CoT	-	多语言	带有思维链轨迹的指令数据。	odc-by
stack-exchange-paired	-	英语	用于偏好建模的 StackExchange 问答对。	cc-by-sa-4.0
LangChainDatasets	-	英语	用于评估链条和智能体的社区数据集。	-
ParlAI	-	英语	对话研究平台，包含多项任务和数据集。	-
GPTeacher	-	英语	为通用 SFT 整合的指令数据集。	-
Wizard‑LM Chinese Evol	-	中文	中文 evol‑instruct 语料库。	-
MultiWOZ	-	英语	多领域 Wizard‑of‑Oz 对话语料库。	-
ToolACE	-	英语	多工具调用 SFT（函数、API JSON、工具计划）。	-
UltraFeedback（清理后的二值化）	-	英语	UltraFeedback 偏好数据经过清理和二值化处理。	cc-by-nc-4.0
glaive‑function‑calling‑v2	-	英语	包含工具模式和参数的函数调用 SFT 数据集。	apache-2.0

awesome-chatgpt-dataset 快速上手指南

本指南帮助开发者快速克隆并筛选适合的大语言模型（LLM）训练数据集，用于微调自己的 ChatGPT 类模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：Python 3.8 或更高版本
• 依赖工具：
  • git：用于克隆仓库
  • pip：用于安装 Python 依赖（如 datasets, huggingface_hub 等，通常脚本会自动处理或需根据 requirements.txt 安装）
• 网络环境：由于数据托管在 Hugging Face Hub，建议配置网络加速。
  • 国内加速方案：推荐使用 Hugging Face 国内镜像源。

  export HF_ENDPOINT=https://hf-mirror.com
  

安装步骤

1. 克隆仓库 使用 git 将项目代码下载到本地：

   git clone https://github.com/voidful/awesome-chatgpt-dataset.git
   

2. 进入数据集目录 切换到包含混合数据集脚本的目录：

   cd awesome-chatgpt-dataset/mixed/dataset
   

3. 安装 Python 依赖 如果目录下有 requirements.txt，请执行：

   pip install -r requirements.txt
   

   (注：若无需额外依赖即可运行 preprocess.py，可跳过此步，直接确保已安装 huggingface_hub 和 datasets 库)

基本使用

该工具的核心功能是让你从列表中挑选任意数据集，合并后上传至你自己的 Hugging Face Hub 账户，以便进行模型训练。

1. 选择数据集

参考项目 README 中的 "Dataset Detail" 表格，根据数据量大小、语言（支持中文数据集如 MOSS, COIG, Alpaca Chinese 等）和许可证选择你需要的数据集名称。

2. 执行预处理与上传

运行 preprocess.py 脚本，指定你想要使用的数据集名称以及目标 Hugging Face Hub 的数据集名称。

命令格式：

python preprocess.py <your_dataset_name_to_HuggingFaceHub>

使用示例： 假设你想使用中文指令数据集 MOSS 并将其上传到你账号下的 my-llm-data/moss-cn 数据集：

# 设置国内镜像加速 (可选但推荐)
export HF_ENDPOINT=https://hf-mirror.com

# 执行脚本，将选定的数据合并并推送到你的 Hub
python preprocess.py my-llm-data/moss-cn

注意：运行前请确保你已通过 huggingface-cli login 登录了拥有写入权限的 Hugging Face 账号。

3. 后续操作

脚本执行完成后，数据将出现在你的 Hugging Face Hub 仓库中。你可以直接在 LLM 训练框架（如 LLaMA-Factory, DeepSpeed, Axolotl 等）中引用该数据集路径进行微调训练。