这是ICLR 2025论文“通过使用对齐大模型的预查询模板从零开始合成对齐数据”（https://arxiv.org/abs/2406.08464）的官方仓库。喜鹊通过使用对齐大模型的预查询模板来提示这些模型，从而生成高质量的对齐数据。与许多现有的合成数据生成方法不同，喜鹊不依赖于提示工程或种子问题来生成合成数据。相反，它直接利用对齐大模型的提示模板来同时生成用户查询和大模型的回答。

• 🤗 Huggingface（模型和数据集）
• 🧭 数据集导航
• 🕸️ 官网
• 📄 技术报告
• 🤗 喜鹊演示（非常感谢@davanstrien的实现！）
• 🐦 与喜鹊聊天

🐦 新闻

• [2025/01/22] 喜鹊论文已被ICLR 2025接收！
• [2025/01/09] 喜鹊推理V2数据集发布！来自Llama、Skywork-o1和QwQ的25万条！这次我们专注于思维链（CoT）🤯
• [2025/01/01] 喜鹊Llama-3.3数据集发布！来自Llama-3.3-70B-Instruct的100万条！新年快乐！
• [2024/10/20] 喜鹊Qwen2.5数据集发布！来自Qwen2.5 72B的100万条！
• [2024/09/17] 推出两款性能达到SOTA的新模型：𝙼𝚊𝚐𝚙𝚒𝚎𝙻𝙼-𝙲𝚑𝚊𝚝（4B和8B）！请查看合集这里！
• [2024/08/19] 三份偏好优化数据集——Magpie-Air-DPO-100K-v0.1、Magpie-Pro-DPO-100K-v0.1以及Magpie-Llama-3.1-Pro-DPO-100K-v0.1——均已发布！
• [2024/07/25] 喜鹊Llama-3.1数据集发布！来自Llama-3.1-70B-Instruct的100万条！相比Llama-3，许可证更加友好😃！
• [2024/07/21] 喜鹊Gemma2数据集发布！来自Gemma-2-27b-it的53.4万条！
• [2024/07/19] [Llama-3-8B-Magpie-Align-v0.3]（https://huggingface.co/Magpie-Align/Llama-3-8B-Magpie-Align-v0.3）发布，中文问答能力得到增强，这得益于我们新推出的[中文指令数据集](https://huggingface.co/datasets/Magpie-Align/Magpie-Qwen2-Pro-200K-Chinese)！
• [2024/07/14] [Llama-3-8B-Magpie-Align-v0.2]（https://huggingface.co/Magpie-Align/Llama-3-8B-Magpie-Align-v0.2）发布，推理能力进一步提升，这归功于我们新推出的[推理增强数据集](https://huggingface.co/datasets/Magpie-Align/Magpie-Reasoning-150K)！
• [2024/07/04] 喜鹊Qwen2数据集发布！来自Qwen2 72B的100万条，以及来自Qwen2 7B的300万条。
• [2024/07/03] 🏆 我们的开源对齐模型[Llama-3-8B-Magpie-Align-v0.1]（https://huggingface.co/Magpie-Align/Llama-3-8B-Magpie-Align-v0.1）发布！它在[AI2 WildBench排行榜](https://huggingface.co/spaces/allenai/WildBench)中被评为🏆 <30B模型中的最佳！甚至优于官方的[Meta-Llama-3-8B-Instruct]（https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct）模型！
• [2024/06/24] 喜鹊Phi 3数据集发布！来自Phi 3 Medium的100万条！
• [2024/06/12] 喜鹊Llama-3数据集发布！来自Llama-3 70B的100万条，以及来自Llama-3 8B的300万条。
• [2024/06/12] 喜鹊技术报告发布！让我们共同推动高质量对齐数据的开放共享吧！

喜鹊支持

目前，喜鹊已在 Llama-3、Qwen2、Phi 3 和 Gemma-2 系列模型上进行了测试。如需更多模型支持，请 提交问题。

模型家族	喜鹊	喜鹊脚本	数据集	规模
Llama 3.3	✅	70B	70B	1M
Llama 3.1	✅ *	8B,70B	70B,405B(Argilla)	1M
Llama 3	✅	8B,70B	8B,70B	3M + 1M
Qwen2.5	✅	3B,7B,14B,32B,72B	72B	1M
Qwen2	✅	7B,72B,Math 7B	7B,72B	3M + 1M
Phi 3	✅	mini,small,medium	medium	1M
Gemma-2	✅ **	9B,27B	27B	534K
Gemma-1.1	⭕️	7B
Llama 2	⭕️	7B,70B
Vicuna	⭕️	7B
Mistral	⭕️	7B
Yi	⭕️	34B
DeepSeek Coder	⭕️	Coder V2 Lite

• ✅: 效果极佳！(* 应用 logits 处理器以抑制 Markdown；** 在生成响应前应用 过滤器。)
• ⭕️: 可行！我们可以得到一些有趣的结果，但可能需要设计额外的 logits 处理器和/或过滤器。
• ❌: 不可行。
• ❓: 未测试。

所有可用的喜鹊数据集导航可在此处找到 这里。

我们希望喜鹊能够通过提升模型对齐过程的透明度，为人工智能的民主化贡献力量！

摘要

点击此处

高质量的指令数据对于对齐大型语言模型（LLMs）至关重要。尽管一些模型，例如 Llama-3-Instruct，其权重是公开的，但其对齐数据仍然保密，这阻碍了人工智能的民主化。高昂的人工成本以及提示范围的有限性和预定义性，使得现有的开源数据生成方法难以有效扩展，从而可能限制公共对齐数据集的多样性和质量。是否有可能通过直接从已对齐的 LLM 中提取数据，大规模合成高质量的指令数据呢？我们提出了一种名为“喜鹊”的大规模对齐数据自合成方法。我们的关键观察是，像 Llama-3-Instruct 这样的已对齐模型，由于其自回归特性，只需输入到用户消息位置之前的左侧模板，就能生成用户查询。我们利用这种方法提示 Llama-3-Instruct，生成了 400 万个指令及其对应的响应。我们对提取的数据进行了全面分析，并选择了 30 万个高质量实例。为了将喜鹊数据与其他公开指令数据集进行比较，我们使用每个数据集对 Llama-3-8B-Base 进行微调，并评估微调后模型的性能。结果表明，在某些任务中，使用喜鹊数据微调的模型表现与官方的 Llama-3-8B-Instruct 相当，尽管后者通过监督式微调（SFT）和后续的反馈学习增强了 1000 万条数据。我们还表明，仅使用喜鹊进行 SFT 的效果可以超越以往同时用于 SFT 和偏好优化的公开数据集，例如使用 UltraFeedback 进行直接偏好优化。这一优势在 AlpacaEval、ArenaHard 和 WildBench 等对齐基准测试中尤为明显。

概述

安装

构建环境

git clone https://github.com/magpie-align/magpie.git
cd magpie
conda create -n magpie python=3.10 -y
conda activate magpie
pip install -r requirements.txt

获取 🤗 Huggingface 上的 Llama-3 模型访问权限

您可以在 这里申请 Llama-3 模型的访问权限。要在终端登录，请输入：

huggingface-cli login

然后输入以 "hf_" 开头的您的 Huggingface 私钥。

玩具示例

使用 Jupyter Notebook 玩一玩

玩具示例可在 demo.ipynb 中找到。祝您玩得开心！

批量SFT数据生成

我们以Llama-3-8B-Instruct为例，演示批量SFT数据生成流程。要运行批量生成，只需执行：

cd scripts
bash magpie.sh

该脚本会在data文件夹中生成指令和响应数据。此流程已在RTX 4090 24G显卡上测试通过。若您使用的显卡显存较小，建议实施量化。

我们还在scripts文件夹中提供了其他模型的脚本。您可通过此处导航找到特定的Magpie脚本。请注意，对于超过8B参数量的模型，可能需要4张A100显卡才能运行这些脚本。

批量多轮数据生成［可选］

在生成指令-响应对之后，您可以将其扩展为多轮对话。只需运行以下命令：

bash magpie-multi-turn.sh ***_ins_res.json

其中***_ins_res.json是上一步生成的单轮指令-响应对文件。

数据集过滤

1. 标注

要为生成的指令-响应对打标签，可以运行：

cd scripts
bash unitag.sh ***_ins_res.json all

该脚本将自动为生成的数据集添加质量、难度、任务类别、安全性、奖励和语言等标签。您也可以逐个生成标签。例如，如果您只想使用设备0来生成安全标签，可以运行：

cd scripts
bash unitag.sh ***_ins_res.json safety 0

2. 数据拼接与转换

您可能会生成采用不同生成配置的数据集。我们在此提供了一个Jupyter笔记本链接，用于将所有数据集拼接并转换为ShareGPT格式，该格式受到Axolotl的全面支持，可用于微调。

3. 去重

当您已将完整数据集转换为ShareGPT格式后，可以计算每条指令的最小邻近距离，并去除重复内容。为此，请运行：

cd exp
python gen_dis.py --input_file ***_sharegpt.jsonl

其中***_sharegpt.jsonl是上一步得到的数据集路径。该Python脚本将负责构建FAISS索引并计算最小距离。

4. 设计并应用您的过滤器

我们在此提供了一个Jupyter笔记本链接，用于进行简单的过滤操作。您可以根据自身需求调整过滤参数，设计并应用您自己的过滤策略。

偏好数据生成

要生成偏好数据，首先需按照上述步骤准备经过筛选的指令。有关预期格式，请参考我们的示例链接。

接下来，请使用我们提供的脚本链接生成多个响应，并计算相应的奖励值。最后，您可以通过这个Jupyter笔记本对数据进行处理，并将其上传至Huggingface。

微调

请查看recipes目录，获取相关说明及我们的Magpie模型配方。

引用

如果您认为本模型、数据或代码有所帮助，请引用我们的论文🤩：

@article{xu2024magpie,
  title={Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing},
  author={Zhangchen Xu and Fengqing Jiang and Luyao Niu and Yuntian Deng and Radha Poovendran and Yejin Choi and Bill Yuchen Lin},
  journal={ArXiv},
  year={2024},
  volume={abs/2406.08464},
  url={https://api.semanticscholar.org/CorpusID:270391432}
}

星标历史

Magpie 快速上手指南

Magpie 是一个无需种子问题或复杂提示工程，即可从对齐的大语言模型（如 Llama-3、Qwen2 等）中直接合成高质量指令微调（SFT）数据的工具。它利用模型自身的自回归特性，仅通过输入预查询模板即可生成用户提问和模型回答。

环境准备

• 操作系统: Linux / macOS (Windows 需使用 WSL)
• Python 版本: 3.10
• 硬件要求: 推荐 NVIDIA GPU (示例脚本已在 RTX 4090 24G 上测试)。显存较小的用户建议在生成脚本中启用量化选项。
• 前置依赖:
  • Conda (推荐用于环境管理)
  • Git
  • Hugging Face 账号 (如需使用 Llama-3 等受限模型，需提前申请权限)

安装步骤

1. 克隆仓库

   git clone https://github.com/magpie-align/magpie.git
   cd magpie
   

2. 创建并激活虚拟环境

   conda create -n magpie python=3.10 -y
   conda activate magpie
   

3. 安装依赖包 (注：若下载速度慢，可配置 pip 使用国内镜像源，如清华源)

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 登录 Hugging Face 如果您计划使用 Llama-3 系列模型，必须先登录以验证访问权限：

   huggingface-cli login
   

   按提示输入您的 Hugging Face Token（以 hf_ 开头）。

基本使用

方式一：体验示例 (Jupyter Notebook)

最适合快速理解原理的方式是运行官方提供的 Demo。

• 本地运行: 打开 demo.ipynb 文件并逐个单元格执行。
• 在线运行 (Colab): 点击 Open In Colab 直接在浏览器中体验。

方式二：批量生成数据 (命令行)

以下以 Llama-3-8B-Instruct 为例，演示如何批量生成指令微调数据。

1. 进入脚本目录：

   cd scripts
   

2. 运行生成脚本：

   bash magpie.sh
   

   说明：该脚本将自动调用模型，生成的指令（instructions）和回复（responses）将保存在 data 文件夹中。

3. 适配其他模型: Magpie 支持多种模型系列。请根据下表选择对应的脚本运行：

   模型系列	脚本示例
   Llama-3.1 / 3.3	bash magpie-llama3.1-8b.sh / bash magpie-llama3.3-70b.sh
   Qwen2.5	bash magpie-qwen2.5-7b.sh / bash magpie-qwen2.5-72b.sh
   Qwen2	bash magpie-qwen2-7b.sh
   Phi 3	bash magpie-phi3medium.sh
   Gemma-2	bash magpie-gemma2-27b.sh

   注意: 对于部分模型（如带 * 标记的 Llama 3.1 或带 ** 标记的 Gemma-2），可能需要在脚本中应用特定的 logits processor 或过滤器以获得最佳效果，具体请参考 scripts 目录下的脚本注释。