FLAN 指令微调仓库

原始 Flan (2021) | Flan 数据集合 (2022) | Flan 2021 引用 | 许可证

本仓库包含用于生成指令微调数据集集合的代码。第一个是原始的 Flan 2021，相关工作发表在论文《微调语言模型是零样本学习者》（arXiv:2109.01652）中；第二个是扩展版本，称为 Flan 数据集，其设计与方法在论文《Flan 数据集：为高效指令微调设计数据与方法》（arXiv:2301.13688）中有所介绍，并被用于训练 Flan-T5 和 Flan-PaLM。

Flan 2021

要以 Seqio 混合格式生成 Flan 2021 数据，请先安装 requirements.txt 中列出的依赖项，然后使用 mixtures.py 脚本。

Flan 2021 引用

如果您在研究中使用了 Flan 2021，请引用以下文献：

@inproceedings{weifinetuned,
  title={Finetuned Language Models are Zero-Shot Learners},
  author={Wei, Jason and Bosma, Maarten and Zhao, Vincent and Guu, Kelvin and Yu, Adams Wei and Lester, Brian and Du, Nan and Dai, Andrew M and Le, Quoc V},
  booktitle={International Conference on Learning Representations}
}

许可证

本仓库中的代码遵循 LICENSE 文件所规定的许可协议。

联系我们

如需联系我们，欢迎在此仓库中提交 Issue，或直接发送邮件至以下作者：Jason Wei（负责 Flan 2021 论文）、Le Hou（负责 Scaling Flan 论文）以及 Shayne Longpre（负责 Flan 数据集）。

FLAN 指令微调数据生成快速上手指南

本指南基于 Google Research 的 FLAN 开源仓库，帮助开发者快速生成用于指令微调（Instruction Tuning）的数据集（包括 Flan 2021 和 Flan Collection）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（推荐），Windows 需使用 WSL。
• Python 版本：建议 Python 3.8 或更高版本。
• 前置依赖：
  • git：用于克隆代码库。
  • pip：Python 包管理工具。
  • （可选但推荐）国内用户可配置 pip 镜像源以加速下载，例如清华源：

    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
    

安装步骤

1. 克隆仓库 将 FLAN 代码库克隆到本地：

   git clone https://github.com/google-research/FLAN.git
   cd FLAN
   

2. 安装依赖 根据您想要生成的数据集版本，安装对应的依赖包。通常根目录或子目录下包含 requirements.txt。

   执行以下命令安装核心依赖：

   pip install -r requirements.txt
   

   注意：如果提示找不到文件，请检查当前目录下是否存在 requirements.txt，或参考 flan/v2 等子目录下的具体依赖文件。

基本使用

本仓库的核心功能是通过代码生成 Seqio 格式的数据混合集（mixtures）。以下以生成 Flan 2021 数据集为例：

1. 定位脚本 主要逻辑位于 flan/mixtures.py 文件中。

2. 运行生成命令 直接使用 Python 运行该脚本即可启动数据生成流程。最简单的调用方式如下：

   python flan/mixtures.py
   

   说明：具体的参数配置（如选择特定的任务子集、输出路径等）通常需要在 mixtures.py 内部修改或通过命令行参数传递，建议先阅读该文件顶部的注释以了解可用选项。

3. 后续处理 生成的数据将遵循 Seqio 格式，可直接配合 Seqio 库或 Hugging Face datasets 库加载，用于训练 Flan-T5、Flan-PaLM 等模型。