用于自然语言处理任务的语言指令库

简而言之： 本仓库致力于通过社区协作，构建一个包含大量任务及其自然语言定义/指令的集合。 请查看发布页面，了解最新任务变更和新增内容的概览。
如果您有任何改进建议，请随时告诉我们。我们期待更多贡献，让这份数据更加完善、更加丰富！🙌

最新动态

• 2022年5月： 我们发布了基于该数据集训练的多个模型。请参阅代码和检查点。
• 2022年4月： 关于我们数据集的一篇论文已发表！
• 2021年10月15日： 我们v2版本数据集的目标日期。
  • 社区已贡献超过1500个任务！！🎉
  • 我们正在整理新增任务，并计划发表一篇总结新发现的论文！
  • 您仍然可以提交新的任务！这些新任务将纳入未来的数据发布中。
• 2021年9月： 发布了面向社区的征集公告！
• 2021年6月： 我们以61个任务启动了这个仓库！

背景

为什么用自然语言来定义任务？

尽管当前主流范式（即基于特定任务标注数据的监督学习）在构建特定任务模型方面取得了成功，但这类模型难以泛化到未见过的任务。例如，一个经过问题解答任务监督训练的模型，无法直接解决分类任务。 我们假设，如果模型具备理解与推理自然语言指令的能力，那么它应该能够泛化到任何可以用自然语言描述的任务。

是否有实验证据支持这一假设？

在我们之前的研究中，我们构建了一个较小的数据集（61个任务），并观察到语言模型确实受益于语言指令——当提供更多的指令时，它们对未见任务的泛化能力显著提升。此外，随着模型在更多任务上进行训练，其对未见任务的泛化能力也会进一步增强。

为什么要构建这个数据集？

我们认为，先前的工作[仅触及了冰山一角]，在这种设置下仍有大量值得深入研究的内容。我们希望汇集一个规模更大、涵盖更广泛推理能力的数据集。相信这个扩展后的数据集将成为社区研究和开发下一代人工智能/自然语言处理模型的宝贵平台。 有关这项工作的动机概述，请参阅这篇博客文章。

任务模式

每个任务由输入和输出组成。以情感分类任务为例：

• 输入： 我觉得蜘蛛侠的动画不错，但这部电影让我很失望。
• 输出： 混合

以下是同一任务的另一个示例：

• 输入： 这南瓜是我吃过的最糟糕的之一。
• 输出： 负面

此外，每个任务还包含一个任务定义：

给定一条推文，将其归类为以下四类之一：正面、负面、中性或混合。

总体而言，每个任务遵循如下模式：

或者，如果您熟悉JSON格式，也可以这样表示：

{
  "Contributors": [""],
  "Source": [""],
  "URL": [""],
  "Categories": [""],
  "Reasoning": [""],
  "Definition": [""],
  "Input_language": [""], 
  "Output_language": [""],
  "Instruction_language": [""],  
  "Domains": [""],    
  "Positive Examples": [ { "input": "", "output": "",  "explanation": ""} ], 
  "Negative Examples": [ { "input": "", "output": "",  "explanation": ""} ],
  "Instances": [ { "id": "", "input": "", "output": [""]} ],
}

如何贡献

我们非常欢迎任何外部贡献！🙏 您可以通过多种方式参与贡献。

• 如果您认为缺少一项重要任务，可以通过 Pull Request 提交。您也可以参考 GitHub 问题 中的任务建议，并选择感兴趣的任务进行开发。
• 如果您有其他任务建议，但不确定是否合适，可以在 问题 中提出讨论。
• 如果您有任何疑问或建议，请使用 问题 功能。
• 如果您要添加新任务，请务必遵循以下指南：
  • 每个任务必须包含一个 .json 文件，其中包含任务内容。您可以查看 tasks/ 目录中的示例。
    • 确保您的 JSON 文件易于阅读（使用适当的缩进；例如，在 Python 中可以使用 json.dumps(your_json_string, indent=4, ensure_ascii=False)）。
    • 确保 JSON 文件大小不超过 50MB。
    • 确保每个任务的实例数量不超过 6,500 对（输入/输出对）。
    • 每个实例必须有一个唯一的 ID，格式为任务编号加上由 uuid.uuid4().hex 生成的字符串。例如：task1356-bb5ff013dc5d49d7a962e85ed1de526b。
    • 根据 此列表，请明确标注任务类别和领域。
    • 请正确编号您的任务 JSON 文件：
      • 查看最新 Pull Request 中的任务编号，您提交的任务编号应为下一个数字。
      • 命名任务 JSON 文件时，请注明来源数据集名称和任务类型。
        • 可以使用如下格式：taskabc_<source_dataset>_<task_type>.json。例如，task001_quoref_question_generation.json 表示来源数据集是 quoref，任务类型是“问题生成”。
    • 需要注意的是，来源不一定是数据集，也可能是网站等，例如 LeetCode。如果您是在没有参考的情况下创建的 JSON 文件，请在来源处填写“synthetic”。
    • 每个数据集应提交一个 Pull Request。Pull Request 的命名格式为：“任务名称 <起始任务编号>-<结束任务编号>”。
    • 如果您基于现有数据集及其众包模板构建任务，请参阅 众包指南。
  • 将您的任务添加到 我们的任务列表 中。
  • 为确保您的新增内容格式正确，请运行测试：> python src/test_all.py。
    • 如果只想测试特定范围任务的格式，可以运行：> python src/test_all.py --task <开始任务编号> <结束任务编号>。例如，运行 > python src/test_all.py --task 5 10 将会测试从 task005 到 task010 的格式。

跨任务泛化基准测试

如我们在 论文 中所述，该数据集可用于系统性地研究跨任务泛化能力，即在部分任务上进行训练，然后在剩余未见过的任务上进行评估。为了便于比较不同方法的效果，我们按照论文中的描述，在 此处 创建了一个官方划分。您可以按照说明设置您的实验。

我们还发布了用于复现和未来研究的 实验代码 和 检查点。

许可证

此处的所有数据（除各任务的实例外）均采用 Apache-2.0 许可证发布。 各任务的实例则遵循其原始数据集所使用的许可证。这些许可证信息可在每个任务文件中的“Instance License”字段中找到。

其他

如果您想使用 Natural Instructions v1，代码链接如下：链接

欢迎引用我们的工作。

@inproceedings{naturalinstructions,
  title={通过自然语言众包指令实现跨任务泛化},
  author={Mishra, Swaroop 和 Khashabi, Daniel 和 Baral, Chitta 和 Hajishirzi, Hannaneh},
  booktitle={ACL},
  year={2022}
}
@inproceedings{supernaturalinstructions,
  title={Super-NaturalInstructions：通过 1600 多项任务的声明式指令实现泛化},
  author={Wang, Yizhong 和 Mishra, Swaroop 和 Alipoormolabashi, Pegah 和 Kordi, Yeganeh 和 Mirzaei, Amirreza 和 Arunkumar, Anjana 和 Ashok, Arjun 和 Dhanasekaran, Arut Selvan 和 Naik, Atharva 和 Stap, David 等},
  booktitle={EMNLP},
  year={2022}
}

Natural Instructions 快速上手指南

Natural Instructions 是一个由社区驱动的大型自然语言指令数据集仓库，旨在通过自然语言定义的任务来训练和评估模型跨任务泛化能力。本指南将帮助你快速获取数据并了解其结构。

环境准备

本项目主要提供数据文件（JSON 格式）和相关测试脚本，无需复杂的深度学习框架即可浏览数据，但若需运行官方测试或进行模型训练，建议准备以下环境：

• 操作系统: Linux, macOS 或 Windows (需支持 Python)
• Python 版本: 3.6 或更高版本
• 前置依赖:
  • git: 用于克隆仓库
  • python: 运行测试脚本
  • (可选) torch, transformers: 若需加载官方发布的 Tk-Instruct 模型进行检查点测试或微调

国内加速建议: 由于 GitHub 访问可能不稳定，建议使用国内镜像源克隆仓库，或配置 Git 代理。

• 使用 Gitee 镜像（如有同步）: git clone https://gitee.com/mirror/natural-instructions.git
• 或者配置 Git 全局代理后克隆原仓库。

安装步骤

1. 克隆仓库 打开终端，执行以下命令获取最新代码和数据：

   git clone https://github.com/allenai/natural-instructions-expansion.git
   cd natural-instructions-expansion
   

2. 验证环境（可选） 如果你计划贡献新任务或验证数据格式，可以运行官方提供的测试脚本。确保已安装 Python 依赖（通常只需标准库，若报错可尝试 pip install -r requirements.txt，如果存在该文件）：

   python src/test_all.py
   

   注：若只想测试特定范围的任务（例如任务 5 到 10），可运行：

   python src/test_all.py --task 5 10
   

基本使用

Natural Instructions 的核心是位于 tasks/ 目录下的 JSON 文件。每个文件代表一个特定的 NLP 任务，包含任务定义、正负示例及大量实例。

1. 浏览数据结构

你可以直接使用文本编辑器或 Python 读取任务文件。以下是一个简单的 Python 示例，展示如何加载并查看第一个任务的定义和样本：

import json
import os

# 定位到 tasks 目录
tasks_dir = "tasks"
# 获取第一个任务文件 (假设文件名排序后第一个)
task_files = sorted([f for f in os.listdir(tasks_dir) if f.endswith('.json')])
first_task_file = os.path.join(tasks_dir, task_files[0])

with open(first_task_file, 'r', encoding='utf-8') as f:
    task_data = json.load(f)

# 查看任务定义
print("任务定义:", task_data["Definition"][0])
print("输入语言:", task_data["Input_language"][0])
print("输出语言:", task_data["Output_language"][0])

# 查看一个正样本示例
if task_data["Positive Examples"]:
    example = task_data["Positive Examples"][0]
    print("\n--- 正样本示例 ---")
    print("输入:", example["input"])
    print("输出:", example["output"])
    print("解释:", example.get("explanation", "无"))

# 查看实际数据实例 (Instances)
if task_data["Instances"]:
    instance = task_data["Instances"][0]
    print("\n--- 实际数据实例 ---")
    print("ID:", instance["id"])
    print("输入:", instance["input"])
    print("输出:", instance["output"])

2. 数据字段说明

每个任务 JSON 文件遵循以下核心结构：

• Definition: 任务的自然人语言描述（即 Prompt 指令）。
• Positive Examples / Negative Examples: 用于演示正确和错误行为的示例。
• Instances: 实际用于训练或评估的输入/输出对列表。
• Categories / Domains: 任务所属的类别和领域。

3. 使用官方模型 (进阶)

如果你想直接使用基于此数据训练的模型（Tk-Instruct），可以通过 Hugging Face 加载：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# 加载模型和分词器 (以 tk-instruct-3b-def-pos 为例)
model_name = "yizhongw/tk-instruct-3b-def-pos"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# 构建输入 (指令 + 输入)
instruction = "Given a tweet, classify it into one of 4 categories: Positive, Negative, Neutral, or Mixed."
input_text = "I thought the Spiderman animation was good, but the movie disappointed me."
prompt = f"{instruction}\n{input_text}"

# 推理
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(result)

注意: 数据中的实例（Instances）版权遵循原始数据集的许可证，具体信息可在每个任务文件的 Instance License 字段中查阅。其他元数据遵循 Apache-2.0 协议。