Prodigy 食谱

本仓库包含一系列用于 Prodigy 的食谱，Prodigy 是我们一款可脚本化的文本、图像及其他数据的标注工具。要使用此仓库，您需要拥有 Prodigy 的许可证——更多详情请参阅此页面。如有任何问题或错误报告，请使用Prodigy 支持论坛。如果您发现了错误或漏洞，欢迎提交一个pull request。

✨ 重要提示： 本仓库中的食谱与 Prodigy 自带的内置食谱并不完全一致。这些食谱经过编辑，加入了注释和更多信息，并且部分食谱也进行了简化，以便于理解其工作原理，同时也可以作为自定义食谱的基础。

📋 使用方法

安装好 Prodigy 后，您应该能够在终端中直接运行 prodigy 命令，或者通过 python -m 来执行：

python -m prodigy

prodigy 命令会列出所有内置的食谱。若要使用自定义的食谱脚本，只需通过 -F 参数指定文件路径即可：

python -m prodigy ner.teach your_dataset en_core_web_sm ./data.jsonl --label PERSON -F prodigy-recipes/ner/ner_teach.py

您还可以使用 --help 标志来查看某个食谱的可用参数概览，例如 prodigy ner.teach -F ner_teach_.py --help。

一些尝试

您可以编辑食谱脚本中的代码，以自定义 Prodigy 的行为。

• 尝试将 prefer_uncertain() 替换为 prefer_high_scores()。
• 尝试编写一个自定义排序函数。该函数只需要是一个生成器，接收 (score, example) 元组序列，并产出 example 字典序列。
• 尝试添加一个过滤器，从流中移除某些问题。例如，编写一个只提问实体长度为两个词的问题的过滤器。
• 尝试自定义 update() 回调函数，加入额外的日志记录或其他功能。

🍳 食谱

命名实体识别

食谱	描述
ner.teach	在模型参与循环的情况下，收集可用于命名实体识别模型的最佳训练数据。根据您的标注，Prodigy 会决定接下来提出哪些问题。
ner.match	提供与给定模式文件匹配的短语建议，并标记它们是否为您感兴趣的实体示例。模式文件可以包含精确字符串或适用于 spaCy Matcher 的标记模式。
ner.manual	手动按标记进行实体标注。仅需分词器，无需实体识别器，也不进行主动学习。可选地，根据模式预先高亮显示实体范围。
ner.fuzzy_manual	类似于 ner.manual，但使用来自 spaczz 库的 FuzzyMatcher 来预先高亮候选实体。
ner.manual.bert	使用 BERT 的 WordPiece 分词器，高效地进行面向 Transformer 模型的手动 NER 标注。
ner.correct	通过手动纠正模型预测来创建黄金标准数据。此食谱以前称为 ner.make_gold。
ner.silver-to-gold	获取一个包含二元接受/拒绝标注的现有“银”数据集，合并这些标注以在标注所定义的约束条件下找到最佳分析结果，并手动编辑以创建一个完美且完整的“黄金”数据集。
ner.eval_ab	通过比较两个 NER 模型的预测结果，并从标注流中构建评估集，从而对这两个模型进行评估。
ner_fuzzy_manual	使用来自 spaczz fuzzy 匹配器的建议预先高亮显示后，手动按标记标注实体。

文本分类

配方	描述
textcat.manual	手动标注适用于文本的类别。支持单标签和多标签的标注任务。多标签可选择标记为互斥。
textcat.correct	手动校正 textcat 模型的预测结果。高于接受阈值的预测结果将被自动预选（默认为 0.5）。Prodigy 会根据组件配置推断这些类别是否应互斥。
textcat.teach	在模型参与循环的过程中，收集用于文本分类模型的最佳训练数据。Prodigy 将根据您的标注决定接下来提出哪些问题。
textcat.custom-model	使用主动学习驱动的文本分类，并结合自定义模型。为了演示其工作原理，此示例配方使用了一个简单的虚拟模型，该模型“预测”随机分数。不过，您可以将其替换为您选择的任何模型，例如使用 PyTorch、TensorFlow 或 scikit-learn 实现的文本分类模型。

术语

配方	描述
terms.teach	利用词向量和种子术语来构建术语表。Prodigy 会基于词向量建议相似术语，并相应地更新目标向量。

图像

配方	描述
image.manual	手动标注图像，可在图像上绘制矩形边界框或多边形形状。
image-caption	为图像添加说明文字，预先使用 PyTorch 实现的图像描述模型填充说明，并进行错误分析。
image.frozenmodel	使用 TensorFlow 的目标检测 API 进行模型参与循环的手动标注。
image.servingmodel	使用 TensorFlow 的目标检测 API 进行模型参与循环的手动标注。此处采用 TensorFlow Serving
image.trainmodel	使用 TensorFlow 的目标检测 API 进行模型参与循环的手动标注与训练。

其他

配方	描述
mark	点击浏览预先准备好的示例，不涉及模型参与循环。
choice	使用多项选择选项标注数据。标注后的示例将包含额外属性 "accept": []，用于映射所选选项的 ID。
question_answering	使用自定义 HTML 界面标注问答对。

社区配方

配方	作者	描述
phrases.teach	@kabirkhan	现已成为 sense2vec 的一部分。
phrases.to-patterns	@kabirkhan	现已成为 sense2vec 的一部分。
records.link	@kabirkhan	使用 dedupe 库链接多个数据集中的记录。

教程配方

这些配方曾在我们的某个教程中出现过。

配方	描述
span-and-textcat	同时进行 spancat 和 textcat 标注。非常适合聊天机器人！
terms.from-ner	从之前的 NER 标注中生成术语。
audio-with-transcript	处理手动音频标注以及转录任务。
progress	展示一个用于跟踪标注速度的 update 回调函数。

📚 示例数据集和模式

为了让大家更轻松地入门，我们还提供了一些 example-datasets，既有原始数据，也有使用 Prodigy 创建的标注数据。如需查看适用于 ner.teach 或 ner.match 等配方的基于标记的匹配模式示例，请参阅 example-patterns 目录。

Prodigy Recipes 快速上手指南

prodigy-recipes 是 Explosion AI 官方提供的开源仓库，包含了一系列用于 Prodigy 标注工具的脚本示例（Recipes）。这些脚本涵盖了命名实体识别（NER）、文本分类、术语提取、图像标注等多种任务，旨在帮助开发者理解 Prodigy 的工作原理并作为自定义标注流程的基础。

注意：使用本仓库中的脚本需要拥有有效的 Prodigy 商业许可证。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)。
• Python 版本：Python 3.6 或更高版本。
• 核心依赖：
  • Prodigy：已安装并激活许可证。
  • spaCy：大多数文本类脚本依赖 spaCy 进行分词和模式匹配。
  • 其他库：部分高级脚本（如图像标注或模糊匹配）可能需要 tensorflow, pytorch, spaczz 等库，请根据具体使用的脚本按需安装。

建议先安装基础 NLP 库和中文语言模型（如需处理中文数据）：

pip install spacy
python -m spacy download zh_core_web_sm

安装步骤

1. 克隆仓库 将 prodigy-recipes 仓库克隆到本地开发环境：

   git clone https://github.com/explosion/prodigy-recipes.git
   cd prodigy-recipes
   

2. 验证 Prodigy 安装 确保终端中可以运行 prodigy 命令：

   python -m prodigy --version
   

基本使用

Prodigy 的核心用法是通过命令行调用具体的 Recipe 脚本。你可以通过 -F 参数指定本仓库中脚本的路径来运行自定义流程。

通用命令格式

python -m prodigy <recipe_name> <dataset_name> <source_data> [arguments] -F <path_to_recipe_script>

最简单的使用示例：手动命名实体识别 (NER)

假设你有一个名为 data.jsonl 的数据文件，想要手动标注其中的人名（PERSON）实体，并将结果保存到 my_ner_dataset 数据集中。

你可以使用仓库中简化的 ner.manual 脚本：

python -m prodigy ner.manual my_ner_dataset zh_core_web_sm ./data.jsonl --label PERSON -F prodigy-recipes/ner/ner_manual.py

命令解析：

• ner.manual: 调用的 recipe 名称（在脚本内部定义）。
• my_ner_dataset: 输出数据集的名称。
• zh_core_web_sm: 使用的 spaCy 语言模型（替换为 en_core_web_sm 可处理英文）。
• ./data.jsonl: 输入数据文件路径。
• --label PERSON: 指定要标注的实体标签。
• -F prodigy-recipes/ner/ner_manual.py: 指向本仓库中具体的脚本文件路径。

查看帮助信息

对于任何脚本，你都可以添加 --help flag 来查看该特定 Recipe 支持的参数：

python -m prodigy ner.manual -F prodigy-recipes/ner/ner_manual.py --help

进阶提示

• 主动学习：尝试使用 ner.teach 或 textcat.teach 脚本，它们会将模型纳入循环（model-in-the-loop），根据你的标注动态调整下一个提问样本。
• 自定义逻辑：直接编辑 .py 脚本文件，修改 prefer_uncertain() 排序策略或添加自定义过滤器，以适应特定的业务需求。