spacy-llm
使用大语言模型进行结构化自然语言处理

本包将大型语言模型（LLMs）集成到 spaCy 中，提供模块化的系统，用于快速原型设计和提示工程，并将非结构化的响应转化为适用于各种 NLP 任务的稳健输出，且无需训练数据。

功能亮点

• 可序列化的 llm 组件，可将提示整合到你的 spaCy 管道中
• 模块化函数，用于定义 任务（提示与解析）和 模型
• 支持以下 API：
  • OpenAI
  • Cohere
  • Anthropic
  • Google PaLM
  • Microsoft Azure AI
• 支持托管在 Hugging Face 🤗 上的开源 LLM：
  • Falcon
  • Dolly
  • Llama 2
  • OpenLLaMA
  • StableLM
  • Mistral
• 与 LangChain 🦜️🔗 集成——所有 langchain 模型和功能均可在 spacy-llm 中使用
• 开箱即用的任务：
  • 命名实体识别
  • 文本分类
  • 词形还原
  • 关系抽取
  • 情感分析
  • 跨度分类
  • 摘要生成
  • 实体链接
  • 翻译
  • 原始提示执行，以获得最大灵活性
  • 即将推出：
    • 语义角色标注
• 通过 spaCy 的注册机制，可轻松实现自定义函数，用于自定义提示、解析及模型集成。示例请参见 这里。
• Map-reduce 方法，用于拆分超出 LLM 上下文窗口的提示，并将结果重新合并

🧠 动机

大型语言模型（LLMs）具备强大的自然语言理解能力。只需少量（有时甚至无需）示例，即可通过提示让 LLM 执行自定义的 NLP 任务，例如文本分类、命名实体识别、共指消解、信息抽取等。

spaCy 是一个成熟的库，可用于构建需要以多种方式处理语言的系统。spaCy 的内置组件通常基于监督学习或规则驱动的方法。

对于原型设计而言，监督学习远不如 LLM 提示有效；但对于生产环境中的许多任务来说，监督学习则更为优越。能够在单个 GPU 上流畅运行的 Transformer 模型功能强大，如果你的任务有明确的输出要求，它往往是更好的选择。只需几百到几千个标注样本，你就可以训练出一个能够精确完成该任务的模型。监督学习在效率、可靠性和可控性方面都更胜一筹，准确率通常也高于 LLM 提示。

spacy-llm 让你能够兼得两者的优点。你可以快速初始化一个由 LLM 提示驱动的组件组成的管道，并自由地混合其他方法驱动的组件。随着项目的推进，你可以根据需求逐步替换部分或全部 LLM 驱动的组件。

当然，你的系统中也可能存在完全适合使用 LLM 的组件。如果你希望系统能够以微妙的方式综合多份文档的信息，并为你生成一份细致入微的摘要，那么使用更强大的模型无疑是更好的选择。然而，即使你的生产系统在某些任务上需要使用 LLM，也不意味着所有任务都需要 LLM。也许你可以使用一个廉价的文本分类模型来帮助你找到需要摘要的文本，或者添加一个基于规则的系统来校验摘要的合理性。这些前后处理任务，使用成熟且经过深思熟虑的库会更加容易，而 spaCy 正是这样的工具。

⏳ 安装

未来版本的 spaCy 将自动安装 spacy-llm。目前，你可以在已安装 spacy 的同一虚拟环境中运行以下命令：

python -m pip install spacy-llm

⚠️ 本包仍处于实验阶段，接口的更改可能会导致小版本更新时出现不兼容的情况。

🐍 快速入门

让我们使用 OpenAI 的 GPT 模型来进行文本分类。

从 openai.com 创建一个新的 API 密钥，或获取现有的密钥，并确保将其设置为环境变量。更多背景信息，请参阅关于设置 API 密钥 的文档。

在 Python 代码中

为了快速实验，从 0.5.0 版本开始，你可以运行如下代码：

import spacy

nlp = spacy.blank("en")
llm = nlp.add_pipe("llm_textcat")
llm.add_label("INSULT")
llm.add_label("COMPLIMENT")
doc = nlp("You look gorgeous!")
print(doc.cats)
# {"COMPLIMENT": 1.0, "INSULT": 0.0}

通过使用 llm_textcat 工厂，将采用最新版本的内置 textcat 任务，以及 OpenAI 默认的 GPT-3.5 模型。

使用配置文件

为了控制 llm 管道的各种参数，我们可以使用 spaCy 的配置系统。 首先，创建一个名为 config.cfg 的配置文件，至少包含以下内容（或参阅完整的示例 这里)：

[nlp]
lang = "en"
pipeline = ["llm"]

[components]

[components.llm]
factory = "llm"

[components.llm.task]
@llm_tasks = "spacy.TextCat.v3"
labels = ["COMPLIMENT", "INSULT"]

[components.llm.model]
@llm_models = "spacy.GPT-4.v2"

然后运行：

from spacy_llm.util import assemble

nlp = assemble("config.cfg")
doc = nlp("你看起来真漂亮！")
print(doc.cats)
# {"COMPLIMENT": 1.0, "INSULT": 0.0}

就是这样！还有许多其他功能——提示模板化、更多任务、日志记录等。有关如何使用这些功能的更多信息，请访问 https://spacy.io/api/large-language-models。

🚀 持续工作

在不久的将来，我们将

• 添加更多示例任务
• 支持更广泛的模型
• 提供更多使用案例和教程

欢迎随时提交 Pull Request！

📝️ 报告问题

如果您对 spacy-llm 的使用有任何疑问，或者在试用后希望向我们提供反馈，请使用 讨论区。 Bug 报告可以在 spaCy 问题跟踪器 上提交。感谢您的支持！

迁移指南

请参阅我们的 迁移指南。

spacy-llm 快速上手指南

spacy-llm 是一个将大型语言模型（LLM）集成到 spaCy 中的工具包。它允许你通过提示词（Prompting）快速构建结构化 NLP 管道，无需训练数据即可执行命名实体识别、文本分类、情感分析等任务。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• Python 版本：建议 Python 3.8 或更高版本。
• 前置依赖：必须先安装 spacy 核心库。
• API Key：如果你使用云端模型（如 OpenAI, Cohere, Anthropic 等），需要提前注册账号并获取 API Key，并将其设置为环境变量（例如 OPENAI_API_KEY）。
  • 注：也支持本地部署的开源模型（如 Llama 2, Mistral 等），需自行配置相应的推理后端。

安装步骤

请在已安装 spacy 的虚拟环境中执行以下命令安装 spacy-llm：

python -m pip install spacy-llm

⚠️ 注意：该包目前处于实验阶段，小版本更新可能会包含破坏性接口变更。

基本使用

以下是两种最常用的快速启动方式：直接在 Python 代码中调用或使用配置文件。

方式一：Python 代码快速实验

从 0.5.0 版本开始，你可以直接使用内置工厂函数快速构建管道。以下示例使用 OpenAI 的 GPT 模型进行文本分类（默认为 GPT-3.5）：

import spacy

# 创建一个空的英文管道
nlp = spacy.blank("en")

# 添加 llm_textcat 组件，自动加载默认的文本分类任务和模型
llm = nlp.add_pipe("llm_textcat")

# 定义分类标签
llm.add_label("INSULT")
llm.add_label("COMPLIMENT")

# 处理文本
doc = nlp("You look gorgeous!")

# 输出结果
print(doc.cats)
# 预期输出: {"COMPLIMENT": 1.0, "INSULT": 0.0}

方式二：使用配置文件 (config.cfg)

对于更复杂的生产环境，建议使用 spaCy 的配置文件系统来精确控制模型参数和任务定义。

1. 创建名为 config.cfg 的文件，内容如下：

[nlp]
lang = "en"
pipeline = ["llm"]

[components]

[components.llm]
factory = "llm"

[components.llm.task]
@llm_tasks = "spacy.TextCat.v3"
labels = ["COMPLIMENT", "INSULT"]

[components.llm.model]
@llm_models = "spacy.GPT-4.v2"

2. 在 Python 中加载配置并运行：

from spacy_llm.util import assemble

# 从配置文件组装管道
nlp = assemble("config.cfg")

# 处理文本
doc = nlp("You look gorgeous!")

# 输出结果
print(doc.cats)
# 预期输出: {"COMPLIMENT": 1.0, "INSULT": 0.0}

通过以上步骤，你即可利用 LLM 的强大能力快速原型化 NLP 任务。更多高级功能（如自定义 Prompt 模板、支持 LangChain、Map-Reduce 长文本处理等）请参考官方文档。