LLM 顺丰

LLM 顺丰 提供战略级 API，以加速大型语言模型（LLM）用例的落地。

最新动态

[!重要] llmsherpa 后端服务现已完全开源，采用 Apache 2.0 许可证。详情请参见 https://github.com/nlmatics/nlm-ingestor

• 您现在可以使用 Docker 镜像运行自己的服务器！
• 支持多种文件格式：DOCX、PPTX、HTML、TXT、XML
• 内置 OCR 支持
• 块现在带有坐标信息——您可以使用诸如章节等块的 bbox 属性
• 新增缩进解析器，更好地将文档中的所有标题与其对应的层级对齐
• 免费服务器和付费服务器未更新至最新代码，建议用户按照 nlm-ingestor 中的说明自行部署服务器

LayoutPDFReader

大多数 PDF 转文本解析器无法提供布局信息。通常情况下，即使是句子也会被随意的换行符分割，导致很难找到段落边界。这给在为 LLM 应用（如检索增强生成 RAG）索引或向量化 PDF 文件时，进行分块以及将长篇上下文信息（如章节标题）添加到片段中带来了诸多挑战。

LayoutPDFReader 通过解析 PDF 并提取层次化的布局信息来解决这一问题，例如：

1. 章节和子章节及其层级。
2. 段落——合并多行内容。
3. 章节与段落之间的链接。
4. 表格及其所在的章节。
5. 列表及嵌套列表。
6. 连接跨页的内容。
7. 去除重复的页眉和页脚。
8. 去除水印。

借助 LayoutPDFReader，开发者可以找到最适合向量化的文本块，从而解决 LLM 上下文窗口有限的问题。

您可以在 Google Colab 中直接体验该库 这里

这里有一篇 文章 解释了这个问题以及我们的解决方案。

LlamaIndex 的一篇 博客 也解释了智能分块的必要性。

API 参考文档: https://llmsherpa.readthedocs.io/

如何与 Google Gemini Pro 配合使用 如何与 Cohere Embed3 配合使用

重要提示

• LayoutPDFReader 已在各种类型的 PDF 上进行了测试。尽管如此，要确保每一份 PDF 都能被正确解析仍然具有挑战性。
• 目前不支持 OCR。仅支持带有文本层的 PDF。

[!注意] LLMSherpa 使用一个免费且开放的 API 服务器。该服务器不会存储您的 PDF 文件，仅在解析过程中进行临时存储。此服务器将很快停止服务。 请按照 https://github.com/nlmatics/nlm-ingestor 中的说明，自行托管私有服务器。

[!重要] 在 Microsoft Azure Marketplace 上提供的私有版本也将很快停止服务。请按照 https://github.com/nlmatics/nlm-ingestor 中的说明迁移到您自己托管的实例。

安装

pip install llmsherpa

读取 PDF 文件

使用 LayoutPDFReader 的第一步是提供一个 URL 或文件路径，然后获取一个文档对象。

from llmsherpa.readers import LayoutPDFReader

llmsherpa_api_url = "https://readers.llmsherpa.com/api/document/developer/parseDocument?renderFormat=all"
pdf_url = "https://arxiv.org/pdf/1910.13461.pdf" # 也可以使用文件路径，例如 /home/downloads/xyz.pdf
pdf_reader = LayoutPDFReader(llmsherpa_api_url)
doc = pdf_reader.read_pdf(pdf_url)

安装 LlamaIndex

在下面的示例中，我们将使用 LlamaIndex 来简化操作。如果您尚未安装该库，请先安装。

pip install llama-index

设置 OpenAI

import openai
openai.api_key = #<插入 API 密钥>

基于智能分块的向量搜索与检索增强生成

LayoutPDFReader 会根据文档结构进行智能分块，将相关文本保持在一起：

• 所有列表项及其前面的段落会放在一起。
• 表格中的内容会被分块在一起。
• 章节标题和嵌套章节标题中的上下文信息也会被包含进去。

以下代码从 LayoutPDFReader 的文档块中创建了一个 LlamaIndex 查询引擎：

from llama_index.core import Document
from llama_index.core import VectorStoreIndex

index = VectorStoreIndex([])
for chunk in doc.chunks():
    index.insert(Document(text=chunk.to_context_text(), extra_info={}))
query_engine = index.as_query_engine()

让我们运行一个查询：

response = query_engine.query("列出所有与 BART 合作的任务")
print(response)

我们得到如下响应：

BART 在文本生成、理解任务、摘要式对话、问答和摘要任务方面表现良好。

再尝试一个需要从表格中获取答案的查询：

response = query_engine.query("BART 在 SQuAD 上的表现分数是多少")
print(response)

以下是我们的回答：

BART 在 SQuAD 上的表现分数为 EM 88.8，F1 94.6。

使用提示总结某一章节

LayoutPDFReader 提供了强大的方法，可以从大型文档中选择特定的章节和子章节，并利用 LLM 从该章节中提取见解。

以下代码查找文档中的“微调”章节：

from IPython.core.display import display, HTML
selected_section = None
# 根据标题在文档中查找某个章节
for section in doc.sections():
    if section.title == '3 微调 BART':
        selected_section = section
        break
# 使用 include_children=True 和 recurse=True 来完全展开该章节。

# include_children 只返回子级的一层，而 recurse 会遍历所有后代
HTML(section.to_html(include_children=True, recurse=True))

运行上述代码后，生成以下 HTML 输出：

3 微调 BART

BART 产生的表示可以用于下游任务的多种方式。

3.1 序列分类任务

对于序列分类任务，相同的输入同时送入编码器和解码器，解码器最后一个标记的最终隐藏状态会被送入一个新的多分类线性分类器。\n这种方法与 BERT 中的 CLS 标记类似；然而，我们会在输入末尾添加一个额外的标记，以便解码器中的该标记能够关注到整个输入的解码器状态（图 3a）。

3.2 标记分类任务

对于标记分类任务，例如 SQuAD 的答案端点分类，我们将完整文档送入编码器和解码器，并使用解码器的顶层隐藏状态作为每个词的表示。\n这个表示用于对标记进行分类。

3.3 序列生成任务

由于 BART 具有自回归解码器，它可以被直接微调用于序列生成任务，例如摘要式问答和文本摘要。\n在这两类任务中，信息都是从输入中复制并经过处理的，这与去噪预训练目标密切相关。\n在这里，编码器的输入是输入序列，而解码器则以自回归方式生成输出。

3.4 机器翻译

我们还探索使用 BART 来改进用于翻译成英语的机器翻译解码器。\n先前的研究 Edunov 等人（2019）表明，通过引入预训练的编码器可以提升模型性能，但在解码器中使用预训练语言模型所带来的收益却相对有限。\n我们证明，可以通过添加一组从双语平行语料中学习的新编码器参数，将整个 BART 模型（包括编码器和解码器）用作单一的预训练解码器来进行机器翻译（见图 3b）。

更具体地说，我们将 BART 的编码器嵌入层替换为一个新的随机初始化编码器。\n该模型以端到端的方式进行训练，从而让新的编码器学会将外语词汇映射为 BART 能够去噪并转换成英语的输入形式。\n新编码器可以使用与原始 BART 模型不同的词汇表。

我们分两步训练源端编码器，在每一步中都基于 BART 模型输出的交叉熵损失进行反向传播。\n在第一步中，我们冻结了 BART 的大部分参数，只更新随机初始化的源端编码器、BART 的位置嵌入以及 BART 编码器第一层的自注意力输入投影矩阵。\n在第二步中，我们对所有模型参数进行少量迭代的训练。

现在，让我们使用提示创建这段文字的自定义摘要：

from llama_index.llms import OpenAI
context = selected_section.to_html(include_children=True, recurse=True)
question = "列出文中讨论的所有任务，并为每项任务写一句话简介"
resp = OpenAI().complete(f"阅读这段文字并回答问题：{question}：\n{context}")
print(resp.text)

上述代码生成如下输出：

文中讨论的任务：

1. 序列分类任务：将相同的输入送入编码器和解码器，利用解码器最后一个标记的最终隐藏状态进行多分类线性分类。
2. 标记分类任务：将完整文档送入编码器和解码器，使用解码器的顶层隐藏状态作为每个词的表示来进行标记分类。
3. 序列生成任务：BART 可以被微调用于摘要式问答和文本摘要等任务，其中编码器的输入是输入序列，解码器则以自回归方式生成输出。
4. 机器翻译：BART 可以通过引入预训练的编码器，并将整个 BART 模型用作单一的预训练解码器来改进机器翻译解码器。新编码器的参数是从双语平行语料中学习得到的。

使用提示分析表格

借助 LayoutPDFReader，您可以遍历文档中的所有表格，并利用大型语言模型的强大功能来分析表格。
让我们来看看本文档中的第6个表格。如果您使用的是笔记本，可以按如下方式显示该表格：

from IPython.core.display import display, HTML
HTML(doc.tables()[5].to_html())

输出的表格结构如下：

	SQuAD 1.1 EM/F1	SQuAD 2.0 EM/F1	MNLI m/mm	SST Acc	QQP Acc	QNLI Acc	STS-B Acc	RTE Acc	MRPC Acc	CoLA Mcc
BERT	84.1/90.9	79.0/81.8	86.6/-	93.2	91.3	92.3	90.0	70.4	88.0	60.6
UniLM	-/-	80.5/83.4	87.0/85.9	94.5	-	92.7	-	70.9	-	61.1
XLNet	89.0/94.5	86.1/88.8	89.8/-	95.6	91.8	93.9	91.8	83.8	89.2	63.6
RoBERTa	88.9/94.6	86.5/89.4	90.2/90.2	96.4	92.2	94.7	92.4	86.6	90.9	68.0
BART	88.8/94.6	86.1/89.2	89.9/90.1	96.6	92.5	94.9	91.2	87.0	90.4	62.8

现在我们来提出一个问题，以分析这个表格：

from llama_index.llms import OpenAI
context = doc.tables()[5].to_html()
resp = OpenAI().complete(f"阅读此表格并回答问题：哪个模型在 SQuAD 2.0 上表现最佳？\n{context}")
print(resp.text)

上述问题将产生以下输出：

在 SQuAD 2.0 上表现最佳的模型是 RoBERTa，其 EM/F1 得分为 86.5/89.4。

就是这样！LayoutPDFReader 还支持带有嵌套表头和表头行的表格。

以下是一个包含嵌套表头的示例：

from IPython.core.display import display, HTML
HTML(doc.tables()[6].to_html())

	CNN/DailyMail			XSum		-
	R1	R2	RL	R1	R2	RL
---	---	---	---	---	---	---
Lead-3	40.42	17.62	36.67	16.30	1.60	11.95
PTGEN (See 等, 2017)	36.44	15.66	33.42	29.70	9.21	23.24
PTGEN+COV (See 等, 2017)	39.53	17.28	36.38	28.10	8.02	21.72
UniLM	43.33	20.21	40.51	-	-	-
BERTSUMABS (Liu & Lapata, 2019)	41.72	19.39	38.76	38.76	16.33	31.15
BERTSUMEXTABS (Liu & Lapata, 2019)	42.13	19.60	39.18	38.81	16.50	31.27
BART	44.16	21.28	40.90	45.14	22.27	37.25

现在我们来提出一个有趣的问题：

from llama_index.llms import OpenAI
context = doc.tables()[6].to_html()
question = "请告诉我 BART 在不同数据集上的 R1 分数"
resp = OpenAI().complete(f"阅读此表格并回答问题：{question}：\n{context}")
print(resp.text)

我们得到如下答案：

BART 在不同数据集上的 R1 分数如下：

- 对于 CNN/DailyMail 数据集，BART 的 R1 分数为 44.16。
- 对于 XSum 数据集，BART 的 R1 分数为 45.14。

获取原始 JSON

要获取 llmsherpa 服务返回的完整 JSON 并进行其他处理，只需调用 json 属性即可：

doc.json

LLM Sherpa 快速上手指南

LLM Sherpa 提供了一套战略性的 API，旨在加速大语言模型（LLM）的应用开发。其核心组件 LayoutPDFReader 能够解析 PDF 文件的层级布局信息（如章节、段落、表格、列表等），解决传统解析器丢失结构信息的问题，非常适合用于构建检索增强生成（RAG）系统。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上版本
• 前置依赖：
  • pip 包管理工具
  • （可选）若需运行示例中的向量搜索功能，需准备 OpenAI API Key
• 网络环境：由于默认使用官方在线 API 服务解析 PDF，请确保网络可访问 https://readers.llmsherpa.com。
  • 注意：官方免费服务器即将停用，生产环境建议参考 nlm-ingestor 项目自行部署 Docker 服务。

安装步骤

使用 pip 直接安装核心库。国内用户若遇到下载缓慢，可指定清华或阿里镜像源。

# 标准安装
pip install llmsherpa

# 或使用国内镜像加速安装
pip install llmsherpa -i https://pypi.tuna.tsinghua.edu.cn/simple

若需运行下文中的 RAG 示例，还需安装 LlamaIndex：

pip install llama-index

基本使用

1. 解析 PDF 文件

LayoutPDFReader 可以将 PDF 转换为包含丰富结构信息的文档对象。以下是最基础的用法：

from llmsherpa.readers import LayoutPDFReader

# 配置 API 地址 (建议使用自托管地址替换下方的默认地址)
llmsherpa_api_url = "https://readers.llmsherpa.com/api/document/developer/parseDocument?renderFormat=all"

# 支持网络 URL 或本地文件路径 (例如：/home/downloads/xyz.pdf)
pdf_url = "https://arxiv.org/pdf/1910.13461.pdf"

# 初始化阅读器并解析
pdf_reader = LayoutPDFReader(llmsherpa_api_url)
doc = pdf_reader.read_pdf(pdf_url)

2. 构建智能分块的 RAG 索引

LayoutPDFReader 能根据文档结构（如将列表项、表格内容与其上下文关联）进行智能分块。结合 LlamaIndex 可快速构建问答引擎：

from llama_index.core import Document
from llama_index.core import VectorStoreIndex
import openai

# 配置 OpenAI Key
openai.api_key = "<Insert API Key>"

# 创建索引并插入智能分块后的内容
index = VectorStoreIndex([])
for chunk in doc.chunks():
    # to_context_text() 会自动包含章节标题等上下文信息
    index.insert(Document(text=chunk.to_context_text(), extra_info={}))

# 创建查询引擎
query_engine = index.as_query_engine()

# 执行查询
response = query_engine.query("list all the tasks that work with bart")
print(response)

3. 针对特定章节或表格进行分析

您可以直接提取特定章节或表格的 HTML 内容，发送给 LLM 进行深度分析或总结。

提取并总结特定章节：

from llama_index.llms import OpenAI

# 查找标题为 '3 Fine-tuning BART' 的章节
selected_section = None
for section in doc.sections():
    if section.title == '3 Fine-tuning BART':
        selected_section = section
        break

# 获取包含子章节的完整 HTML 内容
context = selected_section.to_html(include_children=True, recurse=True)

# 使用 LLM 进行总结
question = "list all the tasks discussed and one line about each task"
resp = OpenAI().complete(f"read this text and answer question: {question}:\n{context}")
print(resp.text)

分析表格数据：

# 获取文档中的第 6 个表格 (索引从 0 开始)
table_html = doc.tables()[5].to_html()

# 让 LLM 基于表格内容回答问题
resp = OpenAI().complete(f"read this table and answer question: which model has the best performance on squad 2.0:\n{table_html}")
print(resp.text)

重要提示：目前的公共 API 服务器仅支持带有文本层的 PDF（不支持纯图片 PDF 的 OCR 识别）。如需处理复杂文件或保障数据隐私，请务必部署私有服务。