轻松以人类的方式对复杂文档进行分块。

文档分块是一项具有挑战性的任务，它是任何 RAG 系统的基础。高质量的结果对于成功的 AI 应用至关重要，然而大多数开源库在处理复杂文档方面能力有限。

Open Parse 旨在填补这一空白，提供一个灵活且易于使用的库，能够直观地识别文档布局并有效地对其进行分块。

这与其他布局解析器有何不同？

✂️ 文本分割

文本分割会将文件转换为纯文本，并将其切分成片段。

• 您将无法轻松地将分块内容叠加到原始 PDF 上。
• 您会忽略文件的潜在语义结构——标题、章节、项目符号等都包含有价值的信息。
• 不支持表格、图片或 Markdown 格式。

🤖 基于机器学习的布局解析器

存在一些优秀的库，例如 layout-parser。

• 虽然它们可以识别文本块、图片和表格等各种元素，但并未针对有效组织相关内容而设计。
• 它们严格专注于布局解析——您还需要额外的模型来从图片中提取 Markdown、解析表格、分组节点等。
• 我们发现，在许多文档上，这些工具的性能并不理想，同时计算开销也较大。

💼 商业解决方案

• 通常定价约为每 1,000 页 10 美元。请参阅 这里、这里 和 这里。
• 需要与供应商共享您的数据。

主要特点

• 🔍 基于视觉分析： Open-Parse 通过视觉方式分析文档，生成更优质的 LLM 输入，超越了简单的文本分割方法。

• ✍️ 支持 Markdown： 提供基础的 Markdown 支持，可解析标题、加粗和斜体等格式。

• 📊 高精度表格支持： 将表格提取为整洁的 Markdown 格式，其准确性远超传统工具。

  示例

  以下示例使用 unitable 进行解析。
  

  
  

  
  

• 🛠️ 可扩展： 轻松实现您自己的后处理步骤。

• 💡 直观易用： 提供出色的编辑器支持，处处有代码补全，减少调试时间。

• 🎯 简单便捷： 设计简洁，易于使用和学习，无需花费大量时间阅读文档。

示例

基本示例

import openparse

basic_doc_path = "./sample-docs/mobile-home-manual.pdf"
parser = openparse.DocumentParser()
parsed_basic_doc = parser.parse(basic_doc_path)

for node in parsed_basic_doc.nodes:
    print(node)

📓 试用示例笔记本 点此

语义处理示例

文档分块的核心在于将语义相似的节点归为一组。通过为每个节点嵌入文本向量，我们可以根据它们的相似性进行聚类。

from openparse import processing, DocumentParser

semantic_pipeline = processing.SemanticIngestionPipeline(
    openai_api_key=OPEN_AI_KEY,
    model="text-embedding-3-large",
    min_tokens=64,
    max_tokens=1024,
)
parser = DocumentParser(
    processing_pipeline=semantic_pipeline,
)
parsed_content = parser.parse(basic_doc_path)

📓 示例笔记本 点此

序列化结果

底层使用 Pydantic，因此您可以使用以下方式序列化结果：

parsed_content.dict()

# 或者转换为合法的 JSON 字典
parsed_content.json()

系统要求

Python 3.8+

处理 PDF 文件：

• pdfminer.six 完全开源。

提取表格：

• PyMuPDF 具备一定的表格检测功能。请参阅其 许可证。
• Table Transformer 是一种基于深度学习的方法。
• unitable 是另一种基于 Transformer 的方法，拥有最先进的性能。

安装

1. 核心库

pip install openparse

启用 OCR 支持：

PyMuPDF 已经包含了支持 OCR 功能的所有逻辑。不过，它还需要 Tesseract 的语言支持数据，因此仍然需要安装 Tesseract-OCR。

语言支持文件夹的位置必须通过将路径存储在环境变量 TESSDATA_PREFIX 中，或者作为参数传递给相关函数来指定。

为了使 OCR 功能正常工作，请确保完成以下检查清单：

1. 安装 Tesseract。

2. 找到 Tesseract 的语言支持文件夹。通常情况下，其位置如下：

   • Windows: C:/Program Files/Tesseract-OCR/tessdata

   • Unix 系统: /usr/share/tesseract-ocr/5/tessdata

   • macOS（通过 Homebrew 安装）：

     • 标准安装: /opt/homebrew/share/tessdata
     • 版本特定安装: /opt/homebrew/Cellar/tesseract/<version>/share/tessdata/

3. 设置环境变量 TESSDATA_PREFIX

   • Windows: setx TESSDATA_PREFIX "C:/Program Files/Tesseract-OCR/tessdata"

   • Unix 系统: declare -x TESSDATA_PREFIX=/usr/share/tesseract-ocr/5/tessdata

   • macOS（通过 Homebrew 安装）: export TESSDATA_PREFIX=$(brew --prefix tesseract)/share/tessdata

注意： 在 Windows 系统上，这必须在 Python 外部进行——即在启动脚本之前。仅修改 os.environ 是无效的！

2. ML 表格检测（可选）

该仓库提供了一个可选功能，可以使用多种深度学习模型解析表格内容。

pip install "openparse[ml]"

然后下载模型权重：

openparse-download

你可以使用以下代码运行解析：

parser = openparse.DocumentParser(
        table_args={
            "parsing_algorithm": "unitable",
            "min_table_confidence": 0.8,
        },
)
parsed_nodes = parser.parse(pdf_path)

请注意，我们目前使用 table-transformers 进行所有表格检测，并且发现其性能并不理想。这会对 unitable 的下游结果产生负面影响。如果你知道更好的模型，请提交一个 Issue；unitable 团队也提到他们可能会很快加入这一功能。

烹饪书

https://github.com/Filimoa/open-parse/tree/main/src/cookbooks

文档

https://filimoa.github.io/open-parse/

赞助商

你的用例是否需要特别的支持？请 联系我。

Open-Parse 快速上手指南

Open-Parse 是一个专为 RAG（检索增强生成）系统设计的文档解析库。它能够像人类一样通过视觉分析文档布局，将复杂文档（如 PDF）智能切分为具有语义结构的块，并支持高精度提取表格为 Markdown 格式。

环境准备

• 操作系统：Windows, macOS, Linux
• Python 版本：3.8 及以上
• 核心依赖：
  • pdfminer.six：用于开源 PDF 解析（安装主库时自动包含）。
  • PyMuPDF：用于部分表格检测功能。
• 可选依赖（OCR 支持）：
  • 若需启用 OCR 功能，需单独安装 Tesseract-OCR 引擎及其语言包。
  • 配置环境变量：安装 Tesseract 后，需设置 TESSDATA_PREFIX 指向语言包目录。
    • Windows: setx TESSDATA_PREFIX "C:/Program Files/Tesseract-OCR/tessdata" (需在运行 Python 脚本前在命令行执行)
    • macOS (Homebrew): export TESSDATA_PREFIX=$(brew --prefix tesseract)/share/tessdata
    • Linux: declare -x TESSDATA_PREFIX=/usr/share/tesseract-ocr/5/tessdata

安装步骤

1. 安装核心库

使用 pip 安装基础版本，包含基本的文档解析和表格提取功能。

pip install openparse

提示：国内用户如遇下载缓慢，可添加清华或阿里镜像源： pip install openparse -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装机器学习增强版（可选）

若需使用基于深度学习的高精度表格解析（如 unitable 模型），请安装额外依赖并下载模型权重。

pip install "openparse[ml]"
openparse-download

基本使用

基础文档解析

以下示例展示如何加载 PDF 文档并将其解析为带有语义结构的节点列表。

import openparse

basic_doc_path = "./sample-docs/mobile-home-manual.pdf"
parser = openparse.DocumentParser()
parsed_basic_doc = parser.parse(basic_doc_path)

for node in parsed_basic_doc.nodes:
    print(node)

高级用法：语义分组与表格提取

语义处理流水线 结合 Embedding 模型，将语义相似的文本块自动聚类分组，优化 RAG 切片效果。

from openparse import processing, DocumentParser

semantic_pipeline = processing.SemanticIngestionPipeline(
    openai_api_key=OPEN_AI_KEY,
    model="text-embedding-3-large",
    min_tokens=64,
    max_tokens=1024,
)
parser = DocumentParser(
    processing_pipeline=semantic_pipeline,
)
parsed_content = parser.parse(basic_doc_path)

高精度表格解析 启用 unitable 算法以获取更准确的表格 Markdown 输出。

parser = openparse.DocumentParser(
        table_args={
            "parsing_algorithm": "unitable",
            "min_table_confidence": 0.8,
        },
)
parsed_nodes = parser.parse(pdf_path)

结果序列化

解析结果基于 Pydantic 构建，可直接转换为字典或 JSON 字符串。

# 转换为字典
parsed_content.dict()

# 转换为 JSON 字符串
parsed_content.json()