👋 欢迎加入我们的 Discord 和 微信

概述

PDF-Extract-Kit 是一款功能强大的开源工具包，旨在高效地从复杂多样的 PDF 文档中提取高质量内容。其主要特点和优势如下：

• 集成领先的文档解析模型：整合了布局检测、公式检测、公式识别、OCR 等核心文档解析任务的最先进模型。
• 跨多种文档类型的高质量解析：通过多样化的文档标注数据进行微调，能够在各种复杂文档类型中提供高质量的解析结果。
• 模块化设计：灵活的模块化设计允许用户通过修改配置文件和少量代码轻松组合构建各类应用，使应用开发如同搭积木般简单。
• 全面的评估基准：提供了多样且全面的 PDF 评估基准，帮助用户根据评估结果选择最适合的模型。

立即体验 PDF-Extract-Kit，开启 PDF 文档的无限可能！

注意：PDF-Extract-Kit 专注于高质量的文档处理，是一个模型工具箱。
如果您希望提取高质量的文档内容（例如将 PDF 转换为 Markdown），请使用 MinerU，它结合了 PDF-Extract-Kit 的高质量预测结果，并进行了专门的工程优化，以实现更便捷高效的文档内容提取。
如果您是开发者，希望构建文档翻译、文档问答或文档助手等有趣的应用，那么使用 PDF-Extract-Kit 来搭建自己的项目将非常方便。特别是，我们将定期在 PDF-Extract-Kit/project 目录下更新一些有趣的应用案例，敬请关注！

我们欢迎社区的研究人员和工程师通过提交 PR 成为 PDF-Extract-Kit 项目的贡献者，共同贡献优秀的模型和创新的应用！

模型概览

任务类型	描述	模型
布局检测	定位文档中的不同元素：包括图片、表格、文本、标题、公式等	DocLayout-YOLO_ft, YOLO-v10_ft, LayoutLMv3_ft
公式检测	在文档中定位公式：包括行内公式和独立公式	YOLOv8_ft
公式识别	将公式图像识别为 LaTeX 源代码	UniMERNet
OCR	从图像中提取文本内容（包括位置和识别）	PaddleOCR
表格识别	将表格图像识别为对应的源代码（LaTeX/HTML/Markdown）	PaddleOCR+TableMaster, StructEqTable
阅读顺序	对分散的文本段落进行排序并拼接	即将推出！

新闻与更新

• 2024.10.22 🎉🎉🎉 我们很高兴地宣布，支持输出 LaTeX、HTML 和 Markdown 格式的表格识别模型 StructTable-InternVL2-1B 已正式集成到 PDF-Extract-Kit 1.0 中。使用方法请参阅 表格识别算法文档！
• 2024.10.17 🎉🎉🎉 我们很高兴地宣布，更加精准快速的布局检测模型 DocLayout-YOLO 已正式集成到 PDF-Extract-Kit 1.0 中。使用方法请参阅 布局检测算法文档！
• 2024.10.10 🎉🎉🎉 正式发布 PDF-Extract-Kit 1.0，采用模块化设计，使模型使用更加便捷灵活！旧版本请切换至 release/0.1.1 分支。
• 2024.08.01 🎉🎉🎉 增加了用于表格内容提取的 StructEqTable 模块，欢迎大家使用！
• 2024.07.01 🎉🎉🎉 我们发布了 PDF-Extract-Kit，这是一个包含 布局检测、公式检测、公式识别 和 OCR 的综合性高质量 PDF 内容提取工具包。

性能展示

目前许多开源的 SOTA 模型都是在学术数据集上训练和评估的，只能在单一类型的文档上取得高质量的结果。为了使模型能够在多样化的文档上稳定、鲁棒地达到高质量效果，我们构建了多样化的微调数据集，并对部分 SOTA 模型进行了微调，从而得到了实用的解析模型。以下是部分模型的可视化结果。

布局检测

我们利用多样化的 PDF 文档标注数据训练了鲁棒的 布局检测 模型。经过微调后的模型能够在论文、教科书、研究报告、财务报告等多种 PDF 文档中实现准确的提取，并且对模糊、水印等挑战具有很高的鲁棒性。下面的示意图展示了微调后的 LayoutLMv3 模型的推理结果：

公式检测

同样地，我们收集并标注了包含英汉双语公式的文档，对先进的公式检测模型进行了微调。下面的示意图展示了微调后的 YOLO 公式检测模型的推理结果：

公式识别

UniMERNet 是一种专为现实场景中多样化公式识别设计的算法。通过构建大规模训练数据和精心设计的标注结果，该算法在复杂长公式、手写公式以及含噪声的截图公式识别任务上均取得了优异的性能。

表格识别

StructEqTable 是一款高效的工具包，可将表格图像转换为 LaTeX、HTML 或 Markdown 格式。最新版本基于 InternVL2-1B 基础模型，进一步提升了中文识别准确率，并扩展了多格式输出选项。

如需查看模型的更多可视化效果及推理结果，请参阅 PDF-Extract-Kit 教程文档。

评估指标

即将推出！

使用指南

环境搭建

conda create -n pdf-extract-kit-1.0 python=3.10
conda activate pdf-extract-kit-1.0
pip install -r requirements.txt

注意： 如果您的设备不支持 GPU，请使用 requirements-cpu.txt 安装 CPU 版本的依赖，而非 requirements.txt。

注意： 目前 Doclayout-YOLO 仅支持从 PyPI 安装。若安装 DocLayout-YOLO 时出现错误，请尝试使用以下命令进行安装：pip3 install doclayout-yolo==0.0.2 --extra-index-url=https://pypi.org/simple。

模型下载

请参考 模型权重下载教程，下载所需的模型权重。注意：您可以选择下载所有权重，也可以只下载部分特定权重。详细操作步骤请参阅该教程。

示例运行

布局检测模型

python scripts/layout_detection.py --config=configs/layout_detection.yaml

布局检测模型支持 DocLayout-YOLO（默认模型）、YOLO-v10 和 LayoutLMv3。关于 YOLO-v10 和 LayoutLMv3 的更多信息，请参阅 布局检测算法。布局检测结果将保存在 outputs/layout_detection 文件夹中。

公式检测模型

python scripts/formula_detection.py --config=configs/formula_detection.yaml

公式检测结果将保存在 outputs/formula_detection 文件夹中。

OCR 模型

python scripts/ocr.py --config=configs/ocr.yaml

OCR 结果将保存在 outputs/ocr 文件夹中。

公式识别模型

python scripts/formula_recognition.py --config=configs/formula_recognition.yaml

公式识别结果将保存在 outputs/formula_recognition 文件夹中。

表格识别模型

python scripts/table_parsing.py --config configs/table_parsing.yaml

表格识别结果将保存在 outputs/table_parsing 文件夹中。

注意： 如需了解更多关于模型使用的详细信息，请参阅 PDF-Extract-Kit-1.0 教程。

本项目专注于从“多样化”文档中提取“高质量”内容，而不涉及将提取的内容重新构建成新文档，例如将 PDF 转换为 Markdown。如需此类功能，请参考我们的另一个 GitHub 项目：MinerU。

待办事项

• 表格解析：开发将表格图像转换为相应 LaTeX/Markdown 格式的源代码的功能。
• 化学方程式检测：实现化学方程式的自动检测。
• 化学方程式/图表识别：开发用于识别和解析化学方程式及图表的模型。
• 阅读顺序排序模型：构建用于确定文档中文本正确阅读顺序的模型。

PDF-Extract-Kit 致力于提供高质量的 PDF 内容提取能力。我们鼓励社区提出具体且有价值的需求，并欢迎所有人参与不断改进 PDF-Extract-Kit 工具，以推动研究与行业的发展。

许可证

本项目采用 AGPL-3.0 开源许可证。

由于本项目使用了 YOLO 代码和 PyMuPDF 进行文件处理，这些组件需要遵守 AGPL-3.0 许可证的要求。因此，为确保符合这些依赖项的许可要求，整个仓库也采用了 AGPL-3.0 许可证。

致谢

• LayoutLMv3：布局检测模型
• UniMERNet：公式识别模型
• StructEqTable：表格识别模型
• YOLO：公式检测模型
• PaddleOCR：OCR 模型
• DocLayout-YOLO：布局检测模型

引用

如果您在研究中发现我们的模型、代码或论文有所帮助，请考虑给予 ⭐ 和引用 📝，谢谢 :)

@article{wang2024mineru,
  title={MinerU: An Open-Source Solution for Precise Document Content Extraction},
  author={Wang, Bin and Xu, Chao and Zhao, Xiaomeng and Ouyang, Linke and Wu, Fan and Zhao, Zhiyuan and Xu, Rui and Liu, Kaiwen and Qu, Yuan and Shang, Fukai and others},
  journal={arXiv preprint arXiv:2409.18839},
  year={2024}
}

@misc{zhao2024doclayoutyoloenhancingdocumentlayout,
      title={DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception}, 
      author={Zhiyuan Zhao and Hengrui Kang and Bin Wang and Conghui He},
      year={2024},
      eprint={2410.12628},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2410.12628}, 
}

@misc{wang2024unimernet,
      title={UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition}, 
      author={Bin Wang and Zhuangcheng Gu and Chao Xu and Bo Zhang and Botian Shi and Conghui He},
      year={2024},
      eprint={2404.15254},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{he2024opendatalab,
  title={Opendatalab: Empowering general artificial intelligence with open datasets},
  author={He, Conghui and Li, Wei and Jin, Zhenjiang and Xu, Chao and Wang, Bin and Lin, Dahua},
  journal={arXiv preprint arXiv:2407.13773},
  year={2024}
}

星标历史

相关链接

• UniMERNet（真实世界公式识别算法）
• LabelU（轻量级多模态标注工具）
• LabelLLM（开源大模型对话标注平台）
• MinerU（一站式高质量数据提取工具）

PDF-Extract-Kit 快速上手指南

PDF-Extract-Kit 是一款强大的开源工具包，旨在从复杂多样的 PDF 文档中高效提取高质量内容。它集成了布局检测、公式检测与识别、OCR 及表格识别等领先的解析模型，采用模块化设计，方便开发者灵活构建应用。

提示：如果您仅需将 PDF 转换为 Markdown 等格式，推荐使用基于本工具优化的 MinerU；如果您是开发者希望构建文档翻译、问答等自定义应用，请使用本工具。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / Windows / macOS
• Python 版本：3.10
• 硬件要求：
  • 推荐配备 NVIDIA GPU 以加速推理。
  • 若无 GPU，可使用 CPU 模式（速度较慢）。
• 依赖管理：已安装 conda 或 pip。

2. 安装步骤

2.1 创建虚拟环境

建议使用 Conda 创建独立的 Python 环境：

conda create -n pdf-extract-kit-1.0 python=3.10
conda activate pdf-extract-kit-1.0

2.2 安装依赖

GPU 版本（推荐）：

pip install -r requirements.txt

CPU 版本（无显卡设备）：

pip install -r requirements-cpu.txt

注意：若安装 DocLayout-YOLO 时报错，请尝试以下命令强制指定源安装：

pip3 install doclayout-yolo==0.0.2 --extra-index-url=https://pypi.org/simple

2.3 下载模型权重

本项目不包含预训练模型文件，需手动下载。您可以从 Hugging Face 或 ModelScope（魔搭） 下载。国内用户推荐优先使用 ModelScope 以获得更快速度。

• Hugging Face: PDF-Extract-Kit-1.0
• ModelScope (国内加速): PDF-Extract-Kit-1.0

请下载所需任务的模型权重，并参考 官方教程 将其放置于正确目录。

3. 基本使用

安装完成并下载模型后，即可运行脚本进行内容提取。以下是最常用的几个功能示例：

3.1 布局检测 (Layout Detection)

识别文档中的图片、表格、文本、标题和公式区域。默认使用 DocLayout-YOLO 模型。

python scripts/layout_detection.py --config=configs/layout_detection.yaml

结果输出至：outputs/layout_detection

3.2 公式检测 (Formula Detection)

定位文档中的行内公式和块级公式。

python scripts/formula_detection.py --config=configs/formula_detection.yaml

结果输出至：outputs/formula_detection

3.3 光学字符识别 (OCR)

从图像中提取文本内容及位置信息。

python scripts/ocr.py --config=configs/ocr.yaml

结果输出至：outputs/ocr

3.4 公式识别 (Formula Recognition)

将公式图像转换为 LaTeX 源代码。

python scripts/formula_recognition.py --config=configs/formula_recognition.yaml

结果输出至：outputs/formula_recognition

3.5 表格识别 (Table Recognition)

将表格图像转换为 LaTeX、HTML 或 Markdown 格式。

python scripts/table_parsing.py --config configs/table_parsing.yaml

结果输出至：outputs/table_parsing

说明：具体配置文件路径及模型切换方式，请参阅项目根目录下的 configs 文件夹及 详细文档。