令人惊叹的文档理解

这是一份精心整理的资源列表，专注于文档理解（DU）领域，特别是与智能文档处理（IDP）相关的主题。IDP是从非结构化数据中提取信息的技术，尤其适用于表单和视觉丰富的文档（VRDs）。该领域与机器人流程自动化（RPA）密切相关。

注1：加粗的部分比其他内容更为重要。

注2：由于该领域的新颖性，本列表仍在建设中——欢迎贡献（提前感谢！）。 请务必遵循以下格式：

• 出版物/数据集/资源标题, [代码/数据/网站 ]
  作者名单 会议/期刊名称 年份

  数据集规模：训练集（样本数）、验证集（样本数）、测试集（样本数）[仅限于数据集相关论文或资源]；摘要/简要描述 ...

目录

1. 引言
2. 研究主题
   1. 关键信息抽取（KIE）
   2. 文档布局分析（DLA）
   3. 文档问答（DQA）
   4. 科学文档理解（SDU）
   5. 光学字符识别（OCR）
   6. 相关领域
      1. 通用
      2. 表格数据理解（TDC）
      3. 机器人流程自动化（RPA）
3. 其他
   1. 资源
      1. 用于预训练语言模型的数据集
      2. PDF处理工具
   2. 会议/研讨会
   3. 博客
   4. 解决方案
4. 示例
   1. 视觉丰富文档（VRDs）
   2. 关键信息抽取（KIE）
   3. 文档布局分析（DLA）
   4. 文档问答（DQA）
5. 灵感来源

引言

文档是许多行业核心组成部分，涵盖法律、金融、科技等多个领域。自动理解诸如发票、合同和简历等文档具有巨大的商业价值，并为众多企业开辟了新的发展路径。自然语言处理和计算机视觉领域在深度学习技术推动下取得了长足进展，这些方法如今已广泛应用于现代文档理解系统中。来源

论文

2023年

• DocILE：面向文档信息定位与提取的基准测试, [官网] [基准] [代码 ]
  Štěpán Šimsa, Milan Šulc, Michal Uřičář, Yash Patel, Ahmed Hamdi, Matěj Kocián, Matyáš Skalický, Jiří Matas, Antoine Doucet, Mickaël Coustaty, Dimosthenis Karatzas arXiv 预印本 2023

  本文介绍了 DocILE 基准测试，这是目前最大的商业文档数据集，专门用于关键信息定位与提取以及行项目识别任务。该数据集包含 6,700 份标注过的商业文档、10 万份合成生成的文档，以及近 100 万份未标注文档，可用于无监督预训练。数据集的构建充分考虑了领域和任务的特定需求，具备以下关键特性：(i) 标注涵盖 55 个类别，远超以往公开的关键信息提取数据集的细粒度水平；(ii) 行项目识别是一项高度实用的信息提取任务，要求将关键信息分配到表格中的各个条目；(iii) 文档布局多样，测试集中既包含零样本和少样本场景，也涵盖了训练集中常见的布局类型。该基准测试还提供了多种基线模型，包括 RoBERTa、LayoutLMv3 和基于 DETR 的 Table Transformer。这些基线模型被应用于 DocILE 基准测试的两项任务，结果在本文中公布，为后续研究提供了快速起点。数据集和基线模型均可通过此网址获取。

2022年

• 商业文档信息提取：迈向实用的基准测试

  Matyáš Skalický, Štěpán Šimsa, Michal Uřičář, Milan Šulc CLEF 2022

  从半结构化文档中提取信息对于实现顺畅的企业间（B2B）沟通至关重要。尽管与文档信息提取（IE）相关的机器学习问题已被研究数十年，但许多常见的问题定义和基准测试并未反映领域特性和自动化 B2B 文档沟通的实际需求。我们回顾了文档 IE 问题、数据集和基准测试的研究现状，指出了现有定义中缺失的实践性要素，并提出了关键信息定位与提取（KILE）和行项目识别（LIR）这两个新问题。然而，针对半结构化商业文档的信息提取，目前仍缺乏相关数据集和基准测试，因为其内容通常受到法律保护或属于敏感信息。我们探讨了可用文档的潜在来源，包括合成数据。

• Doc2Graph：基于图神经网络的无关任务文档理解框架，[代码 ]

  安德烈亚·杰梅利、桑凯特·比斯瓦斯、恩里科·奇维泰利、何塞普·利亚多斯、西蒙内·马里奈 TiE研讨会 @ ECCV 2022

  几何深度学习近年来在包括文档分析在内的广泛机器学习领域引起了极大关注。图神经网络（GNN）的应用在各类文档相关任务中变得至关重要，因为它们能够揭示关键信息提取过程中至关重要的结构模式。现有文献中的研究大多针对特定任务设计模型，并未充分发挥图结构的潜力。为此，我们提出了Doc2Graph——一个基于图神经网络模型的无关任务文档理解框架，旨在处理不同类型文档下的多种任务。我们在表单理解、发票版面分析和表格检测等关键信息提取领域的两个具有挑战性的数据集上评估了我们的方法。

2021年

• 文档人工智能：基准、模型与应用

  崔磊、许一恒、吕腾超、魏福如 arXiv 2021年

  文档人工智能，即文档智能，是一个相对较新的研究课题，指用于自动读取、理解和分析业务文档的技术。它是自然语言处理和计算机视觉领域的重要研究方向。近年来，深度学习技术的普及极大地推动了文档人工智能的发展，例如文档版面分析、视觉信息抽取、文档视觉问答、文档图像分类等。本文简要回顾了一些代表性模型、任务和基准数据集。此外，我们还介绍了早期基于启发式规则的文档分析方法、统计机器学习算法以及深度学习方法，尤其是预训练技术。最后，我们探讨了文档人工智能研究的未来方向。

• 利用人工智能高效自动化处理非结构化文档：系统性文献综述及未来方向

  迪帕莉·巴维斯卡、斯瓦蒂·阿希劳、维迪亚萨加尔·波特达尔、凯坦·科特查 IEEE Access 2021年

  非结构化数据影响着95%的企业，每年给它们造成数百万美元的损失。如果得到有效管理，它能够显著提升企业生产力。传统的信息提取技术功能有限，而基于人工智能的技术则能提供更好的解决方案。然而，目前文献中尚缺乏对基于人工智能的非结构化文档自动信息提取技术的全面研究。本系统性文献综述（SLR）旨在识别并分析用于从非结构化文档中自动提取信息的技术，并为未来研究提供方向。我们遵循基钦厄姆和查特斯提出的SLR指南，在2010年至2020年间对多个数据库进行了文献检索。研究发现：1. 现有的信息提取技术多为模板或规则驱动；2. 现有方法难以应对发票和采购订单等复杂文档布局的实时处理需求；3. 目前公开可用的数据集往往针对特定任务且质量较低。因此，亟需开发能够反映现实问题的新数据集。我们的SLR表明，基于人工智能的方法在自动从非结构化文档中提取有用信息方面具有巨大潜力，但其在处理多种非结构化文档布局时仍面临一定挑战。基于此，我们提出构建高质量非结构化文档数据集的概念框架，并配备强大的数据验证技术以支持自动化信息提取。同时，我们的SLR也揭示了企业与研究人员之间需要建立紧密合作，共同应对非结构化数据分析中的各种挑战。

2020年

• OCR与文档理解的深度学习方法综述

  尼山特·苏布拉马尼、亚历山大·马通、马尔科姆·格里夫斯、艾德里安·拉姆 ML-RSA研讨会 @ NeurIPS 2020年

  文档是法律、金融、科技等多个领域众多企业的核心组成部分。自动理解诸如发票、合同和简历之类的文档极具商业价值，能够开辟许多新的业务机会。随着深度学习技术的发展，自然语言处理和计算机视觉领域取得了巨大进展，这些方法已逐渐融入现代文档理解系统中。在本综述论文中，我们回顾了用于英文文档理解的不同技术，并整合了现有文献中的方法论，以作为该领域研究人员进一步探索的起点。

• 与文档的对话：以文档为中心的辅助探索

  Maartje ter Hoeve, Robert Sim, Elnaz Nouri, Adam Fourney, Maarten de Rijke, Ryen W. White CHIIR 2020

  对话式助手在帮助人们提高工作效率方面的作用日益突出。然而，以文档为中心的辅助——例如帮助个人快速浏览文档——却进展不大，尽管它有极大提升用户效率的潜力。本文正是聚焦于这种以文档为中心的辅助。我们的贡献主要有三点：(1) 首先，我们进行了一项调查，以理解以文档为中心的辅助领域以及人们在此场景下所期望的能力。(2) 我们研究了用户在寻求文档相关帮助时会提出的问题类型，并发现以文档为中心的问题占这些查询的大多数。(3) 我们提出了一系列初步的机器学习模型，表明 (a) 我们可以准确地检测出以文档为中心的问题，以及 (b) 我们能够构建相当准确的模型来回答这类问题。这些积极的结果令人鼓舞，也提示我们，随着对这一有趣且新颖的研究领域的持续深入，未来有望取得更大的成果。我们的研究发现对设计通过与文档的自然交互来支持任务完成的智能系统具有重要启示。

2018年

• 商业文档自动化处理的未来范式
  Matteo Cristania, Andrea Bertolasob, Simone Scannapiecoc, Claudio Tomazzolia 国际信息管理杂志 2018

  在本文中，我们总结了目前致力于开发应用于商业文档的自动化处理技术的相关领域所取得的成果，并提出了当前这些技术自身发展状况以及相关行业进步所催生的若干演进方向。由此可以看出，这一领域在过去三十年间为解决不断变化的问题付出了巨大努力，如今正迅速向两个方向发展：一方面将文档处理整合到工作流管理系统中，另一方面引入云计算技术带来的新特性。基于上述两条演进路径，我们提出了一种商业文档处理的架构方案。

更早时期

• 用于印刷文档智能处理的机器学习

  F. Esposito, D. Malerba, F. Lisi - 2004

  纸质文档处理系统是信息系统的一个组成部分，它能将印刷或手写文档上的信息转换为计算机可编辑的形式。在智能纸质文档处理系统中，信息采集过程依赖于对文档特定版面布局和逻辑结构的知识。本文提出将机器学习技术应用于获取智能文档处理系统所需的专业知识，该系统名为WISDOM++，主要用于处理信件、期刊等印刷文档。知识通过决策树和一阶规则表示，这些模型由一组训练文档自动生成。具体而言，采用增量式决策树学习系统来构建用于分类分割后文本块的决策树；同时使用一阶学习系统来归纳用于基于版面布局进行分类和理解文档的规则。文中还讨论了增量式决策树归纳以及一阶规则学习中如何处理数值型和符号型数据等问题，并通过实际印刷文档的处理实验验证了所提方案的有效性。

• 文档理解：研究方向

  S. Srihari, S. Lam, V. Govindaraju, R. Srihari, J. Hull - 1994

  文档图像是一种印刷页面的视觉呈现形式，例如期刊文章页、传真封面页、技术文档、办公信函等。作为一项研究课题，文档理解涉及对文档在不同表示形式之间转换的所有过程进行研究：从扫描得到的物理文档到文档内容的高层语义描述。其中一些有用的表示形式包括可编辑描述、可精确复现的描述以及关于文档内容的高层语义描述。本报告界定了文档理解领域内五个主要针对印刷文档的研究子领域。所涵盖的主题包括：文档理解的模块化架构；文档的分解与结构分析；基于模型的光学字符识别；表格、图表和图像的理解；以及在失真和噪声条件下的性能评估。

研究主题

• 关键信息提取 (KIE)
• 文档版面分析 (DLA)
• 文档问答 (DQA)
• 科学文档理解 (SDU)
• 光学字符识别 (OCR)
• 相关
  • 通用
  • 表格数据理解 (TDC)
  • 机器人流程自动化 (RPA)

其他

资源

返回顶部

用于预训练语言模型的数据集

1. The RVL-CDIP Dataset - 该数据集包含16个类别的40万张灰度图像，每个类别2.5万张。
2. The Industry Documents Library - 由加州大学旧金山分校图书馆托管的门户网站，收录了数百万份由影响公共健康的行业创建的文件。
3. Color Document Dataset - 来自阿姆斯特丹大学智能感官信息系统实验室。
4. The IIT CDIP Collection - 该数据集包含20世纪90年代各州对烟草行业的诉讼相关文件，共计约700万份。

PDF 处理工具

1. borb - 是一个纯 Python 库，用于读取、写入和操作 PDF 文档。它将 PDF 文档表示为一种类似 JSON 的数据结构，由嵌套的列表、字典和基本类型（数字、字符串、布尔值等）组成。
2. pawls - PDF Annotations with Labels and Structure 是一款软件，可轻松收集与 PDF 文档相关的注释序列。
3. pdfplumber - 用于提取 PDF 中每个文本字符、矩形和线条的详细信息。此外还支持表格提取和可视化调试。
4. Pdfminer.six - Pdfminer.six 是原始 PDFMiner 的社区维护分支。它是一个用于从 PDF 文档中提取信息的工具，专注于获取和分析文本数据。
5. Layout Parser - Layout Parser 是一个基于深度学习的工具，用于文档图像布局分析任务。
6. Tabulo - 用于从图像中提取表格。
7. OCRmyPDF - OCRmyPDF 为扫描的 PDF 文件添加 OCR 文本层，使其可以被搜索或复制粘贴。
8. PDFBox - Apache PDFBox 是一个开源的 Java 工具，用于处理 PDF 文档。该项目允许创建新的 PDF 文档、操作现有文档，并能从文档中提取内容。
9. PdfPig - 该项目允许用户读取和提取 PDF 文件中的文本及其他内容。此外，该库还可以用来创建包含文本和几何形状的简单 PDF 文档。该项目旨在将 PDFBox 移植到 C# 平台。
10. parsing-prickly-pdfs - NICAR 2016 同名研讨会的资源和练习册。
11. pdf-text-extraction-benchmark - PDF 工具基准测试。
12. Born digital pdf scanner - 用于检查 PDF 是否为原生数字文件。
13. OpenContracts - 基于 PAWLs 构建的 Apache2 许可证下的 PDF 注释平台，能够保留原始布局，并导出标记的 x,y 位置数据以及跨度的起始和结束位置。该平台采用 Python 后端，可通过 Docker Compose 方便地部署在本地机器、公司内网或网络上。
14. deepdoctection - deepdoctection 是一个 Python 库，利用深度学习模型协调图像和 PDF 文档的文档提取及布局分析任务。它本身不实现具体模型，而是允许用户使用广泛认可的对象检测、OCR 和部分 NLP 库构建流水线，并提供一个集成框架来微调、评估和运行这些模型。
15. pydoxtools - Pydoxtools 是一个用于文档分析的 AI 组合库。它提供了丰富的工具集来构建复杂的文档分析流水线，并且开箱即用即可识别大多数文档格式。它内置支持关键词提取、摘要生成、问答等典型 NLP 任务，同时还具备高质量、低 CPU/内存占用的表格提取算法，并可轻松在集群上进行 NLP 批量操作。

会议、研讨会

返回顶部

通用/商业/金融

1. 国际文档分析与识别会议（ICDAR） [2021、2019、2017]
2. 文档智能研讨会（DI）[2021、2019]
3. 金融叙事处理研讨会（FNP）[2021、2020、2019 ]
4. 经济学与自然语言处理研讨会（ECONLP）[2021、2019、2018 ]
5. 国际文档分析系统研讨会（DAS）[2020、2018、2016]
6. ACM国际金融人工智能会议（ICAIF）
7. AAAI-21金融服务中非结构化数据知识发现研讨会
8. CVPR 2020深度学习时代文本与文档研讨会
9. KDD金融机器学习研讨会（KDD MLF 2020）
10. FinIR 2020：首届金融信息检索研讨会
11. 第二届KDD金融异常检测研讨会（KDD 2019）
12. 文档理解会议（DUC 2007）

科学文献理解

1. AAAI-21科学文献理解研讨会（SDU 2021）
2. 首届学术文献处理研讨会（SDProc 2020）
3. 国际科学文献分析研讨会（SCIDOCA）[2020、2018、2017 ]

博客

返回顶部

1. 文档理解模型综述，2021年
2. 文档表单提取，2021年
3. 如何利用非结构化数据自动化流程，2021年
4. OCR结合RPA与文档理解的全面指南，2021年
5. 利用图卷积网络从收据中提取信息，2021年
6. 如何从发票中提取结构化数据，2021年
7. 从模板化文档中提取结构化数据，2020年
8. 要善用AI，先从表单提取做起，2020年
9. UiPath文档理解解决方案架构与方法，2020年
10. 如何自动化复杂文档的数据提取？，2020年
11. LegalTech：法律文档中的信息提取，2020年

解决方案

返回顶部

大型公司：

1. Abby
2. 埃森哲
3. 亚马逊
4. 谷歌
5. 微软
6. UiPath

小型公司：

1. Applica.ai
2. Base64.ai
3. Docstack
4. Element AI
5. Indico
6. Instabase
7. Konfuzio
8. Metamaze
9. Nanonets
10. Rossum
11. Silo

示例

视觉丰富型文档

返回顶部

在视觉丰富型文档中，版面信息对于正确理解整篇文档至关重要（几乎所有商务文档都属于此类）。对人类而言，空间信息能够提升可读性并加快文档理解速度。

发票 / 简历 / 招聘广告

NDA / 年度报告

关键信息抽取

返回顶部

该任务的目标是从包含相似关键实体的一组文档中，提取若干关键字段的文本内容。

扫描收据

NDA / 年度报告

真实商业应用示例及Kleister数据集中的数据（关键实体以蓝色标注）

多媒体在线传单

商业地产传单示例及手动录入的房源信息 © ProMaker Commercial Real Estate LLC, © BrokerSavant Inc.

增值税发票

网页

文档版面分析

返回顶部

在计算机视觉或自然语言处理领域，文档版面分析是指对文本文档的扫描图像进行区域识别与分类的过程。阅读系统需要将文本区域与非文本区域分割开来，并按照正确的阅读顺序排列。检测并标记文档中的不同区域（或块），如正文、插图、数学符号和表格等，称为几何版面分析。然而，文本区域在文档中还扮演着不同的逻辑角色（标题、说明文字、脚注等），这种语义层面的标注则属于逻辑版面分析的范畴。（https://en.wikipedia.org/wiki/Document_layout_analysis）

科学出版物

历史报纸

商业文档

红色：文本块，蓝色：图表。

文档问答

返回顶部

DocVQA 示例

Tilt模型演示

灵感来源

返回顶部

领域相关

1. https://github.com/kba/awesome-ocr
2. https://github.com/Liquid-Legal-Institute/Legal-Text-Analytics
3. https://github.com/icoxfog417/awesome-financial-nlp
4. https://github.com/BobLd/DocumentLayoutAnalysis
5. https://github.com/bikash/DocumentUnderstanding
6. https://github.com/harpribot/awesome-information-retrieval
7. https://github.com/roomylee/awesome-relation-extraction
8. https://github.com/caufieldjh/awesome-bioie
9. https://github.com/HelloRusk/entity-related-papers
10. https://github.com/pliang279/awesome-multimodal-ml
11. https://github.com/thunlp/LegalPapers
12. https://github.com/heartexlabs/awesome-data-labeling

通用AI/DL/ML

1. https://github.com/jsbroks/awesome-dataset-tools
2. https://github.com/EthicalML/awesome-production-machine-learning
3. https://github.com/eugeneyan/applied-ml
4. https://github.com/awesomedata/awesome-public-datasets
5. https://github.com/keon/awesome-nlp
6. https://github.com/thunlp/PLMpapers
7. https://github.com/jbhuang0604/awesome-computer-vision#awesome-lists
8. https://github.com/papers-we-love/papers-we-love
9. https://github.com/BAILOOL/DoYouEvenLearn
10. https://github.com/hibayesian/awesome-automl-papers

Awesome Document Understanding 快速上手指南

awesome-document-understanding 并非一个单一的可安装软件库，而是一个精选资源列表，汇集了文档理解（Document Understanding, DU）领域的论文、数据集、基准测试和开源代码。该领域涵盖智能文档处理（IDP）、关键信息提取（KIE）、文档布局分析（DLA）等任务。

本指南将指导开发者如何利用该列表中的核心资源（以文中重点推荐的 DocILE Benchmark 为例）快速搭建环境并运行首个文档理解任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS 或 Windows (WSL2)。
• Python: 版本 3.8 或更高。
• GPU: 推荐配备 NVIDIA GPU (显存 >= 8GB) 以加速模型训练和推理（如 LayoutLMv3, DETR 等）。
• 前置依赖:
  • git: 用于克隆仓库。
  • pip 或 conda: 包管理工具。
  • PyTorch: 大多数列出的模型基于 PyTorch 构建。

安装步骤

由于这是一个资源列表，您需要选择列表中具体的项目进行安装。以下以 README 中加粗推荐且提供完整代码的 DocILE Benchmark (用于关键信息定位与提取) 为例进行安装。

1. 克隆项目仓库

   git clone https://github.com/rossumai/docile.git
   cd docile
   

2. 创建虚拟环境并安装依赖 建议使用 conda 或 venv 隔离环境。

   # 使用 conda 创建环境 (可选)
   conda create -n docile python=3.9 -y
   conda activate docile
   
   # 安装项目依赖
   pip install -r requirements.txt
   

   (注：若国内下载依赖较慢，可临时使用清华源：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 下载数据集与预训练模型 根据项目说明下载 DocILE 数据集（包含 6.7k 标注商业文档）及基线模型权重。

   # 示例：运行项目提供的下载脚本 (具体命令请参考仓库内的 scripts 目录)
   python scripts/download_data.py
   

基本使用

安装完成后，您可以加载预训练模型对视觉丰富文档（VRDs，如发票、合同）进行关键信息提取。以下是基于 PyTorch 的最简使用示例逻辑：

1. 加载模型与数据 在项目根目录下，使用提供的基线模型（如 LayoutLMv3）进行推理。

2. 运行推理示例

   from docile.models import load_baseline_model
   from docile.data import load_document_image
   
   # 1. 加载预训练的基线模型 (例如 LayoutLMv3)
   model = load_baseline_model(model_name="layoutlmv3", checkpoint_path="checkpoints/layoutlmv3_docile.pth")
   
   # 2. 加载一张待处理的商业文档图片 (例如发票)
   image_path = "data/examples/invoice_001.png"
   document = load_document_image(image_path)
   
   # 3. 执行关键信息提取 (KIE)
   # 输出将包含字段名称、对应的文本内容及边界框坐标
   predictions = model.predict(document)
   
   print(f"Extracted Fields: {predictions.fields}")
   print(f"Line Items: {predictions.line_items}")
   

3. 评估模型性能 (可选) 如果您想复现论文中的基准测试结果：

   python evaluate.py --model layoutlmv3 --dataset docile_test_set
   

提示：awesome-document-understanding 列表中还包含了其他方向的资源（如科学文档理解 SDU、表格数据理解 TDC），请访问其 GitHub 仓库中的 topics/ 目录查找对应子领域的特定代码库进行类似安装。