docext

一款本地部署的文档信息提取与基准测试工具包。

新模型发布：Nanonets-OCR-s

我们很高兴地宣布推出 Nanonets-OCR-s，这是一款专为高效图像转 Markdown 而训练的紧凑型 3B 参数模型，具备对图像、签名、水印等内容的语义理解能力！

📢 阅读完整公告 | 🤗 Hugging Face 模型

概述

docext 是一个由视觉语言模型（VLM）驱动的综合性本地文档智能工具包。它提供三大核心功能：

📄 PDF 和图像转 Markdown：将文档转换为结构化 Markdown 格式，具备智能内容识别能力，包括 LaTeX 公式、签名、水印、表格以及语义标记。

🔍 文档信息提取：无需 OCR 即可从发票、护照等各类文档中提取结构化信息（字段、表格等），并提供置信度评分。

📊 智能文档处理排行榜：一个全面的基准测试平台，用于跟踪和评估视觉语言模型在 OCR、关键信息提取（KIE）、文档分类、表格提取等智能文档处理任务中的表现。

功能

PDF 和图像转 Markdown

支持将 PDF 和图像转换为带有内容识别和语义标记的 Markdown。

• LaTeX 公式识别：将图像中的行内和块级 LaTeX 公式转换为 Markdown。
• 智能图像描述：为文档中的所有图像生成详细描述，并将其嵌入 <img></img> 标签中。
• 签名检测：检测并标记文档中的签名和水印。签名文本会被提取到 <signature></signature> 标签中。
• 水印检测：检测并标记文档中的水印。水印文本会被提取到 <watermark></watermark> 标签中。
• 页码检测：检测并标记文档中的页码。页码会被提取到 <page_number></page_number> 标签中。
• 复选框和单选按钮：将表单中的复选框和单选按钮转换为标准化的 Unicode 符号（☐、☑、☒）。
• 表格检测：将复杂表格转换为 HTML 表格。

🔍 更多详细信息，请参阅发布博客。

有关设置说明和其他细节，请查看完整的PDF 转 Markdown功能指南。

智能文档处理排行榜

该基准测试评估了七大关键文档智能挑战的表现：

• 关键信息提取（KIE）：从非结构化文档文本中提取结构化字段。
• 视觉问答（VQA）：通过问答方式评估对文档内容的理解能力。
• 光学字符识别（OCR）：衡量对印刷体和手写文字的识别准确度。
• 文档分类：评估模型对各类文档类型的准确分类能力。
• 长文档处理：测试模型对冗长且上下文丰富的文档的推理能力。
• 表格提取：对比模型从复杂表格格式中提取结构化数据的能力。
• 置信度校准：评估模型预测结果的可靠性和置信度。

🔍 更多详细信息，请参阅发布博客。

📊 实时排行榜： https://idp-leaderboard.org

有关设置说明和其他细节，请查看完整的智能文档处理排行榜功能指南。

Docext

• 灵活提取：可自定义字段或使用预建模板
• 表格提取：从文档中提取结构化表格数据
• 置信度评分：获取提取信息的置信度水平
• 本地部署：完全在您自己的基础设施上运行（Linux、MacOS）
• 多页支持：可处理多页文档
• REST API：提供程序化接口，便于与您的应用程序集成
• 预建模板：适用于常见文档类型的即用型模板：
  • 发票
  • 护照
  • 可为其他模板添加或删除字段/列。

更多详情（安装、使用等），请参阅功能指南。

更新日志

最新更新

• 2025年6月12日 - 增加了 PDF 和图像转 Markdown 的支持。
• 2025年6月6日 - 在排行榜中新增了 gemini-2.5-pro-preview-06-05 的评估指标。
• 2025年6月4日 - 在 docext 提取功能中增加了对 PDF 和多文档的支持。

旧版变更

• 2025年5月23日 – 在排行榜中新增了 gemini-2.5-pro-preview-03-25 和 claude-sonnet-4 的评估指标。
• 2025年5月17日 – 在排行榜中新增了 InternVL3-38B-Instruct 和 qwen2.5-vl-32b-instruct 的评估指标。
• 2025年5月16日 – 在排行榜中新增了 gemma-3-27b-it 的评估指标。
• 2025年5月12日 – 在排行榜中新增了 Claude 3.7 sonnet 和 mistral-medium-3 的评估指标。

关于我们

docext 由 Nanonets 开发，Nanonets 是文档 AI 和智能文档处理解决方案领域的领导者。Nanonets 致力于通过开源贡献和创新的 AI 技术推动文档理解领域的发展。如果您正在为您的企业寻找信息提取解决方案，请访问我们的官网，了解更多详情。

贡献

我们欢迎各位的贡献！请参阅contribution.md以获取相关指南。如果您有功能请求或需要支持新的模型，请随时提交问题——我们非常乐意进一步讨论！

故障排除

如果您在使用 docext 时遇到任何问题，请参阅我们的故障排除指南，其中列出了常见问题及解决方案。

许可证

本项目采用 Apache License 2.0 许可证授权——详情请参阅 LICENSE 文件。

docext 快速上手指南

docext 是一个本地部署的文档智能工具包，基于视觉语言模型（VLM），支持将 PDF/图片转换为 Markdown、提取结构化信息以及评估文档处理模型性能。

环境准备

系统要求：

• 操作系统：Linux 或 macOS
• Python 版本：3.8 及以上

前置依赖：

• 确保已安装 pip 和 git
• 若需使用 GPU 加速，请预先安装对应的 CUDA 驱动及 PyTorch GPU 版本

安装步骤

通过 PyPI 直接安装最新稳定版：

pip install docext

如需从源码安装（获取最新功能）：

git clone https://github.com/NanoNets/docext.git
cd docext
pip install -e .

💡 国内加速建议：如遇下载缓慢，可使用清华或阿里云镜像源：

pip install docext -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. PDF/图片转 Markdown

将单个 PDF 或图片文件转换为包含语义标签（如公式、签名、表格等）的 Markdown：

from docext import pdf_to_markdown

markdown_content = pdf_to_markdown("example.pdf")
print(markdown_content)

支持图片输入：

from docext import image_to_markdown

markdown_content = image_to_markdown("invoice.jpg")
print(markdown_content)

2. 结构化信息提取

使用内置模板（如发票、护照）提取关键字段：

from docext import extract_info

result = extract_info(
    document_path="invoice.pdf",
    template="invoice"  # 可选："passport", "custom"
)

print(result["fields"])        # 提取的字段
print(result["confidence"])    # 置信度评分

自定义字段提取：

custom_schema = {
    "vendor_name": {"type": "text"},
    "total_amount": {"type": "currency"},
    "issue_date": {"type": "date"}
}

result = extract_info(
    document_path="custom_doc.pdf",
    schema=custom_schema
)

3. 启动本地 REST API（可选）

以服务模式运行，供其他应用调用：

docext serve --host 0.0.0.0 --port 8000

访问 http://localhost:8000/docs 查看 Swagger API 文档。

---

更多高级用法（如多页处理、表格导出、基准测试等），请参考官方功能指南：

• PDF 转 Markdown 详解
• 信息提取指南
• 基准测试平台