高级识字机器

简介

我们研究的最终目标是构建一个具备高级智能的系统，即拥有阅读、思考和创作的能力，甚至在未来某一天超越人类智能。我们称这类系统为高级识字机器（ALM）。

首先，我们目前专注于教会机器从图像和文档中阅读。在未来几年里，我们将探索赋予机器思考和创作智力能力的可能性，力争赶上并超越GPT-4和GPT-4V。

本项目由阿里巴巴集团通义实验室的读光OCR团队（读光-Du Guang意为“阅读之光”）维护。

欢迎访问我们的读光-Du Guang门户和DocMaster，体验OCR和文档理解的在线演示。

最新动态

2024年12月发布

• CC-OCR (CC-OCR：评估大型多模态模型识字能力的全面且具有挑战性的OCR基准测试。论文)：CC-OCR基准测试专门用于评估大型多模态模型以OCR为核心的各项能力。该基准涵盖了多样化的场景、任务和挑战，包含四个以OCR为中心的赛道：多场景文本识别、多语言文本识别、文档解析以及关键信息提取。它包含39个子集，共7,058张完整标注的图像，其中41%来源于实际应用，此次为首次公开发布。

2024年9月发布

• Platypus (鸭嘴兽：一种用于读取各种形式文本的通用型专家模型, ECCV 2024。论文)：鸭嘴兽提出了一种全新的图像文本读取方法，解决了专家模型和通用模型各自的局限性。鸭嘴兽利用单一统一架构，能够有效识别各种形式的文本，同时保持高精度和高效性。我们还引入了一个新数据集Worms，该数据集整合并部分重新标注了以往的数据集，以支持模型的开发与评估。

• SceneVTG (野外环境下的视觉文本生成, ECCV 2024。论文)：我们提出了一种视觉文本生成器（称为SceneVTG），能够生成高质量的野外文本图像。SceneVTG采用两阶段范式，利用多模态大语言模型在多个尺度和层级上推荐合理的文本区域和内容，这些内容作为条件输入到条件扩散模型中，用于生成文本图像。为了训练SceneVTG，我们还贡献了一个带有详细OCR标注的新数据集SceneVTG-Erase。

• WebRPG (WebRPG：用于视觉呈现的网页渲染参数自动生成, ECCV 2024。论文)：我们介绍了一项新任务WebRPG，其核心在于根据HTML代码自动为网页生成视觉呈现方案。由于缺乏相关基准，我们通过自动化流水线创建了一个新的数据集。我们提出的模型基于VAE架构和定制的HTML嵌入，能够高效地处理众多网页元素及渲染参数。全面的实验，包括定制的定量评估，证明了WebRPG模型在生成网页呈现方案方面的有效性。

• ProcTag (ProcTag：用于评估文档指令数据有效性的流程标记法, arXiv 2024。论文)：对于构建高效能的文档指令数据而言，有效的评估方法至关重要，这将有助于训练用于文档理解的LLM和MLLM。我们提出了ProcTag，这是一种面向数据的方法，它标记指令的执行过程而非文本本身，从而实现对文档指令更有效的评估和选择性采样。

2024年4月发布

• OmniParser (OmniParser：用于文本定位、关键信息提取和表格识别的统一框架, CVPR 2024。论文)：我们提出了一种适用于多种场景下视觉情境文本解析的通用模型，名为OmniParser，它可以同时处理三种典型的视觉情境文本解析任务：文本定位、关键信息提取和表格识别。在OmniParser中，所有任务共享统一的编码器-解码器架构、统一的目标——点条件驱动的文本生成，以及统一的输入与输出表示——提示与结构化序列。

2024年3月发布

• GEM (GEM：基于渲染树的格式塔增强标记语言模型，用于网页理解, EMNLP 2023。论文)：网页是人类获取和感知信息的重要载体。受格式塔心理学理论启发，我们提出了一种创新的格式塔增强标记语言模型（简称GEM），用于承载来自网页渲染树的异构视觉信息，从而在网页问答和信息抽取等任务中表现出色。

2023年9月发布

• DocXChain (DocXChain：一款功能强大的开源文档解析工具链及其扩展, arXiv 2023。报告)：为 提升文档的数字化与结构化水平，我们开发并发布了名为 DocXChain 的开源工具链，用于精确细致的文档解析。目前，该工具链已提供文本检测、文本识别、表格结构识别和版面分析等基础能力。同时，还构建了通用文本阅读、表格解析和文档结构化等典型流程，以支持更复杂的文档相关应用。其中大部分算法模型来自 ModelScope。此外，现已支持公式识别（使用 RapidLatexOCR 中的模型）和 PDF 全文转换（PDF 转 JSON 格式）。
• LISTER (LISTER：面向长度无关场景文本识别的邻域解码器, ICCV 2023。论文)：我们提出了一种称为长度无关场景文本识别器（LISTER）的方法，以解决 对不同文本长度鲁棒性不足 的问题。具体而言，我们设计了一种邻域解码器，在新型邻域矩阵的帮助下，无论文本长度如何，都能获得准确的字符注意力图。此外，还引入了一个特征增强模块，以较低的计算成本建模长距离依赖关系，并可与邻域解码器迭代配合，逐步增强特征图。
• VGT (用于文档版面分析的视觉网格 Transformer, ICCV 2023。论文)：为了 充分利用多模态信息并借助预训练技术学习更好的表示，用于文档版面分析（DLA），我们提出了双流视觉网格 Transformer（VGT），其中引入了网格 Transformer（GiT），并针对 2D 级别和片段级别的语义理解进行了预训练。此外，我们还整理并发布了用于评估文档版面分析算法的新基准数据集，名为 D^4LA。
• VLPT-STD (用于提升场景文本检测器性能的视觉—语言预训练, CVPR 2022。论文)：我们将 视觉—语言联合学习应用于场景文本检测任务，该任务本质上涉及视觉与语言两种模态之间的跨模态交互。预训练后的模型能够生成更具语义丰富性的信息表示，从而直接提升下游文本检测任务中现有场景文本检测器（如 EAST 和 DB）的性能。

2023年6月发布

• LiteWeightOCR (基于截断奇异值分解知识蒸馏引导的神经架构搜索构建轻量级文本识别器, BMVC 2023。论文)：为使 OCR 模型 在保持高精度的同时能够在移动设备上部署，我们提出了一种轻量级文本识别器，将基于截断奇异值分解的知识蒸馏（KD）融入到神经架构搜索（NAS）过程中。

2023年4月发布

• GeoLayoutLM (GeoLayoutLM：面向视觉信息提取的几何预训练, CVPR 2023。论文)：我们提出了一种名为 GeoLayoutLM 的多模态框架，用于视觉信息提取（VIE）。与以往通常以隐式方式学习几何表示的文档预训练方法不同，GeoLayoutLM 显式地建模文档中各实体之间的几何关系。

2023年2月发布

• LORE-TSR (LORE：用于表格结构识别的逻辑位置回归网络, AAAI 2022。论文)：我们将表格结构识别（TSR）建模为一个逻辑位置回归问题，并提出了一种名为 LORE 的新算法，即逻辑位置回归网络。这是首次 将表格单元格的逻辑位置回归与空间位置回归相结合。

2022年9月发布

• MGP-STR (面向场景文本识别的多粒度预测, ECCV 2022。论文)：基于 ViT 和定制的自适应寻址与聚合模块，我们通过引入子词表示来探索一种隐式整合语言知识的方式，从而促进场景文本识别中的 多粒度 预测与融合。
• LevOCR (莱文施泰因 OCR, ECCV 2022。论文)：受 莱文施泰因 Transformer 启发，我们将场景文本识别问题转化为一个迭代式的序列精炼过程，该过程具有 并行解码、动态长度调整以及良好的可解释性 等优点。

奖项

科学技术进步奖公告

AdvancedLiterateMachinery 快速上手指南

AdvancedLiterateMachinery (ALM) 是由阿里巴巴通义实验室“读光”团队维护的开源项目，旨在构建具备“阅读、思考、创造”能力的高阶智能系统。本项目涵盖了从 OCR 文字识别、文档理解到视觉文本生成的一系列前沿模型（如 OmniParser, Platypus, DocXChain 等）。

由于该项目是一个包含多个独立子模型的研究集合，不同模型的环境依赖略有差异。以下指南以核心工具链 DocXChain（文档解析全能工具）及通用模型部署为例，提供快速上手流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python 版本: Python 3.8 - 3.10
• 硬件要求:
  • 推理：建议配备 NVIDIA GPU (显存 >= 4GB)，支持 CUDA 11.7+。
  • 部分轻量级模型（如 LiteWeightOCR）可在 CPU 上运行。
• 前置依赖:
  • Git
  • pip (包管理工具)
  • (可选) conda/mamba (用于管理虚拟环境)

安装步骤

推荐使用 conda 创建独立的虚拟环境以避免依赖冲突。

1. 克隆项目代码

git clone https://github.com/alibaba/AdvancedLiterateMachinery.git
cd AdvancedLiterateMachinery

2. 创建并激活虚拟环境

conda create -n alm python=3.9
conda activate alm

3. 安装基础依赖

根据您想要使用的具体模块，安装对应的依赖。以下是安装核心文档解析工具链 DocXChain 及通用 OCR 依赖的命令：

# 安装 PyTorch (请以官方最新指令为准，此处为示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目核心依赖
pip install -r requirements.txt

# 如果主要使用 DocXChain 进行文档结构化解析
cd Applications/DocXChain
pip install -r requirements.txt

提示：国内开发者若遇到下载速度慢的问题，可使用清华或阿里镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 下载预训练模型

大部分模型权重托管在 ModelScope (魔搭社区)，国内访问速度极快。以 DocXChain 为例，可通过 Python 脚本自动下载：

from modelscope import snapshot_download

# 下载 DocXChain 相关模型
model_dir = snapshot_download('damo/cv_docxchain_document-structure-recognition', cache_dir='./models')
print(f"Models downloaded to: {model_dir}")

基本使用

以下展示如何使用 DocXChain 对一份 PDF 或图片文档进行完整的结构化解析（包含文字检测、识别、表格还原及版面分析）。

示例：解析本地文档

创建一个名为 demo_parse.py 的文件，写入以下代码：

import cv2
from docxchain.pipeline import DocumentParser

# 初始化解析器
# config_path 和 checkpoint_path 请根据实际下载的模型路径调整
parser = DocumentParser(
    config_path='configs/docxchain_config.py',
    checkpoint_path='models/damo/cv_docxchain_document-structure-recognition/pytorch_model.pt'
)

# 输入文件路径 (支持 jpg, png, pdf)
input_file = 'example_document.pdf'

# 执行解析
result = parser.predict(input_file)

# 输出结果为 JSON 格式，包含文本块、表格结构、坐标等信息
import json
print(json.dumps(result, indent=2, ensure_ascii=False))

# (可选) 保存可视化结果
parser.visualize(input_file, result, save_path='output_visualization.jpg')

运行脚本：

python demo_parse.py

其他模型快速调用

如果您想尝试最新的 Platypus (通用文字识别) 或 OmniParser (关键信息提取)，请进入对应子目录（如 ./OCR/Platypus），参照该目录下的 README.md 或 demo.py 进行调用。所有模型均遵循统一的接口设计风格，便于集成。

---

注：更多高级功能（如网页渲染参数生成 WebRPG、视觉文本生成 SceneVTG）请参考各子模块目录下的详细文档。