UniTable：迈向统一的表格基础模型

1. 📈 用于表格结构识别的高性能Transformer需要早期卷积。彭圣云、李成珉、王晓静、拉贾拉杰斯瓦里·巴拉苏布拉马尼扬、周德鸿。载于 NeurIPS第二届表格表示学习研讨会，2023年。（口头报告）
2. 🚀 面向表格结构识别Transformer的自监督预训练。彭圣云、李成珉、王晓静、拉贾拉杰斯瓦里·巴拉苏布拉马尼扬、周德鸿。载于 AAAI科学文档理解研讨会，2024年。（口头报告）
3. 🆕 UniTable：通过自监督预训练迈向统一的表格结构识别框架。彭圣云、李成珉、王晓静、拉贾拉杰斯瓦里·巴拉苏布拉马尼扬、周德鸿。ArXiv，2024年。

表格以人类创建的隐含规范传达事实性和定量数据，而这些规范往往难以被机器解析。以往关于表格识别（TR）的研究主要集中在利用现有输入和工具构建复杂且任务特定的组合上。我们提出了UniTable，一个统一了TR训练范式、训练目标和模型架构的训练框架。 其训练范式结合了纯像素级输入的简洁性与来自多样化未标注表格图像的自监督预训练（SSP）所带来的高效性和可扩展性。我们的框架将所有三项TR任务——提取表格结构、单元格内容和单元格边界框（bbox）——的训练统一到一个通用的任务无关训练目标：语言建模。广泛的定量和定性分析表明，UniTable在四个最大的TR数据集上均达到了当前最优（SOTA）性能。为促进可重复研究、提高透明度以及推动SOTA创新，我们发布了首个同类Jupyter Notebook，该Notebook涵盖了整个推理流程，并在多个TR数据集上进行了微调，支持全部三项TR任务。

此仓库包含线性投影Transformer的代码。如需使用卷积茎（早期卷积）Transformer，请查看我们的tsr-convstem仓库。

新闻

2024年4月 - 您可以使用我们的Jupyter Notebook对您自己的表格图像进行完全数字化处理。

2024年4月 - UniTable v1.0.0现已上线，模型权重可在HuggingFace获取。

2024年2月 - 我们在AAAI'24上发表了“自监督预训练”论文。

2024年1月 - “自监督预训练”论文被选为口头报告。

2023年12月 - “自监督预训练”论文被AAAI'24科学文档理解研讨会接受。

2023年12月 - 我们在NeurIPS'23上发表了“早期卷积”论文。

2023年10月 - “早期卷积”论文被选为口头报告。

2023年10月 - “早期卷积”论文被NeurIPS'23表格表示学习研讨会接受。

快速入门

1. 在终端运行make .done_venv以设置虚拟环境（unitable）。
2. 在终端运行make .done_download_weights从HuggingFace下载所有模型权重。
3. 使用您自己的表格图像尝试我们的演示Jupyter Notebook！请记得选择“unitable”作为您的笔记本内核。

训练

我们的代码由Makefile目标驱动，并通过Hydra进行配置。实验名称在CONFIG.mk第Experiments节中定义为EXP_<name>。我们还在每个实验上方的注释中提供了如何启动相应Make目标的方法。

数据集标注格式

我们提供了一小部分（20个样本）PubTabNet数据，作为快速了解训练过程的示例。该数据集（表格图像和标注）位于dataset/mini_pubtabnet。所有图像的标注均存储在mini_pubtabnet_examples.jsonl中。每行是一个json对象，对应一张png图像，其结构如下：

"filename": "表格图像文件名，位于'train'、'val'或'test'目录之一",
"split": "train、val或test中的一个",
"html": "表格结构、单元格内容和单元格bbox",
    "cells": "包含所有单元格内容和bbox的数组",
        "tokens": "单元格内容的数组",
        "bbox": "单元格的边界bbox，格式为[x1, y1, x2, y2]。仅在单元格非空时提供。",
    "structure": "描述表格结构的字典",
        "tokens": "描述表格结构的html标签数组。'[]'表示非空单元格",

如果您希望使用自己的数据集进行训练，请按照提供的格式转换您的数据集。 我们在论文中使用的五个数据集是PubTabNet、SynthTabNet、FinTabNet、ICDAR 2019 B2 Modern和PubTables-1M。 下载这些数据集后，请在configs/dataset/下更新每个数据集的root_dir。

跟踪训练进度

如果您想可视化训练曲线和重建的表格（仅适用于VQ-VAE预训练），请注册Weights & Biases账户。以下是VQ-VAE重建表格的示例：

微调

我们展示了在提供的mini-PubTabNet数据集上的微调。有关跨数据集微调的更多详细信息，请参阅CONFIG.mk。

# 表格结构
make experiments/ssp_2m_mini_html_base/.done_finetune

# 单元格bbox
make experiments/ssp_2m_mini_bbox_base/.done_finetune

# 单元格内容
make experiments/ssp_2m_mini_cell_base/.done_finetune

预训练

我们展示了在提供的mini-PubTabNet数据集上训练VQ-VAE以及预训练视觉编码器的过程。有关跨数据集微调的更多详细信息，请参阅CONFIG.mk。

VQ-VAE

make experiments/vqvae_mini/.done_pretrain

SSP视觉编码器 - 掩码表格图像建模（MTIM）

make experiments/mtim_mini_base/.done_pretrain

多GPU

默认设置为单个 GPU，即在 Makefile 中 NGPU := 1。若需启用多 GPU，请使用以下格式运行上述命令：CUDA_VISIBLE_DEVICES=0,1,2,3 make NGPU=4 experiment/<exp name>/.done_<training type>。

引用

@article{peng2024unitable,
  title={UniTable: 基于自监督预训练的统一表格结构识别框架},
  author={Peng, ShengYun 和 Lee, Seongmin 和 Wang, Xiaojing 和 Balasubramaniyan, Rajarajeswari 和 Chau, Duen Horng},
  journal={arXiv 预印本},
  year={2024}
}

@article{peng2024self,
  title={用于表格结构识别的 Transformer 自监督预训练},
  author={Peng, ShengYun 和 Lee, Seongmin 和 Wang, Xiaojing 和 Balasubramaniyan, Rajarajeswari 和 Chau, Duen Horng},
  journal={arXiv 预印本},
  year={2024}
}

@inproceedings{peng2023high,
  title={高性能表格结构识别 Transformer 需要早期卷积},
  author={Peng, Anthony 和 Lee, Seongmin 和 Wang, Xiaojing 和 Balasubramaniyan, Rajarajeswari Raji 和 Chau, Duen Horng},
  booktitle={NeurIPS 2023 第二届表格表示学习研讨会},
  year={2023}
}

联系方式

如有任何问题，请随时联系 Anthony Peng（佐治亚理工学院计算机科学博士）。

UniTable 快速上手指南

UniTable 是一个统一的表格结构识别基础模型框架，支持从表格图像中提取表格结构、单元格内容及单元格边界框（bbox）。该模型基于自监督预训练（SSP），在多个主流数据集上达到了最先进（SOTA）性能。

环境准备

• 操作系统: Linux / macOS (Windows 用户建议使用 WSL2)
• Python: 建议 Python 3.8+
• 依赖管理: make, git
• 硬件要求: 推荐使用 NVIDIA GPU 进行推理或训练（单卡即可运行演示，多卡需配置 CUDA_VISIBLE_DEVICES）
• 网络环境: 需要访问 Hugging Face 下载模型权重。国内用户若访问受阻，可配置镜像源或使用代理。

安装步骤

1. 克隆仓库

   git clone https://github.com/poloclub/UniTable.git
   cd UniTable
   

2. 创建虚拟环境 在项目根目录下运行以下命令，自动创建名为 unitable 的虚拟环境并安装依赖：

   make .done_venv
   

   注意：此步骤可能需要几分钟时间安装 PyTorch 及其他依赖库。

3. 下载模型权重 从 Hugging Face 下载预训练模型权重：

   make .done_download_weights
   

   国内加速提示：如果默认下载速度慢或失败，建议手动访问 Hugging Face 模型页 下载文件至本地 weights 目录（具体路径请参考项目内脚本逻辑），或使用国内镜像站（如 hf-mirror.com）设置环境变量：

   export HF_ENDPOINT=https://hf-mirror.com
   make .done_download_weights
   

基本使用

UniTable 提供了一个完整的 Jupyter Notebook 演示，支持上传任意表格图片进行数字化处理（提取结构、内容和坐标）。

1. 启动 Jupyter Notebook 确保激活了之前创建的虚拟环境：

   source unitable/bin/activate  # Linux/macOS
   # 或
   source unitable\Scripts\activate  # Windows
   
   jupyter notebook
   

2. 运行演示流程

   • 在浏览器打开的 Jupyter 界面中，导航至 notebooks/ 目录。
   • 打开 full_pipeline.ipynb 文件。
   • 关键步骤：在菜单栏点击 Kernel -> Change kernel，选择 unitable 作为当前内核。
   • 按顺序执行单元格代码。你可以替换示例图片为你自己的表格图像（支持 PNG/JPG 格式），即可看到模型输出的表格结构、文本内容及边界框可视化结果。

3. 命令行微调示例（可选） 如果你希望在自己的小规模数据上进行微调，可以使用内置的 Makefile 目标。以下是在提供的迷你 PubTabNet 数据集上微调“表格结构”任务的示例：

   make experiments/ssp_2m_mini_html_base/.done_finetune
   

   其他任务（单元格 bbox、单元格内容）只需替换对应的 target 名称（参考 README 中的 Training 章节）。