使用 TensorFlow 进行手写文本识别

• 更新 2023/2：已提供一个 网页演示
• 更新 2023/1：请参阅 HTRPipeline，这是一个用于读取整页文本的工具包
• 更新 2021/2：支持行级文本识别（多个单词）
• 更新 2021/1：模型更加稳健，数据加载器速度更快，词束搜索解码器现在也适用于 Windows 系统
• 更新 2020：代码兼容 TF2

使用 TensorFlow (TF) 实现的手写文本识别 (HTR) 系统，并在 IAM 离线 HTR 数据集上进行训练。该模型以单个单词或文本行（多个单词）的图像作为输入，并输出识别后的文本。 验证集中的 3/4 的单词被正确识别，字符错误率约为 10%。

运行演示

• 下载其中一个预训练模型
  • 基于单词图像训练的模型： 每张图像仅处理单个单词，但在 IAM 单词数据集上效果更好
  • 基于文本行图像训练的模型： 可以处理一张图像中的多个单词
• 将下载的压缩包内容解压到仓库的 model 目录中
• 进入 src 目录
• 运行推理代码：
  • 执行 python main.py 来对单个单词的图像进行推理
  • 执行 python main.py --img_file .https://oss.gittoolsai.com/images/githubharald_SimpleHTR_readme_f8c4e3545ac5.png 来对文本行的图像进行推理

以下展示了使用文本行模型时的输入图像及预期输出。

> python main.py
使用 ../model/snapshot-13 中存储的值初始化
识别结果: "word"
置信度: 0.9806370139122009

> python main.py --img_file .https://oss.gittoolsai.com/images/githubharald_SimpleHTR_readme_f8c4e3545ac5.png
使用 ../model/snapshot-13 中存储的值初始化
识别结果: "or work on line level"
置信度: 0.6674373149871826

命令行参数

• --mode: 选择“train”（训练）、“validate”（验证）或“infer”（推理）。默认为“infer”。
• --decoder: 选择 CTC 解码器“bestpath”、“beamsearch”和“wordbeamsearch”。默认为“bestpath”。关于“wordbeamsearch”选项，请参见下文详细说明。
• --batch_size: 批量大小。
• --data_dir: 包含 IAM 数据集的目录（包含子目录 img 和 gt）。
• --fast: 使用 LMDB 加速图像加载。
• --line_mode: 训练文本行识别而非单个单词。
• --img_file: 用于推理的图像。
• --dump: 将神经网络的输出转储到 dump 文件夹中保存的 CSV 文件中。这些文件可用作 CTCDecoder 的输入。

集成词束搜索解码器

词束搜索解码器可以替代 TF 自带的两种解码器使用。 单词会被限制在字典中包含的词汇范围内，但仍然可以识别任意非单词字符序列（如数字、标点符号）。 下图展示了一个示例，在这个例子中，词束搜索能够正确识别文本，而其他解码器则失败。

按照以下步骤集成词束搜索解码器：

1. 克隆 CTCWordBeamSearch 仓库
2. 在 CTCWordBeamSearch 仓库的根目录下运行 pip install . 进行编译和安装
3. 在执行 main.py 时指定命令行选项 --decoder wordbeamsearch，即可实际使用该解码器

字典会在训练和验证模式下自动创建，使用 IAM 数据集中包含的所有单词（包括验证集中的单词），并保存到文件 data/corpus.txt 中。此外，手动创建的单词字符列表可在文件 model/wordCharList.txt 中找到。束宽设置为 50，以与原生束搜索解码器的束宽保持一致。

在 IAM 数据集上训练模型

准备数据集

按照以下步骤获取 IAM 数据集：

• 在此 网站 上免费注册
• 下载 words/words.tgz
• 下载 ascii/words.txt
• 在您的磁盘上创建一个数据集目录，并创建两个子目录：img 和 gt
• 将 words.txt 放入 gt 目录
• 将 words.tgz 中的内容（目录 a01, a02, 等）放入 img 目录

运行训练

• 如果您想从头开始训练，请删除 model 目录中的文件
• 进入 src 目录，执行 python main.py --mode train --data_dir path/to/IAM
• IAM 数据集被划分为 95% 的训练数据和 5% 的验证数据
• 如果指定了 --line_mode 选项， 模型将基于将多个单词图像组合成一张图像的文本行图像进行训练
• 当经过固定数量的轮次后仍无改进时，训练将停止

预训练的单词模型是在 GTX 1050 Ti 显卡上使用以下命令训练的：

python main.py --mode train --fast --data_dir path/to/iam  --batch_size 500 --early_stopping 15

而文本行模型则是使用以下命令训练的：

python main.py --mode train --fast --data_dir path/to/iam  --batch_size 250 --early_stopping 10

快速图像加载

即使只使用小型 GPU，从磁盘加载和解码 PNG 图像文件仍然是瓶颈。为了加速图像加载，使用了 LMDB 数据库：

• 这里进入 src 目录，运行 create_lmdb.py --data_dir path/to/iam，指定 IAM 数据集目录
• 在 IAM 数据集目录中会创建一个名为 lmdb 的子文件夹，其中包含 LMDB 文件
• 在训练模型时，添加命令行选项 --fast

数据集应位于 SSD 驱动器上。使用 --fast 选项并在 GTX 1050 Ti 上以 500 的批量大小训练单个单词大约需要 3 小时。而训练文本行则需要更长的时间。

模型相关信息

该模型是我为 我的论文 实现的 HTR 系统的精简版本。它保留了以可接受的准确率识别文本所需的最低限度功能。模型由 5 层 CNN、2 层 RNN（LSTM）以及 CTC 损失和解码层组成。更多细节请参阅这篇 Medium 文章。

参考文献

• 使用 TensorFlow 构建手写文本识别系统
• Scheidl - 历史文献中的手写文本识别
• Scheidl - 词束搜索：一种连接时序分类解码算法

SimpleHTR 快速上手指南

SimpleHTR 是一个基于 TensorFlow 实现的手写文本识别（HTR）系统，支持识别单个单词或整行文本。本项目在 IAM 离线手写数据集上训练，字符错误率约为 10%。

环境准备

• 操作系统: Linux, macOS 或 Windows
• Python: 建议 Python 3.6+
• 深度学习框架: TensorFlow 2.x (代码已兼容 TF2)
• 依赖库:

  pip install tensorflow opencv-python numpy
  

  (注：如需使用更快的数据加载功能，需额外安装 lmdb)

安装步骤

1. 克隆仓库

   git clone https://github.com/githubharald/SimpleHTR.git
   cd SimpleHTR
   

2. 下载预训练模型 根据需求选择以下任一模型，并将解压后的内容放入项目根目录下的 model 文件夹中：

   • 单词模型 (推荐用于单字识别，准确率更高): 下载链接
   • 文本行模型 (支持一行多词识别): 下载链接

   操作示例:

   mkdir -p model
   # 假设已下载 word-model.zip
   unzip word-model.zip -d model/
   

3. (可选) 集成高级解码器 若需使用更精准的 "Word Beam Search" 解码器（需字典约束），请执行：

   git clone https://github.com/githubharald/CTCWordBeamSearch.git
   cd CTCWordBeamSearch
   pip install .
   cd ..
   

基本使用

进入 src 目录即可运行推理。

1. 识别单个单词图片

使用默认配置（加载单词模型）：

cd src
python main.py

输出示例:

Init with stored values from ../model/snapshot-13
Recognized: "word"
Probability: 0.9806370139122009

2. 识别整行文本图片

指定图片路径并使用文本行模型（确保 model 目录下放置的是 line-model）：

python main.py --img_file ../data/line.png

输出示例:

Init with stored values from ../model/snapshot-13
Recognized: "or work on line level"
Probability: 0.6674373149871826

3. 常用参数说明

• --img_file: 指定待识别的图片路径。
• --decoder: 选择解码器，可选 bestpath (默认), beamsearch, wordbeamsearch。
• --mode: 切换模式，可选 infer (默认), train, validate。

(进阶训练及数据集准备请参考项目原始文档)