概述

本集合展示了如何使用卷积神经网络特征作为输入，结合CTC损失函数，构建并训练一个深层、双向的堆叠LSTM模型，以实现鲁棒的单词识别。

该模型是Shi等人提出的CRNN架构（arXiv:1507.0571）的直接改编。提供的代码会下载并使用Jaderberg等人的人工合成数据集（IJCV 2016，DOI: 10.1007/s11263-015-0823-z），即MJSynth数据集进行训练。

值得注意的是，当在大小写不敏感且词汇表固定的MJSynth数据集上进行训练和测试时，该模型的测试单词错误率（1.82%）低于CRNN。

代码基于Python 2.7编写，需要TensorFlow >=1.10版本（虽然TF>1.10会出现弃用警告，但代码仍可正常运行）。

该模型及其后续实验在Weinman等人的ICDAR 2019论文中有更详细的描述。

结构

该模型结合了Shi等人的CRNN架构（arXiv:1507.0571）和VGG深度卷积网络的特点，通过堆叠成对的小型3x3卷积核来减少参数量。此外，池化操作也在水平方向上进行了限制，以保留用于字符识别的分辨率。每个字符至少需要一个水平方向上的特征元素。

假设输入图像为32x32像素，各层的尺寸变化如下：

层	操作	卷积核大小	步幅(v,h)	输出尺寸	H	W	填充方式
1	卷积	3	1	64	30	30	valid
2	卷积	3	1	64	30	30	same
	池化	2	2	64	15	15
3	卷积	3	1	128	15	15	same
4	卷积	3	1	128	15	15	same
	池化	2	2,1	128	7	14
5	卷积	3	1	256	7	14	same
6	卷积	3	1	256	7	14	same
	池化	2	2,1	256	3	13
7	卷积	3	1	512	3	13	same
8	卷积	3	1	512	3	13	same
	池化	3	3,1	512	1	13
9	LSTM			512
10	LSTM			512

为了加速训练，在每个池化层之前加入了批归一化层，并在整个网络中使用ReLU非线性激活函数。其他模型细节可以在代码中轻松找到。

默认的训练机制使用ADAM优化器，并配合学习率衰减策略。

与CRNN的区别

更深的早期卷积层

原始CRNN在前两个卷积/池化阶段仅使用单个3x3卷积层，而本网络则采用了成对的3x3卷积核序列。这一改动增加了网络早期阶段的理论感受野。

作为权衡，我们省略了CRNN中计算开销较大的2x2x512最终卷积层。取而代之的是，本网络在剩余的三行特征上进行垂直最大池化，从而在每个水平位置上将特征压缩为一个512维的特征向量。

这些改动的组合既保持了最终CNN层的理论感受野大小，又将需要学习的卷积参数数量减少了15%。

填充方式

另一个重要区别在于第一卷积层没有使用零填充，这可能会导致边缘区域出现虚假的强响应。通过将第一卷积限制在有效区域内，该模型会从响应特征图中去除最外层的像素值（高度从32减小到30，宽度减少两个像素）。

这种方法似乎优于让网络去学习忽略靠近图像边缘的强卷积响应（可能通过削弱后续卷积层的滤波器强度来实现）。

批归一化

我们在每一对卷积之后都加入了批归一化层（即上述编号的第2、4、6和8层）。而CRNN在其前两个卷积阶段并未使用批归一化。因此，我们的模型需要更多的计算资源，以期减少达到收敛所需的训练迭代次数。

下采样/步幅

CRNN的前两个池化阶段在两个空间维度上均以步幅2进行下采样。而本模型则只在第一个池化阶段之后进行水平方向的下采样，以保持序列长度。

由于输出特征图必须为每个预测的字符提供至少一个时间切片，过度的下采样可能导致无法表示或预测非常紧凑或狭窄的字符序列。通过减少水平方向的下采样，本模型能够识别窄字体中的单词。

然而，水平分辨率的提高也意味着LSTM需要捕捉更多信息。因此，本模型使用了512个隐藏单元，而CRNN仅使用256个。我们发现，更大的隐藏单元数对于获得良好的性能是必要的。

训练

要完整训练该模型，您需要下载MJSynth数据集并将其打包成分片的TensorFlow记录文件。然后可以启动训练进程、TensorBoard监控以及持续的评估线程。相关命令已封装在随附的Makefile中。

make mjsynth-download
make mjsynth-tfrecord
make train &
make monitor &
make test

要监控训练过程，只需在浏览器中访问TensorBoard输出给出的URL（例如，http://127.0.1.1:8008）即可。

请注意，下载完整的MJSynth数据集可能需要4至12小时。我们还包含了一个极小的数据子集（0.1%）的示例数据；若要运行小型演示，可跳过涉及mjsynth的前两行命令。

在GeForce GTX 1080显卡上，演示大约需要20分钟才能使验证字符错误率达到45%（使用默认参数）；在一小时左右（约7000次迭代）时，验证错误率略高于20%。

使用完整的训练数据，经过一百万次迭代后，模型通常会收敛到约5%的训练字符错误率和27.5%的单词错误率。

检查点

预训练模型检查点，DOI:11084/23328，被用于生成以下论文中的结果：

Weinman, J. 等人 (2019) 深度神经网络在历史地图中文本检测与识别中的应用。载于ICDAR会议论文集。

测试

评估脚本（src/evaluate.py）会逐批流式输出验证（或评估）数据的统计信息。它会打印当前迭代次数、评估批次损失、标签错误率（预测错误的字符百分比）以及序列错误率（预测错误的整个单词序列百分比）。

测试脚本（src/test.py）则会汇总所有数据的统计信息，并最终进行归一化处理。它会打印损失值、标签错误率、总标签数、序列错误率、总序列数，以及标签错误率和序列错误率。

验证

为了查看一小部分样本的输出，验证脚本（src/validation.py）允许您加载模型，并通过进程的标准输入一次读取一张图像，然后为每张图像打印解码后的输出。例如：

cd src ; python validate.py < ~/paths_to_images.txt

或者，您也可以在终端中逐行输入图像路径（每行一个路径），并在完成输入后按 Control-D 键来让模型对已输入的内容进行推理。

配置

有许多命令行选项可用于配置训练参数。运行 train.py 或 test.py 并加上 --help 标志即可查看这些选项，或者直接检查脚本代码。模型参数无法通过命令行配置，需要在代码中进行编辑（参见 src/model.py）。

动态训练数据

通过设置 --nostatic_data 标志，可以使用动态数据进行训练或测试。

您可以使用 --ipc_synth 布尔标志 [默认值为 True] 来决定是使用单线程合成，还是使用带缓冲的多进程合成。

当使用 --nostatic_data 时，必须同时指定 --synth_config_file 标志。

MapTextSynthesizer 库支持使用动态合成的数据进行训练。相关代码可以在 MapTextSynthesizer/tensorflow/generator 中找到。

使用词表

默认情况下，识别以“开放词汇”模式进行。也就是说，系统对生成的输出字符串没有任何限制。不过，该系统还提供“封闭词汇”模式，可以将输出高效地限制在给定的词表范围内；以及“混合词汇”模式，可以根据预设的词表优先级，选择生成词表中的词汇或非词表词汇。

使用封闭或混合词汇模式需要额外的软件。本仓库与 Harald Scheidl 的 CTCWordBeamSearch 的一个分支版本相连接，可通过以下方式获取：

git clone https://github.com/weinman/CTCWordBeamSearch
cd CTCWordBeamSearch
git checkout var_seq_len

然后按照构建说明操作，通常只需运行：

cd cpp/proj
./buildTF.sh

使用时，请确保在运行本仓库中的 test.py 或 validate.py 时，CTCWordBeamSearch/cpp/proj 目录（包含 TFWordBeamSearch.so 文件）位于 LD_LIBRARY_PATH 环境变量中。

API 注意事项

此版本使用 TensorFlow (v1.14) 的 Dataset 接口实现高效的 I/O 操作。训练、测试、验证和预测均采用自定义的 Estimator 实现。

引用本工作

如果您在自己的研究工作中使用了本代码，请引用以下论文：

@inproceedings{ weinman19deep,
    author = {Jerod Weinman and Ziwen Chen and Ben Gafford and Nathan Gifford and Abyaya Lamsal and Liam Niehus-Staab},
    title = {Deep Neural Networks for Text Detection and Recognition in Historical Maps},
    booktitle = {Proc. IAPR International Conference on Document Analysis and Recognition},
    month = {Sep.},
    year = {2019},
    location = {Sydney, Australia},
    doi = {10.1109/ICDAR.2019.00149}
} 

致谢

本研究工作得到了美国国家科学基金会的部分资助，资助编号为 1526350。

cnn_lstm_ctc_ocr 快速上手指南

本指南基于 cnn_lstm_ctc_ocr 项目 README 整理，旨在帮助开发者快速构建并训练一个基于 CNN-LSTM-CTC 架构的鲁棒文字识别模型。该模型是 CRNN 架构的改进版，在 MJSynth 数据集上表现优异。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置相应兼容环境)
• Python 版本: Python 2.7 (注：项目原生为 Py2 编写，虽 TF>1.10 有警告但仍可运行。若需在 Python 3 运行，可能需要自行修改代码适配)
• 深度学习框架: TensorFlow >= 1.10 (推荐 v1.14，利用 Dataset API 加速 I/O)
• 硬件建议: NVIDIA GPU (如 GeForce GTX 1080 或更高)，用于加速训练过程
• 构建工具: make, git

安装步骤

1. 克隆代码库

首先获取源代码：

git clone https://github.com/weinman/cnn_lstm_ctc_ocr.git
cd cnn_lstm_ctc_ocr

2. 准备数据与训练

项目提供了 Makefile 来自动化数据处理和训练流程。

方案 A：完整训练（下载 MJSynth 数据集） 注意：完整数据集下载可能需要 4-12 小时。

make mjsynth-download
make mjsynth-tfrecord
make train &
make monitor &
make test

方案 B：快速演示（使用内置小样本） 如果仅想验证流程，可跳过大数据集下载，直接使用内置的 0.1% 示例数据：

# 直接运行训练和监控（跳过前两步 mjsynth 相关命令）
make train &
make monitor &
make test

在 GTX 1080 上，演示模式约 20 分钟即可看到验证字符错误率下降。

3. 可选：安装词典搜索模块（封闭词表模式）

默认情况下模型处于“开放词表”模式。若需使用“封闭词表”或“混合词表”模式以提高特定词汇表的识别率，需编译额外的 CTCWordBeamSearch 库：

git clone https://github.com/weinman/CTCWordBeamSearch
cd CTCWordBeamSearch
git checkout var_seq_len
cd cpp/proj
./buildTF.sh

编译完成后，确保运行测试时将生成的 .so 文件路径加入 LD_LIBRARY_PATH。

基本使用

监控训练进度

启动训练后，可以通过 TensorBoard 实时监控损失和准确率。根据终端输出的 URL 访问（通常为本地地址）：

http://127.0.1.1:8008

(请在浏览器中打开实际输出的地址)

单张图片推理验证

使用 validate.py 脚本加载模型并对单张或多张图片进行识别测试。

方法一：通过文件列表输入 创建一个包含图片路径的文件（例如 paths_to_images.txt），然后运行：

cd src
python validate.py < ~/paths_to_images.txt

方法二：交互式输入 直接在终端逐行输入图片路径，输入完成后按 Ctrl+D 执行识别：

cd src
python validate.py
# 输入图片路径...
# 输入图片路径...
# 按 Ctrl+D 结束输入并查看结果

评估模型性能

若需统计整个验证集的详细指标（如字符错误率 CER、单词错误率 WER），可使用评估脚本：

python src/evaluate.py

或使用汇总统计脚本：

python src/test.py

配置说明

• 训练参数: 大多数超参数（如学习率、优化器等）可通过命令行 --help 查看并配置。
• 模型结构: 网络层数、卷积核大小等核心架构参数需直接编辑 src/model.py 文件。
• 动态数据合成: 若需使用动态合成数据训练，需添加 --nostatic_data 标志并配合 MapTextSynthesizer 库使用。