卷积循环神经网络

本软件实现了卷积循环神经网络（CRNN），它结合了卷积神经网络、循环神经网络和CTC损失函数，适用于基于图像的序列识别任务，例如场景文本识别和光学字符识别。有关详细信息，请参阅我们的论文：http://arxiv.org/abs/1507.05717。

更新 2017年3月14日 项目中已添加Docker文件。感谢@varun-suresh。

更新 2017年5月1日 @meijieru 已将其移植到PyTorch，详见此处。

更新 2017年6月19日 对于端到端的文本检测与识别系统，请查看@AKSHAYUBHAT实现的CTPN+CRNN。

构建

该软件仅在Ubuntu 14.04 (x64)上进行了测试。需要支持CUDA的GPU。要构建该项目，首先安装最新版本的Torch7、fblualib和LMDB。请分别按照它们的安装说明进行操作。在Ubuntu上，可以通过apt-get install liblmdb-dev来安装lmdb。

要构建项目，进入src/目录并执行sh build_cpp.sh以编译C++代码。如果成功，将在src/目录下生成名为libcrnn.so的文件。

运行示例

示例程序位于src/demo.lua。在运行示例之前，请从这里下载预训练模型。将下载的模型文件crnn_demo_model.t7放入model/crnn_demo/目录中。然后通过以下命令启动示例：

th demo.lua

该示例会读取一张示例图像并识别其中的文本内容。

示例图像：

预期输出：

Loading model...
Model loaded from ../model/crnn_demo/model.t7
Recognized text: available (raw: a-----v--a-i-l-a-bb-l-e---)

另一个示例：

Recognized text: shakeshack (raw: ss-h-a--k-e-ssh--aa-c--k--)

使用预训练模型

预训练模型可用于无词典和有词典的识别任务。有关详细信息，请参考utilities.lua文件中的recognizeImageLexiconFree和recognizeImageWithLexicion函数。

训练新模型

请按照以下步骤在您自己的数据集上训练新模型。

1. 创建一个新的LMDB数据集。工具脚本tool/create_dataset.py中提供了一个Python程序。请参考createDataset函数了解详情（需先运行pip install lmdb）。
2. 在model/目录下创建一个新的模型目录，例如model/foo_model。然后在该目录下创建配置文件config.lua。您可以复制model/crnn_demo/config.lua并进行修改。
3. 进入src/目录，执行th main_train.lua ../models/foo_model/。模型快照和日志文件将保存到该模型目录中。

使用Docker构建

1. 安装Docker。请按照此处的说明进行操作。
2. 安装nvidia-docker - 请按照此处的说明进行操作。
3. 克隆本仓库，在该目录下运行docker build -t crnn_docker .
4. 镜像构建完成后，可以使用nvidia-docker run -it crnn_docker来运行容器。

引用

如果您在研究论文中使用了本代码或模型，请引用以下论文：

@article{ShiBY17,
  author    = {Baoguang Shi and
               Xiang Bai and
               Cong Yao},
  title     = {An End-to-End Trainable Neural Network for Image-Based Sequence Recognition
               and Its Application to Scene Text Recognition},
  journal   = {{IEEE} Trans. Pattern Anal. Mach. Intell.},
  volume    = {39},
  number    = {11},
  pages     = {2298--2304},
  year      = {2017}
}

致谢

作者谨向Torch7、TH++、lmdb-lua-ffi和char-rnn的开发者表示感谢。

如果您遇到任何问题，请随时告知我。

CRNN 快速上手指南

CRNN（Convolutional Recurrent Neural Network）是一个结合 CNN、RNN 和 CTC 损失函数的深度学习模型，专为基于图像的序列识别任务设计，广泛应用于场景文本识别和 OCR 领域。

环境准备

本项目主要基于 Torch7 框架开发，对运行环境有特定要求：

• 操作系统：仅在 Ubuntu 14.04 (x64) 上经过测试（其他 Linux 发行版可能需自行调整）。
• 硬件要求：必须配备支持 CUDA 的 NVIDIA GPU。
• 核心依赖：
  • Torch7 (最新版)
  • fblualib
  • LMDB (Ubuntu 下可通过 apt-get install liblmdb-dev 安装)
  • Python (用于数据集制作，需安装 lmdb 包：pip install lmdb)

注意：官方也提供了 PyTorch 版本的移植实现（crnn.pytorch），如果您更熟悉 PyTorch 生态，建议优先使用该版本。本指南针对原始 Torch7 版本。

安装步骤

1. 安装基础依赖

请参照各官方文档安装 Torch7 和 fblualib。安装 LMDB 开发库：

sudo apt-get install liblmdb-dev

2. 编译 C++ 代码

进入源码目录并执行构建脚本：

cd src/
sh build_cpp.sh

构建成功后，src/ 目录下将生成 libcrnn.so 文件。

3. (可选) 使用 Docker 部署

如果您希望避免复杂的环境配置，可以使用 Docker：

# 构建镜像
docker build -t crnn_docker .

# 运行容器 (需预先安装 nvidia-docker)
nvidia-docker run -it crnn_docker

基本使用

以下演示如何加载预训练模型进行简单的文本识别。

1. 下载预训练模型

从以下地址下载演示模型 crnn_demo_model.t7： 下载链接

2. 放置模型文件

将下载的模型文件放入指定目录（若目录不存在请自行创建）：

mkdir -p model/crnn_demo
mv crnn_demo_model.t7 model/crnn_demo/
# 注意：根据 demo 代码逻辑，可能需要将文件重命名为 model.t7 或修改 demo.lua 中的路径
# 此处假设按照 README 默认逻辑，文件名为 crnn_demo_model.t7 且代码已适配，
# 若运行报错找不到文件，请检查 demo.lua 中的加载路径。

注：根据原文描述，demo 期望加载 ../model/crnn_demo/model.t7，建议将下载的文件重命名：

mv model/crnn_demo/crnn_demo_model.t7 model/crnn_demo/model.t7

3. 运行演示

在 src/ 目录下运行演示程序：

th demo.lua

预期输出示例：

Loading model...
Model loaded from ../model/crnn_demo/model.t7
Recognized text: available (raw: a-----v--a-i-l-a-bb-l-e---)

4. 训练新模型（简要流程）

若需使用自己的数据集训练：

1. 制作数据集：使用 tool/create_dataset.py 创建 LMDB 格式数据集。
2. 配置模型：在 model/ 下新建目录（如 foo_model），复制并修改 config.lua。
3. 开始训练：

   cd src/
   th main_train.lua ../models/foo_model/