文本检测-CTPN

文本检测主要基于 CTPN（连接主义文本建议网络）。该实现使用 TensorFlow。我以身份证检测为例展示结果，但需要注意的是，此模型几乎可用于所有水平场景下的文本检测任务。原始论文可在此处找到 here。此外，基于 Caffe 的原始仓库可在 here 找到。有关论文和代码的更多详细信息，请参阅此 博客。如果您有任何问题，请先查看 Issues，若问题仍未解决，请新建一个 Issue。

---

路线图

• 冻结计算图以便于推理
• 纯 Python、Cython NMS 和 CUDA NMS
• 论文中提到的损失函数
• 有向文本连接器
• BLSTM

---

演示

• 若要快速演示，无需构建库，直接使用 demo_pb.py 进行推理即可。
• 首先，克隆仓库：git clone git@github.com:eragonruan/text-detection-ctpn.git --depth=1
• 然后，从 release 下载 pb 文件
• 将 ctpn.pb 放入 data/ 目录
• 将您的图片放入 data/demo 目录，结果将保存在 data/results 中，然后在根目录下运行演示：

python ./ctpn/demo_pb.py

---

参数

根据您的需求，可能需要修改一些参数，这些参数可在 ctpn/text.yml 中找到：

• USE_GPU_NMS # 是否使用 CUDA 实现的 NMS
• DETECT_MODE # H 表示水平模式，O 表示有向模式，默认为 H
• checkpoints_path # 我提供的模型位于 checkpoints/ 目录中，如果您自行训练模型，则会保存在 output/ 目录中

---

训练

准备工作

• 系统要求：Python 2.7、TensorFlow 1.3、Cython 0.24、opencv-python、easydict，推荐安装 Anaconda。
• 如果您没有 GPU 设备，请按照此处的说明进行 设置。
• 如果您有 GPU 设备，请通过以下命令构建库：

cd lib/utils
chmod +x make.sh
./make.sh

准备数据

• 首先，下载 VGG 网络的预训练模型，并将其放置在 data/pretrain/VGG_imagenet.npy 中。您可以从 Google Drive 或 百度网盘 下载。
• 其次，按照论文中的方法准备训练数据，或者您可以从 Google Drive 或 百度网盘 下载我准备好的数据。当然，您也可以按照以下步骤自行准备数据。
• 根据您的数据集，修改 prepare_training_data/split_label.py 中的 path 和 gt_path，然后运行：

cd lib/prepare_training_data
python split_label.py

• 这将生成当前目录下的准备数据，随后运行：

python ToVoc.py

• 将准备好的训练数据转换为 VOC 格式。这将生成一个名为 TEXTVOC 的文件夹，将其移动到 data/ 目录下，然后执行：

cd ../../data
ln -s TEXTVOC VOCdevkit2007

训练

简单地运行：

python ./ctpn/train_net.py

• 您可以在 ctpn/text.yml 中调整一些超参数，或者直接使用我设定的参数。
• 我在 checkpoints 目录中提供的模型是在 GTX1070 上训练了 50,000 次迭代得到的。
• 如果使用 CUDA NMS，每次迭代大约需要 0.2 秒，因此完成 50,000 次迭代大约需要 2.5 小时。

---

部分结果

注意： 下面使用的所有照片均来自互联网。如果对您造成影响，请联系我删除。

---

有向文本连接器

• 有向文本连接器已经实现并可以正常工作，但仍需进一步改进。
• 左图为 DETECT_MODE 设置为 H 时的结果，右图为 DETECT_MODE 设置为 O 时的结果。

---

text-detection-ctpn 快速上手指南

text-detection-ctpn 是一个基于 TensorFlow 实现的文本检测工具，核心算法为 CTPN（Connectionist Text Proposal Network）。该模型主要适用于水平场景的文本检测任务（如身份证识别），同时也支持倾斜文本检测。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: Python 2.7
• 深度学习框架: TensorFlow 1.3
• 其他依赖:
  • Cython 0.24
  • opencv-python
  • easydict
• 硬件建议: 推荐使用 NVIDIA GPU 以加速训练和推理（需安装 CUDA）。
• 环境管理: 强烈建议使用 Anaconda 创建独立虚拟环境以避免依赖冲突。

注意：如果您没有 GPU 设备，请参考项目 Issue #43 进行 CPU 模式配置。

安装步骤

1. 克隆项目

使用以下命令克隆仓库（仅下载最新提交以节省时间）：

git clone git@github.com:eragonruan/text-detection-ctpn.git --depth=1
cd text-detection-ctpn

2. 安装 Python 依赖

确保已安装上述要求的 Python 包。如果使用 pip：

pip install tensorflow==1.3 cython==0.24 opencv-python easydict

3. 编译底层库 (GPU 用户必选)

如果您拥有 GPU 并希望使用 CUDA 加速的 NMS（非极大值抑制），需要编译 C++ 扩展库：

cd lib/utils
chmod +x make.sh
./make.sh
cd ../..

若无 GPU，可跳过此步，但推理速度会较慢。

4. 下载预训练模型

为了直接运行演示，需要下载冻结后的模型文件 (ctpn.pb)：

1. 访问 Releases 页面 下载 ctpn.pb。
2. 将下载的文件放入 data/ 目录下。

(可选) 如需从头训练，还需下载 VGG 预训练权重 (VGG_imagenet.npy) 放入 data/pretrain/，并准备 VOC 格式的训练数据集。

基本使用

完成上述安装后，您可以立即运行简单的文本检测演示。

1. 准备测试图片

将您需要检测的图片放入 data/demo 目录中。

2. 运行检测脚本

在项目根目录下执行以下命令：

python ./ctpn/demo_pb.py

3. 查看结果

检测完成后，结果图片将自动保存在 data/results 目录中。图片中会用框线标出检测到的文本区域。

参数调整 (进阶)

如需修改检测模式或启用 GPU NMS，可编辑 ctpn/text.yml 文件：

• USE_GPU_NMS: 设置为 True 以启用 CUDA NMS（需编译过库）。
• DETECT_MODE:
  • H: 水平模式（默认，适用于大多数场景）。
  • O: 倾斜模式（适用于有角度的文本）。
• checkpoints_path: 指定模型权重路径。