EAST：一种高效且准确的场景文本检测器

简介

这是对 EAST: An Efficient and Accurate Scene Text Detector 的 TensorFlow 重新实现。 其特点总结如下：

• 在线演示
  • http://east.zxytim.com/
  • 结果示例：http://east.zxytim.com/?r=48e5020a-7b7f-11e7-b776-f23c91e0703e
  • 注意事项：演示服务器仅有一颗 CPU 核心。同时访问会降低响应速度。
• 只实现了 RBOX 部分。
• 论文作者提供的 C++ 实现的快速局部感知 NMS。
• 提供的预训练模型在 ICDAR 2015 Incidental Scene Text Detection Challenge 数据集上达到了 80.83 的 F1 分数，仅使用了 ICDAR 2015 和 2013 的训练图像。 详细结果请参见 这里。
• 与原论文的不同之处
  • 使用 ResNet-50 而不是 PVANET
  • 使用 Dice 损失（优化分割的 IoU）而不是平衡交叉熵
  • 使用线性学习率衰减而不是分阶段学习率衰减
• 在 720p（分辨率为 1280x720）图像上的速度：
  • 目前
    • 显卡：GTX 1080 Ti
    • 网络前向传播：~50 ms
    • NMS（C++）：~6 ms
    • 整体：~16 fps
  • 当时
    • 显卡：K40
    • 网络前向传播：~150 ms
    • NMS（Python）：~300 ms
    • 整体：~2 fps

感谢作者 (@zxytim) 的帮助！ 如果您觉得本项目有用，请引用他的 论文。

目录

1. 安装
2. 下载
3. 演示
4. 测试
5. 训练
6. 示例

安装

1. 任何版本的 TensorFlow（> 1.0）均可。

下载

1. 在 ICDAR 2013（训练集）+ ICDAR 2015（训练集）上训练的模型：百度网盘链接 GoogleDrive
2. TensorFlow Slim 提供的 ResNet V1 50：slim resnet v1 50

训练

如果您想训练模型，需要提供数据集路径，并且在数据集路径中为每张图片单独提供一个 GT 文本文件，然后运行：

python multigpu_train.py --gpu_list=0 --input_size=512 --batch_size_per_gpu=14 --checkpoint_path=/tmp/east_icdar2015_resnet_v1_50_rbox/ \
--text_scale=512 --training_data_path=/data/ocr/icdar2015/ --geometry=RBOX --learning_rate=0.0001 --num_readers=24 \
--pretrained_model_path=/tmp/resnet_v1_50.ckpt

如果您有多块 GPU，可以将 GPU ID 传递给 gpu_list（例如 --gpu_list=0,1,2,3）。

注意：您需要将 ICDAR 2015 数据集中的 GT 文本文件名从 gt_img_*.txt 改为 img_*.txt（或者修改 icdar.py 中的代码），并且还需要从文件中移除一些多余的字符。 请参考 training_samples 中的示例。

演示

如果您已经下载了预训练模型，可以通过以下命令搭建演示服务器：

python3 run_demo_server.py --checkpoint-path /tmp/east_icdar2015_resnet_v1_50_rbox/

然后打开 http://localhost:8769 即可访问网页演示。请注意，提交图片后 URL 会发生变化， 例如 ?r=49647854-7ac2-11e7-8bb7-80000210fe80 会被追加到 URL 后面，从而使该 URL 具有持久性。 只要您不删除 static/results 中的数据，就可以使用相同的 URL 将结果分享给朋友。

示例 URL 如下：http://east.zxytim.com/?r=48e5020a-7b7f-11e7-b776-f23c91e0703e

测试

运行以下命令：

python eval.py --test_data_path=/tmp/images/ --gpu_list=0 --checkpoint_path=/tmp/east_icdar2015_resnet_v1_50_rbox/ \
--output_dir=/tmp/

随后会在输出路径中生成一个文本文件。

示例

以下是一些 ICDAR 2015 上的测试示例，欣赏这些漂亮的文本框吧！

故障排除

• 如何在 Windows 上编译 lanms？
  • 请参阅 https://github.com/argman/EAST/issues/120

如果您遇到任何问题，请随时联系我（邮箱：boostczc@gmail.com）。

EAST 场景文本检测快速上手指南

EAST (Efficient and Accurate Scene Text Detector) 是一个高效且准确的场景文本检测工具。本指南基于 TensorFlow 复现版本，仅实现了 RBOX（旋转框）部分，在 ICDAR 2015 数据集上 F1-score 达到 80.83。

环境准备

• 操作系统: Linux 或 Windows (Windows 编译 lanms 需参考额外说明)
• Python: 推荐 Python 3.x
• 深度学习框架: TensorFlow > 1.0
• 硬件要求:
  • 推荐使用 NVIDIA GPU (如 GTX 1080 Ti)，单张 720p 图片检测耗时约 60ms (含 NMS)。
  • 若使用 CPU，响应速度会显著下降。
• 依赖库:
  • tensorflow
  • numpy
  • Pillow
  • opencv-python (可选，用于图像处理)
  • C++ 编译器 (用于编译局部感知 NMS lanms)

安装步骤

1. 安装 Python 依赖

   pip install tensorflow numpy Pillow opencv-python
   

2. 下载预训练模型 本项目提供基于 ICDAR 2013 + 2015 训练集的预训练模型。国内用户推荐使用百度网盘下载：

   • EAST 预训练模型: 百度网盘下载
   • ResNet-50 骨干网络 (TensorFlow Slim 提供): Google Drive (如无加速条件可尝试其他镜像)

   下载后请解压，并记录模型路径（例如 /tmp/east_icdar2015_resnet_v1_50_rbox/）。

3. 编译 C++ NMS 模块 (关键步骤) EAST 使用了作者提供的快速 C++ 版 Locality-Aware NMS。进入项目根目录，通常执行以下命令编译（具体取决于项目内的 makefile 或编译脚本）：

   cd lanms
   make
   

   注意：Windows 用户若编译失败，请参考项目 Issue #120 获取特定解决方案。

基本使用

1. 启动 Web 演示服务 (推荐)

这是最简单的体验方式，启动后可在浏览器中上传图片进行测试。

python3 run_demo_server.py --checkpoint-path /tmp/east_icdar2015_resnet_v1_50_rbox/

• 启动成功后，打开浏览器访问：http://localhost:8769
• 上传图片后，URL 会变为类似 http://localhost:8769/?r=xxxx-xxxx... 的形式，该链接可持久化分享检测结果（只要不删除 static/results 下的数据）。

2. 命令行单张图片/目录测试

如果你希望直接生成结果文件而不使用 Web 界面：

python eval.py --test_data_path=/tmp/images/ --gpu_list=0 --checkpoint_path=/tmp/east_icdar2015_resnet_v1_50_rbox/ --output_dir=/tmp/

• --test_data_path: 待检测图片或文件夹路径。
• --gpu_list: 指定使用的 GPU ID，多卡可设为 0,1,2,3。
• --output_dir: 检测结果（文本坐标文件）的输出路径。

3. 模型训练 (可选)

若需使用自定义数据训练，请确保数据集目录下每张图对应一个 gt 文本文件（文件名格式需为 img_*.txt，而非 gt_img_*.txt，且需去除多余字符）。

python multigpu_train.py --gpu_list=0 --input_size=512 --batch_size_per_gpu=14 --checkpoint_path=/tmp/east_icdar2015_resnet_v1_50_rbox/ --text_scale=512 --training_data_path=/data/ocr/icdar2015/ --geometry=RBOX --learning_rate=0.0001 --num_readers=24 --pretrained_model_path=/tmp/resnet_v1_50.ckpt