AdvancedEAST

AdvancedEAST 是一种用于场景图像文本检测的算法， 其主要基于 EAST:一种高效准确的场景文本检测器， 并在原基础上进行了显著改进， 使得长文本的预测更加准确。 如果这个项目对您有所帮助，欢迎点赞。 如果您有任何问题，请随时联系我。

• 邮箱：yijie.huo@foxmail.com
• 网站：https://huoyijie.cn

优势

• 使用 Keras 编写，易于阅读和运行
• 基于 EAST 这一先进的文本检测算法
• 模型训练简单
• 进行了显著改进，长文本预测更准确。（请参阅下方的“demo 结果”部分， 并注意以黄色网格开始、绿色网格结束的激活图。）

在我的实验中， AdvancedEast 在预测精度上远超 EAST， 尤其是在处理长文本时表现尤为突出。由于 EAST 是通过所有像素预测顶点坐标的加权平均来计算最终顶点坐标，因此很难准确预测四边形另一侧的两个顶点。 以下是摘自原始论文的 EAST 局限性说明：

项目文件

• 配置文件：cfg.py，控制参数
• 数据预处理： preprocess.py，调整图像大小
• 标签数据生成： label.py，生成标签信息
• 定义网络结构： network.py
• 定义损失函数： losses.py
• 执行训练： advanced_east.py 和 data_generator.py
• 文本预测： predict.py 和 nms.py

后处理流程说明参见 后处理（含原理图）

网络架构

• AdvancedEast

网络输出说明： 输出层分别为：1位分数图，表示该像素是否位于文本框内；2位顶点编码，表示该像素是否属于文本框边界以及是头部还是尾部；4位几何信息，表示边界像素可预测的两个顶点坐标。所有像素共同构成文本框形状，而只有边界像素参与顶点坐标的回归预测。边界像素定义为黄色和绿色框内部的所有像素，通过这些边界像素预测值的加权平均来预测头部或尾部短边两端的两个顶点。头部和尾部的边界像素分别预测2个顶点，最终得到4个顶点坐标。

原理简介（含原理图）

• EAST

环境配置

• Python 3.6.3+
• tensorflow-gpu 1.5.0+（或 tensorflow 1.5.0+）
• Keras 2.1.4+
• numpy 1.14.1+
• tqdm 4.19.7+

训练

• 天池 ICPR 数据集下载 链接: https://pan.baidu.com/s/1NSyc-cHKV3IwDo6qojIrKA 密码: ye9y

• 准备训练数据：创建数据根目录（icpr）， 将图片和标注文件复制到根目录下， 数据格式详情可参考“ICPR MTWI 2018 挑战赛二：网络图像的文本检测”， 链接

• 修改 cfg.py 中的配置参数，可参考默认值。

• 使用 python preprocess.py 将图像分别调整为 256256、384384、512512、640640、736*736 的尺寸， 然后分别进行训练，可以加快训练速度。

• 使用 python label.py 生成标签数据。

• 使用 python advanced_east.py 开始训练。

• 使用 python predict.py -p demo/001.png 进行预测。

• 预训练模型下载（用于测试） 链接: https://pan.baidu.com/s/1KO7tR_MW767ggmbTjIJpuQ 密码: kpm2

demo 结果

• 与基于 VGG16 的 EAST 对比

如您所见，尽管文本区域的预测非常准确，但顶点坐标却不够精确。

许可证

代码采用 MIT 许可证发布。

参考文献

• EAST:一种高效准确的场景文本检测器

• CTPN:利用连接主义文本提案网络检测自然图像中的文本

• 深度匹配先验网络：迈向更精确的多方向文本检测

网络输出说明： 输出层分别为：1位分数图，表示该像素是否位于文本框内；2位顶点编码，表示该像素是否属于文本框边界以及是头部还是尾部；4位几何信息，表示边界像素可预测的两个顶点坐标。所有像素共同构成文本框形状，而只有边界像素参与顶点坐标的回归预测。边界像素定义为黄色和绿色框内部的所有像素，通过这些边界像素预测值的加权平均来预测头部或尾部短边两端的两个顶点。头部和尾部的边界像素分别预测2个顶点，最终得到4个顶点坐标。

原理简介（含原理图）

后处理流程说明参见 后处理（含原理图）

A Simple RaspberryPi Car Project

AdvancedEAST 快速上手指南

AdvancedEAST 是一种基于 EAST 算法改进的场景文本检测工具，特别优化了长文本的检测精度。本项目使用 Keras 编写，易于阅读、运行和训练。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python 版本: 3.6.3+
• 核心依赖:
  • tensorflow-gpu 1.5.0+ (或 tensorflow 1.5.0+)
  • keras 2.1.4+
  • numpy 1.14.1+
  • tqdm 4.19.7+

提示：建议使用 pip 安装依赖。国内用户可使用清华源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu keras numpy tqdm

安装与数据准备

1. 克隆项目代码

   git clone <项目仓库地址>
   cd AdvancedEAST
   

2. 准备训练数据

   • 下载数据集（以天池 ICPR 数据集为例）：
     • 链接: https://pan.baidu.com/s/1NSyc-cHKV3IwDo6qojIrKA 密码：ye9y
   • 创建数据根目录（例如 icpr），将图片文件和对应的标注 txt 文件放入该目录。
   • 数据格式详情参考：ICPR MTWI 2018 挑战赛二

3. 配置参数

   • 打开 cfg.py 文件，根据实际需求修改配置参数（默认值通常可直接使用）。

4. 数据预处理 执行以下命令将图像调整为多种尺寸（256~736），分别训练可加速收敛：

   python preprocess.py
   

5. 生成标签

   python label.py
   

(可选) 下载预训练模型用于测试：

• 链接: https://pan.baidu.com/s/1KO7tR_MW767ggmbTjIJpuQ 密码：kpm2

基本使用

1. 训练模型

运行主训练脚本开始训练：

python advanced_east.py

2. 推理预测

使用训练好的模型对单张图片进行文本检测。以下命令将对 demo/001.png 进行预测：

python predict.py -p demo/001.png

输出说明： 程序运行后将生成激活图（展示黄色/绿色边界像素网格）和预测结果图（展示最终文本框）。AdvancedEAST 通过加权平均边界像素的预测值来回归顶点坐标，相比原版 EAST 能更准确地定位长文本的四角顶点。

原理深入：如需了解网络输出细节（Score map, Vertex code, Geo）及后置处理原理，请访问作者博客：

• 原理简介
• 后置处理说明