ASTER：具有灵活校正机制的注意力场景文本识别器

本仓库使用 PyTorch 实现了 ASTER。原始代码可在 这里找到。

ASTER 是一种准确的场景文本识别器，具备灵活的校正机制。相关研究论文可参见 这里。

安装

conda env create -f environment.yml

训练

注意：有用户反映，在进行少量修改后无法复现报告中的性能，例如 1 和 2。由于我没有尝试过其他设置，因此无法保证在不同配置下获得相同的结果。为复现结果，请直接运行以下脚本，无需任何修改：

bash scripts/stn_att_rec.sh

测试

您可以使用 .lmdb 文件进行测试：

bash scripts/main_test_all.sh

或者使用单张图片进行测试：

bash scripts/main_test_image.sh

预训练模型

预训练模型已发布在我们的 release 页面。请下载 demo.pth.tar 并将其放置到指定位置。在运行前，请将 --resume 参数修改为该文件的路径。

复现结果

	IIIT5k	SVT	IC03	IC13	IC15	SVTP	CUTE
ASTER (L2R)	92.67	-	93.72	90.74	-	78.76	76.39
ASTER.Pytorch	93.2	89.2	92.2	91	78.0	81.2	81.9

目前，我的实现中尚未包含 ASTER 中提出的双向注意力解码器。

您可以使用这些代码作为起点，开展自己的文本识别研究项目。

数据准备

我们提供了一个构建自定义数据集的示例。详细信息请参阅 tools/create_svtp_lmdb.py。

此外，我们还提供了用于 训练（密码：wi05）和 测试 的数据集。

引用

如果您认为该项目对您的研究有所帮助，请引用以下论文：

@article{bshi2018aster,
  author    = {Baoguang Shi and
               Mingkun Yang and
               Xinggang Wang and
               Pengyuan Lyu and
               Cong Yao and
               Xiang Bai},
  title     = {ASTER: An Attentional Scene Text Recognizer with Flexible Rectification},
  journal   = {IEEE Transactions on Pattern Analysis and Machine Intelligence}, 
  volume    = {41},
  number    = {9},
  pages     = {2035--2048},
  year      = {2019},
}

@inproceedings{ShiWLYB16,
  author    = {Baoguang Shi and
               Xinggang Wang and
               Pengyuan Lyu and
               Cong Yao and
               Xiang Bai},
  title     = {Robust Scene Text Recognition with Automatic Rectification},
  booktitle = {2016 {IEEE} Conference on Computer Vision and Pattern Recognition,
               {CVPR} 2016, Las Vegas, NV, USA, June 27-30, 2016},
  pages     = {4168--4176},
  year      = {2016}
}

重要提示：尽管本软件采用 MIT 许可证，但我们的初衷是使其仅用于学术研究目的。如果您计划将其应用于商业产品中，建议您就可能的专利问题与我们联系：xbai@hust.edu.cn。

ASTER.pytorch 快速上手指南

ASTER (Attentional Scene Text Recognizer) 是一个具有灵活校正机制的高精度场景文本识别工具。本指南基于 PyTorch 实现版本，帮助开发者快速部署和测试。

环境准备

• 系统要求：Linux 操作系统（推荐 Ubuntu）。
• 前置依赖：需安装 Conda 包管理工具。
• 硬件建议：建议使用支持 CUDA 的 NVIDIA GPU 以获得最佳训练和推理速度。

安装步骤

本项目通过 Conda 环境文件自动配置所有依赖。请在项目根目录下执行以下命令创建虚拟环境：

conda env create -f environment.yml

创建完成后，激活环境：

conda activate aster

(注：具体环境名称请以 environment.yml 中定义的 name 字段为准)

基本使用

1. 准备预训练模型

下载官方提供的预训练模型 demo.pth.tar：

• 下载地址：GitHub Release
• 国内加速：如果下载缓慢，可尝试使用迅雷或代理加速，或将文件下载后上传至服务器。

将下载的文件放置在任意目录（例如 ./pretrained/），并记住该路径。

2. 单张图片测试

这是最简单的使用方式，用于对单张场景图片进行文字识别。

修改脚本 scripts/main_test_image.sh，将 --resume 参数指向你下载的模型路径，然后运行：

bash scripts/main_test_image.sh

3. 批量数据集测试

如果你已准备好 .lmdb 格式的测试数据集，可以使用以下命令进行批量评估：

bash scripts/main_test_all.sh

4. 开始训练（可选）

若需复现论文结果或训练自己的模型，请直接运行以下脚本。注意：为保证性能复现，请勿随意修改脚本内的默认参数。

bash scripts/stn_att_rec.sh

---

数据准备提示： 如需构建自定义数据集，可参考 tools/create_svtp_lmdb.py 脚本。作者提供了部分训练和测试数据的下载链接（包含百度网盘源），详见原文 README 的 "Data preparation" 章节。