场景文本定位与识别资源

按研究所阅读：英文，简体中文。

按年份阅读：英文，简体中文。

标签：[STL]（场景文本定位），[TR]（文本识别）

[STL]（场景文本定位）从场景输入图像中检测文本区域

[TR]（文本识别）识别文本内容

最后更新：2023年9月17日

1. 论文与代码

概述

• [2020-arxiv] 自然场景下的文本检测与识别：综述 paper
• [2020-arxiv] 自然场景下的文本识别：综述 paper
• [2020-IJCV] 场景文本检测与识别：深度学习时代 paper
• [2019-ICCV] 场景文本识别模型比较存在什么问题？数据集与模型分析 paper code
• [2016-TIP] 视频中的文本检测、跟踪与识别：全面综述 paper
• [2015-PAMI] 图像中的文本检测与识别：综述 paper
• [2014-Front.Comput.Sci] 场景文本检测与识别：最新进展与未来趋势 paper

牛津大学

• [2020-ECCV][STL][TR] 基于视觉匹配的自适应文本识别 paper code
• [2018-BMVC][TR] 归纳式视觉定位：分解训练以实现更优的泛化能力 paper
• [2016-IJCV][STL][TR] 使用卷积神经网络在自然场景中阅读文本 paper demo homepage
• [2016-CVPR][STL] 用于自然图像中文本定位的合成数据 paper code data
• [2015-ICLR][TR] 非约束条件下文本识别的深度结构化输出学习 paper
• [2015-博士论文][STL] 文本定位的深度学习 paper code
• [2014-ECCV][STL] 文本定位的深度特征 paper code model
• [2014-NIPS][TR] 用于自然场景文本识别的合成数据和人工神经网络 paper homepage model

深圳先进技术研究院

• [2018-arxiv][STL][TR] FOTS：统一网络的快速方向性文本定位 paper
• [2016-ECCV][STL] CTPN：基于连接主义文本提案网络的自然图像中文本检测 paper code
• [2016-CVPR][STL] 级联卷积文本网络在自然图像中实现精确的文本定位 paper
• [2016-AAAI][STL] 在深度卷积序列中阅读场景文本 paper
• [2016-TIP][STL] 基于文本注意力机制的卷积神经网络用于场景文本检测 paper
• [2016-TIP][STL] 基于文本注意力机制的卷积神经网络用于场景文本检测 paper
• [2014-ECCV][STL] 使用卷积神经网络诱导的MSER树进行鲁棒的场景文本检测 paper

华南理工大学

• [2021-IJCV][STL] 探索无序边界框离散化网络在多方向场景文本检测中的能力 paper code
• [2021-CVPR][STL] 用于任意形状文本检测的傅里叶轮廓嵌入 paper
• [2021-CVPR][TR][STL] 隐式特征对齐：学习将文本识别器转换为文本定位器 paper code
• [2020-CVPR][TR] 学习增强：面向文本识别的联合数据增强与网络优化 paper code
• [2020-AAAI][STL][TR] 用于文本识别的解耦注意力网络 paper
• [2020-CVPR][STL][TR] ABCNet：基于自适应贝塞尔曲线网络的实时场景文本定位 paper code
• [2020-IJCV][TR] 使用对抗学习分离内容与风格以识别野外文本 paper
• [2019-Pattern Recognition][TR] 用于场景文本识别的多目标校正注意力网络 paper code
• [2019-CVPR][TR] 用于序列识别的聚合交叉熵 paper code
• [2019-arxiv][STL] 探索无序边界框离散化网络在多方向场景文本检测中的能力 paper code code
• [2019-CVPR][STL] 场景文本检测的紧致度感知评估协议 paper
• [2018-AAAI][STL] 特征增强网络：一种改进的场景文本检测器 paper
• [2017-arXiv][STL] 野外曲线文本检测：新数据集与新方案 paper
• [2020-arxiv][TR] 基于注意力的场景文本识别中的自适应嵌入门控 paper
• [2017-PAMI][TR] 利用全卷积循环网络学习空间语义上下文，用于在线手写中文文本识别 paper
• [2017-CVPR][STL] 深度匹配先验网络：迈向更紧密的多方向文本检测 paper
• [2016-arXiv][STL] DeepText：自然图像中统一的文本提案生成与文本检测框架 paper
• [2016-IEEE Transactions on Multimedia][STL] 基于卷积神经网络、通过文本结构建模的中文文本检测算法 paper

复旦大学

• [2022-AAAI][TR] Text Gestalt：笔画感知的场景文本图像超分辨率 paper code
• [2023-MM][TR] 基于增强字符轮廓匹配的汉字识别 paper code
• [2023-ICCV][TR] 通过图像-ID对齐使用预训练CLIP-like模型进行中文文本识别 paper code
• [2023-arxiv][STL][TR] 弱监督文本实例分割 paper code
• [2023-IJCAI][TR] 场景图像中与方向无关的中文文本识别 paper
• [2023-IJCAI][TR] TPS++：用于场景文本识别的注意力增强薄板样条 paper code
• [2023-IJCAI][STL][TR] 基于文本语义推理实现精准视频文本定位 paper code
• [2022-MM][TR] 基于增强字符轮廓匹配的汉字识别 paper code
• [2022-WACV][TR] 通过校正主要不规则性稳健地识别不规则场景文本 paper
• [2021-IJCAI][TR] 基于笔画级分解的零样本汉字识别 paper code
• [2022-IJCAI][TR] C3-STISR：基于三重线索的场景文本图像超分辨率 paper code
• [2021-CVPR][TR] 场景文本望远镜：以文本为中心的场景图像超分辨率 paper
• [2020-arxiv][TR] 在真实场景中使用少量标注样本进行文本识别 paper
• [2018-CVPR][TR] 场景文本识别中的编辑概率 paper
• [2017-arXiv][STL] 通过旋转提案进行任意方向场景文本检测 paper code

华中科技大学

• [2021-CVPR][STL][TR] 基于联合文本检测与相似度学习的场景文本检索 论文 代码
• [2021-CVPR][STL] MOST：一种具有定位精修功能的多方向场景文本检测器 论文
• [2020-ECCV][TR] AutoSTR：面向场景文本识别的高效骨干网络搜索 论文
• [2020-AAAI][STL][TR] 一切尽在边界：迈向任意形状文本定位 论文
• [2020-AAAI][STL] 基于可微二值化的实时场景文本检测 论文 代码
• [2020-ECCV][STL][TR] Mask TextSpotter V3：用于鲁棒场景文本定位的分割提议网络 论文 代码
• [2019-PAMI][TR] ASTER：一种带有灵活校正机制的注意力场景文本识别器 论文 代码
• [2019-AAAI][TR] 从二维视角进行场景文本识别 论文
• [2019-PAMI][STL] 水平包围盒上的滑动顶点用于多方向目标检测 论文 代码
• [2019-ICCV][TR] 用于场景文本识别的对称约束校正网络 论文
• [2018-arxiv][STL] TextField：为不规则场景文本检测学习深度方向场 论文 代码
• [2018-ECCV][TR][STL] Mask TextSpotter：一种端到端可训练的神经网络，用于检测任意形状的文本 论文
• [2018-ICIP][STL] 用于场景文本检测的特征融合网络 论文
• [2018-CVPR][STL] 基于角点定位和区域分割的多方向场景文本检测 论文
• [2018-CVPR][STL] 用于定向场景文本检测的旋转敏感回归 论文
• [2018-TIP][STL] TextBoxes++：一种单次通过的定向场景文本检测器 论文 代码
• [2017-AAAI][STL] TextBoxes：一种基于单个深度神经网络的快速文本检测器 论文 代码
• [2017-CVPR][STL] 通过连接片段检测自然图像中的定向文本 论文 代码
• [2016-CVPR][TR] 带自动校正的鲁棒场景文本识别 论文
• [2016-arXiv][STL] 基于整体多通道预测的场景文本检测 论文
• [2016-CVPR][STL] 使用全卷积网络进行多方向文本检测 论文
• [2015-PAMI][TR] 一种端到端可训练的神经网络，用于基于图像的序列识别及其在场景文本识别中的应用 论文 代码 代码
• [2014-CVPR][TR] Strokelets：一种用于场景文本识别的多尺度学习表示 论文

巴塞罗那自治大学

• [2019-ICCV][STL][TR] 场景文本视觉问答 论文
• [2018-ECCV][STL] 单次通过场景文本检索 论文
• [2017-arXiv][STL] 使用全卷积网络改进场景图像中的文本提议 论文
• [2016-arXiv][STL] TextProposals：一种针对野外单词定位的文本专用选择性搜索算法 论文 代码
• [2015-ICDAR][STL] 用于野外文本提取的对象提议 论文 代码
• [2014-PAMI][TR] 带嵌入式属性的单词定位与识别 论文 主页 代码

斯坦福大学

• [2012-ICPR][TR] 基于卷积神经网络的端到端文本识别 论文 代码 SVHN数据集
• [2012-博士论文][TR] 基于卷积神经网络的端到端文本识别 论文

首尔国立大学

• [2017-AAAI][STL][TR] 基于神经上下文模型在线图像中文本嵌入的检测与识别 论文

梅花科技有限公司：Face++

• [2020-CVPR][TR] 场景文本识别中的词汇依赖性 paper
• [2020-AAAI][STL][TR] TextScanner：按顺序读取字符以实现鲁棒的场景文本识别 paper
• [2017-CVPR][STL] EAST：高效准确的场景文本检测器 paper code 改进版代码

中国科学院自动化研究所

• [2020-IJCV][STL][TR] 通过融合自底向上和自顶向下处理的残差双尺度场景文本定位 paper
• [2019-CVPR][TR] 面向鲁棒文本图像识别的序列到序列领域适应网络 paper
• [2019-ICCV][STL][TR] TextDragon：任意形状文本定位的端到端框架 paper
• [2018-arxiv][TR] NRTR：用于场景文本识别的无循环序列到序列模型 paper code
• [2018-arxiv][TR] SCAN：用于场景文本识别的滑动卷积注意力网络 paper code
• [2018-arxiv][TR] 用于不规则文本识别的循环校准网络 paper
• [2017-arxiv][TR] 基于滑动卷积字符模型的场景文本识别 paper code
• [2017-arXiv][STL] 多方向场景文本检测的深度直接回归方法 paper
• [2017-IAPR][STL] 基于新型超像素的字符候选提取的场景文本检测 paper

加州大学圣地亚哥分校

• [2016-CVPR][TR] 具有注意力机制的递归循环网络用于野外OCR paper

加州大学圣克鲁斯分校

• [2017-arXiv][STL] 用于单词级文本定位的级联分割-检测网络 paper

康奈尔大学

• [2016-arXiv][STL][TR] COCO-Text：自然图像中文本检测与识别的数据集和基准 paper

宾夕法尼亚州立大学

• [2017-WACV][STL] TextContourNet：一种灵活有效的框架，通过多任务级联改进场景文本检测架构 paper
• [2016-博士论文][STL] 用于语义文本匹配和场景文本检测的上下文建模 paper

北京科技大学

• [2021-ICCV][STL] 用于任意形状文本检测的自适应边界提案网络 paper code
• [2020-CVPR][STL] 用于任意形状文本检测的深度关系推理图网络 paper
• [2017-arxiv][TR] AdaDNNs：用于场景文本识别的深度神经网络自适应集成 paper
• [2016-IJCAI][STL] 通过局部和全局学习进行视频中的场景文本检测 paper
• [2014-PAMI][TR] 自然场景图像中的鲁棒文本检测 paper

浦项工科大学

• [2016-CVPR][STL] CannyText检测器：快速且鲁棒的场景文本定位算法 paper

计算机工程学院

• [2016-IJDAR][STL] TextCatcher：一种在自然场景中检测弯曲及复杂文本的方法 paper

布拉格捷克理工大学

• [2018-ACCV][STL][TR] E2E-MLT——一种不受约束的多语言场景文本端到端方法 paper code
• [2017-ICCV][STL][TR] Deep TextSpotter：一个可训练的场景文本定位与识别端到端框架 paper code
• [2015-PAMI][STL][TR] 实时无词典场景文本定位与识别 paper
• [2015-ICCV][STL] FASText：高效的无约束场景文本检测器 paper code
• [2012-CVPR][STL][TR] 实时场景文本定位与识别 paper code

Google公司

• [2019-ICCV][STL] 向无约束的端到端文本定位迈进 paper
• [2013-ICCV][STL][TR] Photo OCR：在不可控条件下读取文本 paper

Microsoft公司

• [2010-CVPR][STL] SWT：利用笔画宽度变换检测自然场景中的文本 paper code

三星中国研究院

• [2019-CVPR][STL] 基于自适应文本区域表示的任意形状场景文本检测 paper
• [2017-arXiv][STL] R2CNN：用于方向鲁棒场景文本检测的旋转区域CNN paper
• [2017-IAPR][STL] 用于场景文本的深度残差文本检测网络 paper

Vicarious FPC公司

• [2016-NIPS][TR] 生成式形状模型：在极少训练数据下实现文本识别与分割的联合方法 paper

中国科学院管理与控制复杂系统国家重点实验室

• [2013-CVPR][TR] 基于部件树结构字符检测的场景文本识别 paper

斯坦福大学

• [2012-ICPR][TR] 基于CNN的端到端文本识别 paper code

信息通信研究院视觉计算部

• [2017-ICCV][STL] WeText：弱监督下的场景文本检测 paper

佛罗里达大学

• [2017-ICCV][STL] 具有区域注意力的单阶段文本检测器 paper code

南加州大学

• [2017-ICCV][STL] 通过边界学习实现最小后处理的自组织文本检测 paper

海康威视研究院

• [2021-AAAI][STL][TR] MANGO：基于掩码注意力引导的一阶段场景文本检测器 paper
• [2020-AAAI][STL][TR] Text Perceptron：迈向端到端任意形状文本检测 paper
• [2018-CVPR][TR] AON：迈向任意方向文本识别 paper code
• [2017-ICCV][TR] 聚焦注意力：迈向自然图像中的准确文本识别 paper

阿德莱德大学

• [2019-AAAI][TR] 展示、注意并阅读：一种简单而强大的不规则文本识别基线 paper code
• [2017-ICCV][STL][TR] 基于卷积循环神经网络的端到端文本检测 paper

纽约市立大学

• [2017-CVPR][STL] 杂乱场景中无歧义的文本定位与检索 paper

香港大学

• [2020-ECCV][STL][TR] AE TextSpotter：为歧义文本检测学习视觉和语言表征 paper
• [2018-AAAI][TR] Char-Net：一种针对扭曲场景文本的字符感知神经网络 paper

浙江大学

• [2021-TIP][STL][TR] FREE：一种快速且鲁棒的端到端视频文本检测器 paper
• [2020-arxiv][TR] 精细化门控：一种简单有效的循环单元门控机制 paper
• [2018-AAAI][STL] PixelLink：通过实例分割检测场景文本 paper

波茨坦大学

• [2018-AAAI][STL][TR] SEE：迈向半监督端到端场景文本识别 paper code

亚利桑那州立大学

• [2018-AAAI][TR] SqueezedText：一种基于二值卷积编码器-解码器网络的实时场景文本识别 paper

史蒂文斯理工学院

• [2018-CVPR][STL] 基于实例变换网络的几何感知场景文本检测 paper

南洋理工大学

• [2020-IJCV][STL] 基于马尔可夫聚类网络的自底向上场景文本检测 paper
• [2020-AAAI][STL][TR] GTC：指导CTC训练以实现高效准确的场景文本识别 paper
• [2019-ICCV][STL][TR] GA-DAN：面向场景文本检测与识别的几何感知领域适应网络 paper
• [2019-CVPR][STL] ESIR：通过迭代图像校正实现端到端场景文本识别 paper
• [2019-CVPR][STL] 向着鲁棒的曲线文本检测迈进：利用条件空间扩张 paperLiu_Towards_Robust_Curve_Text_Detection_With_Conditional_Spatial_Expansion_CVPR_2019_paper.html)
• [2018-ECCV][STL] 真实感图像合成用于场景中文本的准确检测与识别 paper
• [2018-ECCV][STL] 通过边界语义意识和自举法实现准确的场景文本检测 paper
• [2018-ECCV][STL] 利用目标信息进行文本检测 paper
• [2018-CVPR][STL] 学习马尔可夫聚类网络用于场景文本检测 paper

阿里巴巴集团

• [2018-ICPR][STL][TR] 一种新颖的集成框架，用于同时学习文本检测与识别 paper
• [2018-IJCAI][STL] IncepText：一种带有可变形PSROI池化的新Inception-Text模块，用于多方向场景文本检测 paper

中国科学院

• [2020-CVPR][STL][TR] 用于视觉与场景文本联合推理的多模态图神经网络 paper
• [2018-ICIP][STL] 焦点文本：一种基于焦点损失的精确文本检测方法 paper
• [2018-ICIP][STL] 用于场景文本识别的密集链式注意力网络 paper

剑桥大学

• [2018-ECCV][STL] 面向场景文本识别的合成监督特征学习 paper

北京大学

• [2021-NIPS][TR] 向心文本：一种用于场景文本检测的高效文本实例表示方法 paper code
• [2020-ICASSP][TR] 通过字符锚点池化实现场景文本识别中灵活特征提取的新视角 paper
• [2020-ICASSP][STL] 只需再看一眼：迈向更紧密的任意形状文本检测 paper
• [2019-WACV][STL] 基于金字塔注意力网络的Mask R-CNN用于场景文本检测 paper
• [2018-ECCV][STL] TextSnake：一种用于检测任意形状文本的灵活表示方法 paper code

商汤科技研究院

• [2021-WACV][STL] 用于四边形文本检测的解耦轮廓学习 paper code
• [2020-ECCV][TR] RobustScanner：动态增强位置线索以实现鲁棒文本识别 paper
• [2020-ECCV][TR] 野外场景文本图像超分辨率 paper
• [2019-arxiv][STL] 金字塔掩码文本检测器 paper
• [2019-ICCV][STL] 用于精确场景文本检测的几何归一化网络 paper
• [2018-BMVC][STL] 通过引导卷积神经网络提升场景文本检测性能 paper

Naver Clova AI Research

• [2020-ECCV][STL] 用于文本定位的字符区域注意力 paper
• [2019-CVPR][STL][TR] 用于文本检测的字符区域感知能力 paper code

百度

• [2020-arxiv][STL][TR] PP-OCR：一个实用的超轻量级OCR系统 paper
• [2019-ICCV][STL][TR] 中文街景文本：基于部分监督学习的大规模中文文本阅读 paper
• [2019-CVPR][STL] 多看几眼：一种精确的任意形状文本检测器 paper
• [2018-arxiv][STL] 使用深度字符嵌入网络在野外检测文本 paper
• [2018-ACCV][STL][TR] TextNet：一种端到端可训练网络，用于从图像中读取不规则文本 paper

阿德莱德大学

• [2018-CVPR][STL][TR] 具有显式对齐和注意力机制的端到端文本定位器 paper code

南京大学

• [2020-BMVC][TR] 通过自适应图像增强实现鲁棒场景文本识别 paper
• [2019-ICCV][STL] 基于像素聚合网络的高效且精确的任意形状文本检测 paper code
• [2019-CVPR][STL] 基于渐进尺度扩展网络的形状鲁棒文本检测 paper code

香港中文大学

• [2022-AAAI][TR] 基于上下文的对比学习用于场景文本识别 paper
• [2019-CVPR][STL] 学习面向场景文本检测的形状感知嵌入 paper

马龙科技

• [2019-ICCV][STL][TR] 卷积字符网络 paper code

罗切斯特大学

• [2019-ICCV][TR] 基于生成特征学习的大规模标签驱动字体检索 paper

Facebook AI Research

• [2021-CVPR][STL][TR] TextOCR：迈向大规模的任意形状场景文本端到端推理 paper code
• [2020-CVPR][STL][TR] 基于指针增强型多模态Transformer的迭代答案预测用于TextVQA paper
• [2018-arxiv][STL] 利用旋转区域建议网络改进旋转文本检测 paper

马里兰大学

• [2020-WACV][TR] 为有关注视序列识别调整风格与内容 paper

Penta-AI

• [2020-WACV][STL] 一切在于尺度——基于自适应缩放的高效文本检测 paper

华中师范大学

• [2020-ECCV][STL][TR] PlugNet：由可插拔超分辨率单元监督的退化感知场景文本识别 paper

腾讯

• [2022-AAAI][TR] 理解笔画语义上下文：用于鲁棒场景文本识别的层次化对比学习 paper
• [2020-arxiv][STL] PuzzleNet：通过分割上下文图学习进行场景文本检测 paper
• [2020-AAAI][STL][TR] 针对算术练习批改的精确结构化文本定位 paper
• [2019-arxiv][TR] 二维注意力机制不规则场景文本识别器 paper code

清华大学

• [2023-IJCAI][TR] 通过显式位置增强实现鲁棒场景文本图像超分辨率 paper code
• [2021-CVPR][STL] 场景文本识别中的基元表示学习 paper
• [2020-ECCV][STL] 用于精确场景文本检测的序列变形方法 paper

中国科学技术大学

• [2023-IJCAI][TR] Linguistic More：迈向高效准确场景文本识别的新一步 paper code
• [2021-ICCV][TR] 从二到一：一种基于视觉语言建模网络的新场景文本识别器 paper
• [2021-CVPR][STL] 像人类一样阅读：场景文本识别中的自主、双向和迭代语言建模 paper code
• [2020-CVPR][STL] ContourNet：迈向精确任意形状场景文本检测的新一步 paper code
• [2020-arxiv][TR] 基于可变形卷积的焦点增强场景文本识别 paper code
• [2018-Pattern Recognition][STL] TextMountain：通过实例分割实现精确场景文本检测 paper

电子科技大学

• [2020-CVPR][TR] 机器所见并非所得：用对抗性文本图像愚弄场景文本识别模型 paper

印度统计研究所

• [2020-CVPR][STL][TR] STEFANN：使用字体自适应神经网络的场景文本编辑器 paper

中国科学院信息工程研究所

• [2021-CVPR][STL] 用于任意形状场景文本检测的渐进轮廓回归 paper code
• [2020-CVPR][TR] SEED：用于场景文本识别的语义增强编码器-解码器框架 paper
• [2020-ICPR][TR] 用于场景文本识别的高斯约束注意力网络 paper
• [2020-arxiv][STL] 用于领域自适应场景文本检测的自训练 paper
• [2019-ICDAR][STL] 基于半监督和弱监督学习的自然场景图像中曲线文本检测 paper
• [2019-BMVC][TR] 使用局部相关性的文本识别 paper

中国科学院大学

• [2020-CVPR][STL][TR] 借助语义推理网络迈向精确场景文本识别 paper

亚马逊

• [2020-CVPR][STL] SCATTER：选择性上下文注意力场景文本识别器 paper

Heritage Institute of Technology

• [2020-ICIP][STL] 野外场景图像中尺度不变的多方向文本检测 paper

印度理工学院

• [2020-arxiv][STL] NENET：用于场景文本中链接预测的边缘可学习网络 paper

西安电子科技大学

• [2021-AAAI][STL][TR] PGNet：基于点聚集网络的实时任意形状文本定位 paper code
• [2020-ICASSP][STL] 基于文本注意力塔的高效场景文本检测 paper
• [2019-ACM-MM][STL] 基于上下文注意力多任务学习的单次通过任意形状文本检测器 paper

同济大学

• [2019-AAAI][STL] 基于监督金字塔上下文网络的场景文本检测 paper code

哈尔滨工业大学

• [2017-TIP][STL] 基于级联卷积神经网络的场景文本检测与分割（论文）[https://ieeexplore.ieee.org/document/7828014]

上海交通大学

• [2018-ICPR][STL] 用于多方向场景文本检测的融合文本分割网络 论文

平安财产保险

• [2020-arxiv][TR] 汉明OCR：一种用于场景文本识别的局部敏感哈希神经网络 论文

合肥工业大学

• [2020-arxiv][TR] 快速密集残差网络：增强全局密集特征流以提升文本识别性能 论文

北京航空航天大学

• [2020-arxiv][TR] 一种适用于任意形状场景文本识别的可行框架 论文 [代码](https: //github.com/zhang0jhon/AttentionOCR)

波士顿大学

• [2020-arxiv][TR] 基于语义的图像文本识别深度神经网络 论文

卡内基梅隆大学

• [2019-ICDAR][TR] 重新思考不规则场景文本识别 论文 代码

西北工业大学

• [2019-CVPR][STL][TR] 向自然场景中的端到端文本定位迈进 论文

VinAI Research

• [2021-CVPR][STL] 字典引导的场景文本识别 论文 代码

东京大学

• [2021-CVPR][TR] 如果我们只使用真实数据集进行场景文本识别会怎样？迈向少标签场景文本识别 论文 代码

萨里大学

• [2021-ICCV][TR] 迈向未知领域：通过从错误中提炼知识实现迭代式文本识别 论文
• [2021-ICCV][TR] 联合视觉语义推理：用于文本识别的多阶段解码器 论文
• [2021-CVPR][TR] MetaHTR：迈向书写者自适应的手写文本识别 论文

特克尼昂理工学院

• [2021-CVPR][TR] 面向文本识别的序列到序列对比学习 论文

伊利诺伊大学厄巴纳-香槟分校

• [2021-CVPR][TR] 重新思考文本分割：一个新颖的数据集和一种针对文本的精细化方法 论文 代码

国家模式识别实验室

• [2021-CVPR][STL] 语义感知的视频文本检测 论文

深圳大学

• [2021-CVPR][STL][TR] 基于自注意力机制的文本知识挖掘用于文本检测 论文 代码

菲律宾大学

• [2021-ICDAR][TR] 用于快速高效场景文本识别的视觉Transformer 论文 '代码'

北京交通大学

• [2022-IJCAI][TR] SVTR：基于单一视觉模型的场景文本识别 论文 代码

武汉大学

• [2022-AAAI][TR] 视觉语义有助于在场景文本识别中更好地进行文本推理 论文 代码

Helsing AI

• [2022-WACV][TR] 针对低资源手写文本识别的一次性组合数据生成 论文

普渡大学

• [2023-WACV][TR] Seq-UPS：面向半监督文本识别的序列化不确定性感知伪标签选择 论文

2. 数据集

SCUT-CTW1500 2018

任务：文本定位（不同风格）及识别

下载

Total Text 数据集 2017

包含1,555张图像，涵盖水平、多方向和弯曲三种不同的文本方向，独一无二。

任务：文本定位（不同风格）及识别

下载

PowerPoint 文本检测与识别数据集 2017

共21,384张图像，包含21,384个以上的文本实例。

任务：文本定位与识别

下载

COCO-Text（康奈尔大学计算机视觉组） 2016

包含63,686张图像，173,589个文本实例，以及3种细粒度的文本属性。

任务：文本定位与识别

下载

合成单词数据集（牛津大学VGG） 2014

包含900万张图像，覆盖9万个英文单词。

任务：文本识别、分割

下载

街景房屋号码数据集（SVHN） 2012

真实世界中的街景数字图像，附有位置和分类标签。

任务：数字定位检测、文本识别

下载

IIIT 5K-Words 2012

来自场景文本和原生数字图像的5,000张图片（2,000张用于训练，3,000张用于测试）。

每张图像是场景文本中裁剪出的一个单词图像，并配有不区分大小写的标签。

任务：文本识别

下载

StanfordSynth（斯坦福大学人工智能小组） 2012

包含62个字符的小型单字符图像（0-9、a-z、A-Z）。

任务：文本识别

下载

MSRA 文本检测500数据库（MSRA-TD500） 2012

包含500张自然图像（图像分辨率从1296×864到1920×1280不等）。

文本为中文、英文或中英文混合。

任务：文本检测

街景文本（SVT） 2010

包含350张高分辨率图像（平均尺寸为1260×860），其中100张用于训练，250张用于测试。

仅提供单词级别的边界框，并附有不区分大小写的标签。

任务：文本定位

KAIST 场景文本数据库 2010

包含3,000张室内外场景图像，图像中均含有文本。

文本类型包括韩语、英语（数字）以及混合文本（韩语+英语+数字）。

任务：文本定位、分割及识别。

Chars74k 2009

包含超过74,000张自然图像，以及一组合成生成的字符图像。

小型单字符图像，涵盖62个字符（0-9、a-z、A-Z）。

任务：文本识别。

ICDAR 基准数据集

数据集	描述	竞赛论文
ICDAR 2017	超过63,686张图像中包含173,589个标注文本区域	论文
ICDAR 2015	1,000张训练图像和500张测试图像	论文
ICDAR 2013	229张训练图像和233张测试图像	论文
ICDAR 2011	229张训练图像和255张测试图像	论文
ICDAR 2005	1,001张训练图像和489张测试图像	论文
ICDAR 2003	181张训练图像和251张测试图像（单词级别和字符级别）	论文

3. 竞赛

• ICDAR - Robust Reading 竞赛

4. 在线OCR服务

名称	描述
Tesseract OCR	API，免费
Online OCR	API，免费
Free OCR	API，免费
New OCR	API，免费
ABBYY FineReader Online	无API，收费
超级在线转换工具（中文）	API，免费
在线中文识别	API，免费

5. 博客

• 使用 OpenCV 3 进行场景文本检测
• 手写数字检测与识别
• 将 OCR 技术应用于收据识别
• 用于目标（车牌）检测的卷积神经网络
• 使用 Ocropus 从图像中提取文本
• 使用 Tensorflow 进行车牌识别 github
• 利用深度学习破解验证码系统 报告 github
• 以 96% 的准确率破解 Reddit 验证码 github
• 文字检测与识别资源-1
• 文字的检测与识别资源-2
• iOS 中的场景文本识别 博客 github

image-text-localization-recognition 快速上手指南

本工具集合了场景文本定位（STL）与识别（TR）的前沿开源资源，涵盖从经典算法到最新深度学习模型。以下指南基于该领域通用的深度学习环境配置及代表性项目（如 CTPN、FOTS、ABCNet 等）的部署流程整理而成。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求。推荐使用 Linux (Ubuntu 18.04/20.04) 系统以获得最佳兼容性。

系统要求

• 操作系统: Linux (推荐) 或 macOS (部分项目支持)，Windows 需使用 WSL2。
• GPU: NVIDIA 显卡 (显存建议 ≥ 4GB)，用于加速推理和训练。
• CUDA: 版本需与 PyTorch/TensorFlow 版本匹配 (通常推荐 CUDA 11.x)。

前置依赖

• Python: 3.7 - 3.9 (大多数 OCR 项目在此范围兼容最好)
• 包管理器: pip 或 conda
• 基础库: git, cmake, build-essential

安装系统级依赖 (Ubuntu):

sudo apt-get update
sudo apt-get install -y git cmake build-essential libgl1-mesa-glx libglib2.0-0

2. 安装步骤

由于该 README 汇总了多个不同机构（如牛津大学、华南理工大学、复旦大学等）的独立项目，安装时需选择您具体需要的模型仓库。以下以通用的 Conda 环境搭建 及 典型项目安装 为例。

第一步：创建虚拟环境

建议使用 Conda 隔离环境，避免依赖冲突。

conda create -n ocr_env python=3.8
conda activate ocr_env

第二步：安装深度学习框架

根据您的需求选择 PyTorch 或 TensorFlow。目前大多数 SOTA 模型基于 PyTorch。

安装 PyTorch (推荐使用国内清华镜像源加速):

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若需纯 CPU 版本：
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

第三步：克隆并安装具体项目

从 README 列表中选择一个项目，例如华南理工大学的 ABCNet (实时场景文本检测) 或深圳先进院的 CTPN。

示例：安装 ABCNet

# 克隆代码
git clone https://github.com/Yuliang-Liu/bezier_curve_text_spotting.git
cd bezier_curve_text_spotting

# 安装项目依赖
pip install -r requirements.txt
# 如果包含 setup.py，通常还需要运行：
pip install -e .

提示: 对于复旦大学的项目 (如 FudanOCR)，部分支持中文识别的模型可能提供了专门的中文文档或镜像，请优先查看其仓库内的 README.zh-cn.md。

3. 基本使用

安装完成后，通常可以通过命令行脚本或 Python API 进行文本定位与识别。以下提供一个通用的 Python 调用示例逻辑（具体参数请参考所选项目的官方文档）。

简单推理示例

假设您已下载好预训练模型权重文件 model.pth，并准备了一张测试图片 test.jpg。

import cv2
import torch
from model import build_model  # 具体导入路径依项目而定
from utils import preprocess, postprocess

# 1. 加载模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model = build_model(pretrained="model.pth")
model.to(device).eval()

# 2. 读取并预处理图像
image = cv2.imread("test.jpg")
input_tensor = preprocess(image).to(device)

# 3. 推理 (定位 + 识别)
with torch.no_grad():
    predictions = model(input_tensor)

# 4. 后处理与结果输出
boxes, texts = postprocess(predictions, image.shape)

for box, text in zip(boxes, texts):
    print(f"Detected Text: {text}, Location: {box}")
    # 可选：在原图上绘制框
    # cv2.rectangle(image, ...) 

命令行快速测试 (以部分支持 CLI 的项目为例)

许多项目提供了直接的推理脚本：

python demo.py --image_path ./test.jpg --weights ./model.pth --device cuda

输出说明：

• STL (定位): 返回文本区域的坐标框（矩形或多边形）。
• TR (识别): 返回坐标框内对应的文本内容。

---

注：由于本资源列表包含数十个独立项目，具体模型的输入输出格式、数据增强策略及评估指标请务必查阅对应项目仓库的详细说明。