keras-ocr

这是对Keras CRNN实现和已发布的CRAFT文本检测模型进行了一定程度的优化和封装后的版本。它提供了一个高层次的API，用于训练文本检测和OCR流水线。

更多示例，包括如何训练自定义模型，请参阅文档。

快速入门

安装

keras-ocr支持Python >= 3.6和TensorFlow >= 2.0.0。

# 从master分支安装
pip install git+https://github.com/faustomorales/keras-ocr.git#egg=keras-ocr

# 从PyPi安装
pip install keras-ocr

使用

该包自带一个易于使用的CRAFT文本检测模型实现（来自这个仓库）以及CRNN识别模型实现（来自这个仓库）。

import matplotlib.pyplot as plt

import keras_ocr

# keras-ocr会自动下载检测器和识别器的预训练权重。
pipeline = keras_ocr.pipeline.Pipeline()

# 获取三张示例图片
images = [
    keras_ocr.tools.read(url) for url in [
        'https://upload.wikimedia.org/wikipedia/commons/b/bd/Army_Reserves_Recruitment_Banner_MOD_45156284.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/e/e8/FseeG2QeLXo.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/b/b4/EUBanana-500x112.jpg'
    ]
]

# prediction_groups中的每个预测列表都是由(word, box)元组组成的。
prediction_groups = pipeline.recognize(images)

# 绘制预测结果
fig, axs = plt.subplots(nrows=len(images), figsize=(20, 20))
for ax, image, predictions in zip(axs, images, prediction_groups):
    keras_ocr.tools.drawAnnotations(image=image, predictions=predictions, ax=ax)

对比keras-ocr与其他OCR方法

你可能会好奇，本包中的模型与现有的云端OCR API相比如何。我们在此提供一些指标，并附上用于计算这些指标的笔记本，该笔记本使用了COCO-Text验证集中的前1,000张图片。之所以限制在1,000张，是因为截至撰写本文时，Google Cloud的免费层级每月仅允许1,000次调用。当然，以下几点需要注意：

• 这些数据仅供参考，请务必自行独立计算并验证相关指标。目前这些数据仍属于非常粗略的初稿，如有错误，请随时提交issue。尤其是，云端API提供了多种可调节的参数来优化性能，且响应结果的解析方式也可能不同。我可能在配置或解析过程中出现了某些疏漏。再次提醒，如有发现错误，请及时提出issue！
• 我们忽略了标点符号和大小写，因为keras-ocr中默认提供的识别器（来自这个独立仓库）并不支持这两项功能。值得注意的是，AWS Rekognition和Google Cloud Vision都支持标点符号以及大小写字母。
• 我们未考虑非英语文本。
• 我们忽略了难以辨认的文本。

模型	延迟	精确率	召回率
AWS	719ms	0.45	0.48
GCP	388ms	0.53	0.58
keras-ocr (scale=2)	417ms	0.53	0.54
keras-ocr (scale=3)	699ms	0.5	0.59

• 精确率和召回率是基于交并比不低于50%以及文本与真实标签的相似度不低于50%来计算的。
• keras-ocr的延迟值是在Google Colab上的Tesla P4 GPU上测得的。scale是指传递给keras_ocr.pipelines.Pipeline()的参数，用于决定推理前对图像进行的放大比例。
• 云端服务提供商的延迟是通过顺序请求测量的，因此如果你同时发起多个API请求，可以获得显著的速度提升。
• 每个条目都提供了包含每次运行注释的JSON文件链接。你可以使用该笔记本自行计算指标，而无需亲自调用API（尽管我们鼓励你独立复现）！

为什么没有与Tesseract比较？ 在我尝试过的所有配置中，Tesseract在这项测试中的表现都非常差。Tesseract最适合处理书籍扫描件，而不是像本数据集中这样的场景文本。

高级配置

默认情况下，如果GPU可用，TensorFlow会尝试占用几乎所有显存，这在同时运行多个TensorFlow和PyTorch模型时可能会导致问题。通过设置环境变量MEMORY_GROWTH为任意值，可以强制TensorFlow仅动态分配所需的GPU内存。

你还可以通过设置环境变量MEMORY_ALLOCATED来限制每个TensorFlow进程的显存用量，该变量的值是一个浮点数，表示分配的显存占总显存的比例。

要应用这些更改，请在导入keras_ocr的文件顶部调用keras_ocr.config.configure()。

贡献

要参与项目开发，请先执行以下步骤。这些说明目前可能还不适用于Windows系统，但如果Windows用户有改进方案，我们将不胜感激（我目前没有Windows机器可供测试）。

# 安装本地依赖以支持代码补全等功能。
make init

# 构建Docker容器以运行

# 测试等。
make build

• 你可以启动一个 JupyterLab 服务器来尝试使用 make lab。
• 在提交代码之前，可以运行检查，使用 make format-check type-check lint-check test。
• 要查看文档，可以使用 make docs。

若要实现新功能，请先提交一个问题，提出你的更改建议以供讨论。

如需报告问题，请提交一个问题，并附上示例代码、预期结果、实际结果以及完整的错误回溯信息。

故障排除

• 此包正在安装 opencv-python-headless，但我更希望使用其他版本的 OpenCV。 这是由于 aleju/imgaug#473 引起的。你可以在安装 keras-ocr 后卸载不需要的 OpenCV 版本。对于由此带来的不便，我们深表歉意。

keras-ocr 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS (Windows 支持可能受限，建议优先使用 Linux 环境或 WSL)
• Python 版本：>= 3.6
• 核心依赖：TensorFlow >= 2.0.0
• 硬件建议：虽然支持 CPU 运行，但为了获得最佳的检测与识别速度，推荐使用 NVIDIA GPU。

安装步骤

您可以选择通过 PyPI 直接安装稳定版，或从 GitHub 源码安装最新版。

方式一：通过 PyPI 安装（推荐）

pip install keras-ocr

方式二：从 GitHub 源码安装（获取最新功能）

pip install git+https://github.com/faustomorales/keras-ocr.git#egg=keras-ocr

提示：国内用户若下载缓慢，可添加国内镜像源加速，例如： pip install keras-ocr -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

keras-ocr 内置了预训练的 CRAFT 文本检测模型和 CRNN 文本识别模型。首次运行时，它会自动下载权重文件。以下是最简单的使用示例：

import matplotlib.pyplot as plt
import keras_ocr

# 初始化流水线（自动下载预训练权重）
pipeline = keras_ocr.pipeline.Pipeline()

# 准备图片列表（此处使用在线示例图片）
images = [
    keras_ocr.tools.read(url) for url in [
        'https://upload.wikimedia.org/wikipedia/commons/b/bd/Army_Reserves_Recruitment_Banner_MOD_45156284.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/e/e8/FseeG2QeLXo.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/b/b4/EUBanana-500x112.jpg'
    ]
]

# 执行识别
# 返回结果 prediction_groups 是一个列表，每个元素包含 (单词, 边界框坐标) 元组
prediction_groups = pipeline.recognize(images)

# 可视化结果
fig, axs = plt.subplots(nrows=len(images), figsize=(20, 20))
for ax, image, predictions in zip(axs, images, prediction_groups):
    keras_ocr.tools.drawAnnotations(image=image, predictions=predictions, ax=ax)

plt.show()

高级配置提示（GPU 显存优化）： 如果您需要同时运行多个 TensorFlow/PyTorch 模型，建议在代码开头添加以下配置，以动态分配显存而非占用全部：

import os
os.environ['MEMORY_GROWTH'] = '1' # 设置任意值即可启用动态显存分配
import keras_ocr
keras_ocr.config.configure()