最新动态

默认分支现已变更为main，该分支上的代码已升级至v1.0.0。原main分支（v0.6.3）的代码现位于0.x分支上。 若您一直使用main分支并遇到升级问题，请阅读迁移指南以及关于分支的相关说明。

v1.0.0于2023年4月6日发布。相较于1.0.0rc6的主要更新包括：

1. 数据集准备工具新增对SCUT-CTW1500、SynthText和MJSynth数据集的支持
2. 更新了常见问题解答及文档
3. 弃用file_client_args，改用backend_args
4. 新增MMOCR教程笔记本

欲了解更多关于MMOCR 1.0版本的更新内容，请参阅MMOCR 1.x版本新特性，或查阅变更日志以获取更多详细信息！

简介

MMOCR是一个基于PyTorch和mmdetection的开源工具箱，用于文本检测、文本识别及其下游任务，如关键信息提取等。它是OpenMMLab项目的一部分。

主分支支持PyTorch 1.6及以上版本。

主要特性

• 全面的流水线

  该工具箱不仅支持文本检测和文本识别，还涵盖了其下游任务，如关键信息提取。

• 多种模型

  工具箱支持大量最先进的文本检测、文本识别及关键信息提取模型。

• 模块化设计

  MMOCR的模块化设计使用户能够自定义优化器、数据预处理方法以及模型组件，如骨干网络、颈部结构、头部模块和损失函数等。有关如何构建自定义模型的详细信息，请参阅概述。

• 丰富的实用工具

  该工具箱提供了一整套实用工具，可帮助用户评估模型性能。其中包括可视化工具，可用于展示图像、真实标签及预测框；还有验证工具，可在训练过程中评估检查点；此外，还提供了数据转换工具，演示如何将自有数据转换为工具箱支持的标注文件格式。

安装

MMOCR 依赖于 PyTorch、MMEngine、MMCV 和 MMDetection。以下是快速安装步骤。更多详细说明请参阅 安装指南。

conda create -n open-mmlab python=3.8 pytorch=1.10 cudatoolkit=11.3 torchvision -c pytorch -y
conda activate open-mmlab
pip3 install openmim
git clone https://github.com/open-mmlab/mmocr.git
cd mmocr
mim install -e .

快速入门

MMOCR 的基本用法请参阅 快速运行。

模型库

支持的算法：

骨干网络

• oCLIP (ECCV'2022)

文本检测

• DBNet (AAAI'2020) / DBNet++ (TPAMI'2022)
• Mask R-CNN (ICCV'2017)
• PANet (ICCV'2019)
• PSENet (CVPR'2019)
• TextSnake (ECCV'2018)
• DRRG (CVPR'2020)
• FCENet (CVPR'2021)

文本识别

• ABINet (CVPR'2021)
• ASTER (TPAMI'2018)
• CRNN (TPAMI'2016)
• MASTER (PR'2021)
• NRTR (ICDAR'2019)
• RobustScanner (ECCV'2020)
• SAR (AAAI'2019)
• SATRN (CVPR'2020 Workshop on Text and Documents in the Deep Learning Era)
• SVTR (IJCAI'2022)

关键信息抽取

• SDMG-R (ArXiv'2021)

文本定位

• ABCNet (CVPR'2020)
• ABCNetV2 (TPAMI'2021)
• SPTS (ACM MM'2022)

更多详情请参阅 model_zoo。

项目

这里是一些基于 MMOCR 构建的 SOTA 模型和解决方案的实现，由社区用户支持和维护。这些项目展示了基于 MMOCR 进行研究和产品开发的最佳实践。我们欢迎并感谢所有对 OpenMMLab 生态系统的贡献。

贡献

我们非常感谢所有为改进 MMOCR 所做的贡献。请参阅 CONTRIBUTING.md 获取贡献指南。

致谢

MMOCR 是一个开源项目，由来自不同院校和公司的研究人员和工程师共同贡献而成。我们感谢所有实现其方法或添加新功能的贡献者，以及提供宝贵反馈的用户。我们希望这个工具箱和基准能够为不断增长的科研社区提供灵活的工具，以重新实现现有方法并开发新的 OCR 方法。

引用

如果您在研究中发现本项目有用，请考虑引用：

@article{mmocr2022,
    title={MMOCR: 一种全面的文本检测、识别与理解工具箱},
    author={MMOCR 开发团队},
    howpublished = {\url{https://github.com/open-mmlab/mmocr}},
    year={2022}
}

许可证

本项目采用 Apache 2.0 许可证 发布。

OpenMMLab 家族

• MMEngine: OpenMMLab 基础深度学习训练库
• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 用于安装 OpenMMLab 软件包
• MMClassification: OpenMMLab 图像分类工具箱和基准
• MMDetection: OpenMMLab 目标检测工具箱和基准
• MMDetection3D: OpenMMLab 下一代通用 3D 物体检测平台
• MMRotate: OpenMMLab 旋转目标检测工具箱和基准
• MMSegmentation: OpenMMLab 语义分割工具箱和基准
• MMOCR: OpenMMLab 文本检测、识别和理解工具箱
• MMPose: OpenMMLab 姿态估计工具箱和基准
• MMHuman3D: OpenMMLab 3D 人体参数化模型工具箱和基准
• MMSelfSup: OpenMMLab 自监督学习工具箱和基准
• MMRazor: OpenMMLab 模型压缩工具箱和基准
• MMFewShot: OpenMMLab 少样本学习工具箱和基准
• MMAction2: OpenMMLab 下一代动作理解工具箱和基准
• MMTracking: OpenMMLab 视频感知工具箱和基准
• MMFlow: OpenMMLab 光流计算工具箱和基准
• MMEditing: OpenMMLab 图像和视频编辑工具箱
• MMGeneration: OpenMMLab 图像和视频生成模型工具箱
• MMDeploy: OpenMMLab 模型部署框架。

欢迎加入 OpenMMLab 社区

扫描下方二维码，关注 OpenMMLab 团队的知乎官方账号，并加入 OpenMMLab 团队的QQ 群；或者通过添加微信加入官方交流微信群；亦可加入我们的Slack。

我们将为您带来 OpenMMLab 社区的：

• 📢 分享 AI 框架的最新核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 OpenMMLab 相关发布资讯
• 🚀 介绍 OpenMMLab 自研的前沿算法
• 🏃 获得更高效的答疑与反馈
• 🔥 提供一个与各界开发者交流的平台

OpenMMLab 社区期待您的参与！👫

MMOCR 快速上手指南

MMOCR 是一个基于 PyTorch 和 MMDetection 的开源工具箱，专注于文本检测、文本识别及关键信息提取等任务。它是 OpenMMLab 项目的重要组成部分。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐), Windows, macOS
• Python: 3.8 及以上版本
• PyTorch: 1.6+ (推荐 1.10+)
• CUDA: 根据显卡型号安装对应的 CUDA Toolkit (示例中使用 11.3)
• 前置依赖: MMOCR 依赖 MMEngine, MMCV 和 MMDetection，安装脚本会自动处理这些依赖。

提示：国内用户建议使用 Conda 并配置清华或阿里镜像源以加速下载。

安装步骤

推荐使用 conda 创建独立虚拟环境进行安装。以下是基于 Linux/CUDA 环境的快速安装命令：

1. 创建并激活 Conda 环境

   conda create -n open-mmlab python=3.8 pytorch=1.10 cudatoolkit=11.3 torchvision -c pytorch -y
   conda activate open-mmlab
   

   (注：国内用户若下载缓慢，可添加 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ 等国内源参数)

2. 安装 MIM (OpenMMLab 包管理工具)

   pip3 install openmim
   

3. 克隆代码库并安装 MMOCR

   git clone https://github.com/open-mmlab/mmocr.git
   cd mmocr
   mim install -e .
   

   -e 参数表示以可编辑模式安装，方便后续开发调试。

基本使用

安装完成后，您可以使用 Python 快速调用预训练模型进行推理。以下是一个最简单的文本检测与识别示例：

from mmocr.apis import MMOCRInferencer

# 初始化推理器
# det: 文本检测模型 (如 'DBNet')
# rec: 文本识别模型 (如 'CRNN')
inferencer = MMOCRInferencer(det='DBNet', rec='CRNN')

# 执行推理
# 支持图片路径、文件夹或列表
results = inferencer('demo/demo_text_det_rec.jpg')

# 查看结果
print(results['predictions'][0])

说明：

• det 参数指定文本检测算法，可选模型包括 DBNet, PANet, PSENet 等。
• rec 参数指定文本识别算法，可选模型包括 CRNN, SAR, ABINet 等。
• 首次运行时，工具会自动下载对应的预训练权重文件。

更多高级用法（如关键信息提取、自定义数据集训练）请参考官方文档中的 Quick Run 章节。