PaddleOCR2Pytorch

简体中文 | English

简介

”白嫖“PaddleOCR。

本项目旨在：

• 学习PaddleOCR
• 让PaddleOCR训练的模型在pytorch上使用
• 为paddle转pytorch提供参考

注意

PytorchOCR由>= PaddleOCRv2.0+动态图版本移植。

近期更新

• 2025.05.25 PP-OCRv5: 全场景高精度文字识别

  1. 🌐 单模型支持五种文字类型(简体中文、繁体中文、中文拼音、英文和日文)。
  2. ✍️ 支持复杂手写体识别：复杂连笔、非规范字迹识别性能显著提升。
  3. 🎯 整体识别精度提升 - 多种应用场景达到 SOTA 精度, 相比上一版本PP-OCRv4，识别精度提升13个百分点！

• 2024.02.20 PP-OCRv4，提供mobile和server两种模型

  • PP-OCRv4-mobile：速度可比情况下，中文场景效果相比于PP-OCRv3再提升4.5%，英文场景提升10%，80语种多语言模型平均识别准确率提升8%以上
  • PP-OCRv4-server：发布了目前精度最高的OCR模型，中英文场景上检测模型精度提升4.9%， 识别模型精度提升2%

• 2023.04.16 公式识别CAN

• 2023.04.07 文本超分Text Telescope

• 2022.10.17 文本识别：ViTSTR

• 2022.10.07 文本检测：DB++

• 2022.07.24 文本检测算法(FCENET)

• 2022.07.16 文本识别算法(SVTR)

• 2022.06.19 文本识别算法(SAR)

• 2022.05.29 PP-OCRv3，速度可比情况下，中文场景效果相比于PP-OCRv2再提升5%，英文场景提升11%，80语种多语言模型平均识别准确率提升5%以上

• 2022.05.14 PP-OCRv3文本检测模型

• 2022.04.17 1种文本识别算法(NRTR)

• 2022.03.20 1种文本检测算法(PSENet)

• 2021.09.11 PP-OCRv2，CPU推理速度相比于PP-OCR server提升220%；效果相比于PP-OCR mobile 提升7%

• 2021.06.01 更新SRN

• 2021.04.25 更新AAAI 2021论文端到端识别算法PGNet

• 2021.04.24 更新RARE

• 2021.04.12 更新STARNET

• 2021.04.08 更新DB, SAST, EAST, ROSETTA, CRNN

• 2021.04.03 更新多语言识别模型，目前支持语种超过27种，多语言模型下载，包括中文简体、中文繁体、英文、法文、德文、韩文、日文、意大利文、西班牙文、葡萄牙文、俄罗斯文、阿拉伯文等，后续计划可以参考多语言研发计划

• 2021.01.10 白嫖中英文通用OCR模型

特性

高质量推理模型，准确的识别效果

• 超轻量PP-OCR系列：检测+ 方向分类器+ 识别
• 超轻量ptocr_mobile移动端系列
• 通用ptocr_server系列
• 支持中英文数字组合识别、竖排文本识别、长文本识别
• 支持多语言识别：韩语、日语、德语、法语等

模型列表（更新中）

PyTorch模型下载链接：https://pan.baidu.com/s/1r1DELT8BlgxeOP2RqREJEg 提取码：6clx

PaddleOCR模型百度网盘链接：https://pan.baidu.com/s/1getAprT2l_JqwhjwML0g9g 提取码：lmv7

更多模型下载（包括多语言），可以参考PT-OCR系列模型下载

文档教程

• 快速安装
• 模型预测
• Pipline
• 效果展示
• 参考文献
• FAQ
• 参考

TODO

• PP-OCRv5：文档图像方向分类模块PP-LCNet_x1_0_doc_ori，文本图像矫正模块UVDoc，文本行方向分类模块PP-LCNet_x0_25_textline_ori
• 通用文档解析方案-PP-StructureV3：支持多场景、多版式 PDF 高精度解析，在公开评测集中领先众多开源和闭源方案。
• 智能文档理解方案-PP-ChatOCRv4：原生支持文心大模型4.5 Turbo，精度相比上一代提升15个百分点。
• 前沿算法：文本检测 DRRG，文本识别 RFL
• 文本识别：ABINet, VisionLAN, SPIN, RobustScanner
• 表格识别：TableMaster
• PP-Structurev2，系统功能性能全面升级，适配中文场景，新增支持版面复原，支持一行命令完成PDF转Word
• 版面分析模型优化：模型存储减少95%，速度提升11倍，平均CPU耗时仅需41ms
• 表格识别模型优化：设计3大优化策略，预测耗时不变情况下，模型精度提升6%
• 关键信息抽取模型优化：设计视觉无关模型结构，语义实体识别精度提升2.8%，关系抽取精度提升9.1%
• 文本识别算法(SEED)
• 文档结构化算法关键信息提取算法(SDMGR)
• 3种DocVQA算法(LayoutLM、LayoutLMv2，LayoutXLM)
• 文档结构分析PP-Structure工具包，支持版面分析与表格识别（含Excel导出）

PP-OCRv2 Pipline

[1] PP-OCR是一个实用的超轻量OCR系统。主要由DB文本检测、检测框矫正和CRNN文本识别三部分组成。该系统从骨干网络选择和调整、预测头部的设计、数据增强、学习率变换策略、正则化参数选择、预训练模型使用以及模型自动裁剪量化8个方面，采用19个有效策略，对各个模块的模型进行效果调优和瘦身(如绿框所示)，最终得到整体大小为3.5M的超轻量中英文OCR和2.8M的英文数字OCR。更多细节请参考PP-OCR技术方案 https://arxiv.org/abs/2009.09941

[2] PP-OCRv2在PP-OCR的基础上，进一步在5个方面重点优化，检测模型采用CML协同互学习知识蒸馏策略和CopyPaste数据增广策略；识别模型采用LCNet轻量级骨干网络、UDML 改进知识蒸馏策略和Enhanced CTC loss损失函数改进（如上图红框所示），进一步在推理速度和预测效果上取得明显提升。更多细节请参考PP-OCRv2技术报告。

效果展示

• 中文模型

• 英文模型

• 其他语言模型

参考

• https://github.com/PaddlePaddle/PaddleOCR
• https://github.com/WenmuZhou/PytorchOCR
• Paddle
• Pytorch
• https://github.com/frotms/image_classification_pytorch
• https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7/doc/doc_ch/models_list.md

PaddleOCR2Pytorch 快速上手指南

PaddleOCR2Pytorch 是一个将百度 PaddleOCR 的高精度模型移植到 PyTorch 框架的开源项目。它允许开发者在 PyTorch 生态中使用 PP-OCR 系列（包括最新的 PP-OCRv4/v5 特性）超轻量及通用模型，支持中英文、多语言及复杂场景的文字识别。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: >= 3.7 (推荐 3.8+)
• 深度学习框架: PyTorch >= 1.7 (建议安装与 CUDA 版本匹配的 GPU 版本，若仅 CPU 推理可安装 CPU 版本)
• 依赖库: opencv-python, numpy, Pillow, scipy 等

前置依赖安装命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install opencv-python numpy Pillow scipy

提示：国内用户推荐使用清华源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

本项目主要通过克隆源码并配置依赖的方式使用。

第一步：克隆项目代码

git clone https://github.com/frotms/PaddleOCR2Pytorch.git
cd PaddleOCR2Pytorch

第二步：安装项目依赖

进入项目目录后，安装所需的 Python 包：

pip install -r requirements.txt

(注：如果项目中没有 requirements.txt，请手动安装上述“环境准备”中列出的依赖库)

第三步：下载预训练模型

项目提供了百度网盘的模型下载链接。您需要根据需求下载对应的 PyTorch 模型文件（.pth）。

• PyTorch 模型下载: 百度网盘链接 (提取码：6clx)
• 模型说明: 包含 ptocr_mobile (超轻量移动端) 和 ptocr_server (高精度服务器端) 系列，支持检测、方向分类和识别模型。

下载完成后，将模型文件放置在项目指定的目录下（通常为 weights/ 或根据代码示例调整路径）。

3. 基本使用

以下是最简单的命令行推理示例，展示如何使用下载的模型对单张图片进行文字识别。

命令行快速推理

假设您已下载了检测模型 (det.pth) 和识别模型 (rec.pth)，并存放于 weights/ 文件夹下。

python tools/infer/predict_system.py \
    --image_dir="./doc/imgs_results/ch_ptocr_mobile_v2.0/11.jpg" \
    --det_model_dir="./weights/ch_PP-OCRv4_det_infer.pth" \
    --rec_model_dir="./weights/ch_PP-OCRv4_rec_infer.pth" \
    --use_angle_cls=true \
    --cls_model_dir="./weights/ch_ppocr_mobile_v2.0_cls_infer.pth"

参数说明：

• --image_dir: 待识别的图片路径。
• --det_model_dir: 文本检测模型路径。
• --rec_model_dir: 文本识别模型路径。
• --use_angle_cls: 是否使用方向分类器（处理倒置文本），设为 true 可提升鲁棒性。
• --cls_model_dir: 方向分类模型路径。

Python 代码调用示例

您也可以在 Python 脚本中直接调用：

from tools.infer.predict_system import TextSystem

# 初始化系统
args = {
    'image_dir': './doc/imgs_results/ch_ptocr_mobile_v2.0/11.jpg',
    'det_model_dir': './weights/ch_PP-OCRv4_det_infer.pth',
    'rec_model_dir': './weights/ch_PP-OCRv4_rec_infer.pth',
    'use_angle_cls': True,
    'cls_model_dir': './weights/ch_ppocr_mobile_v2.0_cls_infer.pth'
}

ocr_engine = TextSystem(args)

# 执行预测
result = ocr_engine.predict()

# 打印结果
for line in result:
    print(f"坐标：{line[0]}, 文本：{line[1][0]}, 置信度：{line[1][1]}")

运行上述命令或代码后，系统将输出图片中的文字内容、位置坐标及置信度。更多高级用法（如批量处理、多语言切换）请参考项目根目录下的 doc/doc_ch/inference.md 文档。