• 发布 PaddleOCR-VL：

  • 模型介绍：
    • PaddleOCR-VL 是一款 SOTA 且资源高效的模型，专为文档解析量身定制。其核心组件是 PaddleOCR-VL-0.9B，这是一个紧凑而强大的视觉语言模型（VLM），集成了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型，以实现准确的元素识别。这款创新模型高效支持 109 种语言，擅长识别复杂元素（例如文本、表格、公式和图表），同时保持最低的资源消耗。通过在广泛使用的公开基准测试和内部基准测试上的综合评估，PaddleOCR-VL 在页面级文档解析和元素级识别方面均实现了 SOTA 性能。它显著优于现有解决方案，在与顶级 VLM 的竞争中表现出强劲的竞争力，并提供了快速的推理速度。这些优势使其非常适合在实际场景中进行部署。该模型已在 HuggingFace 上发布。欢迎大家下载和使用！更多信息可在 PaddleOCR-VL 中找到。

• 核心功能： - 紧凑而强大的 VLM（视觉语言模型）架构：我们提出了一种专为资源高效推理设计的新型视觉语言模型，在元素识别方面取得了卓越的性能。通过将 NaViT 风格的动态高分辨率视觉编码器与轻量级 ERNIE-4.5-0.3B 语言模型相结合，我们显著增强了模型的识别能力和解码效率。这种集成在降低计算需求的同时保持了高精度，使其非常适合高效且实用的文档处理应用。 - 文档解析的 SOTA（业界领先）性能：PaddleOCR-VL 在页面级文档解析和元素级识别方面均实现了业界领先的性能。它显著优于现有的基于流水线的方法，并在文档解析方面展现出与领先的视觉语言模型（VLMs）竞争的强大实力。此外，它在识别复杂文档元素（如文本、表格、公式和图表）方面表现出色，使其适用于各种具有挑战性的内容类型，包括手写文本和历史文档。这使其具有高度通用性，适用于广泛的文档类型和场景。 - 多语言支持：PaddleOCR-VL 支持 109 种语言，涵盖主要全球语言，包括但不限于中文、英文、日文、拉丁字母语言、韩文，以及具有不同书写系统和结构的语言，如俄语（西里尔字母）、阿拉伯语、印地语（天城文）和泰语。这种广泛的语言覆盖范围显著增强了我们的系统在多语言和全球化文档处理场景中的适用性。

• 发布 PP-OCRv5 多语言识别模型：

  • 提高了拉丁字母识别的准确率和覆盖率；增加了对西里尔字母、阿拉伯语、天城文、泰卢固语、泰米尔语等其他语言系统的支持，涵盖 109 种语言的识别。该模型仅拥有 200 万参数，部分模型的准确率相比上一代提升了超过 40%。

• 重大模型新增：

  • 推出了 PP-OCRv5 英语、泰语和希腊语识别模型的训练、推理和部署。PP-OCRv5 英语模型在英语场景下相比主 PP-OCRv5 模型提升了 11%，泰语和希腊语识别模型的准确率分别达到了 82.68% 和 89.28%。

• 部署能力升级：

  • 完全支持 PaddlePaddle 框架版本 3.1.0 和 3.1.1。
  • 全面升级 PP-OCRv5 C++ 本地部署方案，现同时支持 Linux 和 Windows，功能与 Python 实现保持一致，精度相同。
  • 高性能推理现在支持 CUDA 12，推理可使用 Paddle Inference 或 ONNX Runtime 后端进行。
  • 高稳定性面向服务的部署方案现已完全开源，允许用户根据需要自定义 Docker 镜像和 SDK。
  • 高稳定性面向服务的部署方案还支持通过手动构建的 HTTP 请求进行调用，使得可以使用任何编程语言开发客户端代码。

• 基准测试支持：

  • 所有流水线现在都支持细粒度基准测试，能够测量端到端推理时间以及逐层和逐模块的延迟数据，以协助性能分析。这里 介绍了如何设置和使用基准测试功能。
  • 文档已更新，包含主流硬件上常用配置的关键指标，如推理延迟和内存占用，为用户提供部署参考。

• 修复问题：

  • 解决了模型训练期间日志保存失败的问题。
  • 升级了公式模型的数据增强组件以兼容较新版本的 albumentations 依赖项，并修复了在多进程场景中使用 tokenizers 包时的死锁警告。
  • 修复了 PP-StructureV3 配置文件中与其他流水线相比开关行为不一致的问题（例如 use_chart_parsing）。

• 其他增强：

  • 分离了核心和可选依赖项。基础文本识别仅需最小核心依赖；可根据需要安装用于文档解析和信息提取的其他依赖项。
  • 启用了 Windows 上 NVIDIA RTX 50 系列显卡的支持；用户可以参考 安装指南 获取相应的 PaddlePaddle 框架版本。
  • PP-OCR 系列模型现在支持返回单字符坐标。
  • 添加了 AIStudio、ModelScope 等其他模型下载源，允许用户指定模型下载来源。
  • 添加了对通过 PP-Chart2Table 模块进行图表转表格转换的支持。
  • 优化了文档描述以提高可用性。

• 修复问题：

  • 在 PP-ChatOCRv4 类中添加了缺失的方法 save_vector、save_visual_info_list、load_vector 和 load_visual_info_list。
  • 在 PPDocTranslation 类的 translate 方法中添加了缺失的参数 glossary 和 llm_request_interval。

• 文档改进：

  • 在 MCP 文档中添加了演示。
  • 在文档中添加了用于性能指标测试所使用的 PaddlePaddle 和 PaddleOCR 版本的信息。
  • 修复了流水线文档翻译中的错误和遗漏。

• 其他：

  • 将 MCP 服务器依赖更改为使用纯 Python 库 puremagic 而不是 python-magic，以减少安装问题。
  • 使用 PaddleOCR 版本 3.1.0 重新测试了 PP-OCRv5 性能指标并更新了文档。

• 关键模型与流程（Pipelines）：

  • 新增了 PP-OCRv5 多语言文本识别模型，支持 37 种语言（包括法语、西班牙语、葡萄牙语、俄语、韩语等）文本识别模型的训练和推理过程。平均准确率提升了 30% 以上。 详情
  • 升级了 PP-StructureV3 中的 PP-Chart2Table 模型，进一步增强了图表转表格的能力。在内部自定义评估集上，指标 (RMS-F1) 增加了 9.36 个百分点 (71.24% -> 80.60%)。
  • 全新推出了基于 PP-StructureV3 和 ERNIE 4.5 的 文档翻译流程（PP-DocTranslation），支持 Markdown 格式文档、各种复杂布局 PDF 文档以及文档图像的翻译，并将结果保存为 Markdown 格式文档。详情

• 新的 MCP 服务器： 详情

  • 同时支持 OCR（光学字符识别）和 PP-StructureV3 流程。
  • 支持三种工作模式：本地 Python 库、AIStudio 社区云服务以及自托管服务。
  • 支持通过 stdio 调用本地服务，通过 Streamable HTTP 调用远程服务。

• 文档优化： 改进了部分用户指南的描述，以获得更流畅的阅读体验。

• 默认下载源已从 BOS 更改为 HuggingFace。用户也可以将环境变量 PADDLE_PDX_MODEL_SOURCE 更改为 BOS，将模型下载源设置回百度对象存储 (BOS)。

• 为 PP-OCRv5、PP-StructureV3 和 PP-ChatOCRv4 等流程添加了六种语言（C++、Java、Go、C#、Node.js 和 PHP）的服务调用示例。

• 改进了 PP-StructureV3 流程中的布局分区排序算法，增强了复杂垂直布局的排序逻辑，以提供更好的结果。

• 增强了模型选择逻辑：当指定了语言但未指定模型版本时，系统将自动选择支持该语言的最新模型版本。

• 设置了 MKL-DNN 缓存大小的默认上限以防止无限增长，同时也允许用户配置缓存容量。

• 更新了高性能推理的默认配置以支持 Paddle MKL-DNN 加速，并优化了自动配置选择的逻辑以实现更智能的选择。

• 调整了获取默认设备的逻辑，以考虑已安装的 Paddle 框架对计算设备的实际支持情况，使程序行为更加直观。

• 添加了 PP-OCRv5 的 Android 示例。详情。

• 问题修复：

  • 修复了 PP-StructureV3 中某些 CLI 参数未生效的问题。
  • 解决了在某些情况下 export_paddlex_config_to_yaml 无法正常工作的问题。
  • 纠正了 save_path 的实际行为与其文档描述之间的差异。
  • 修复了在基础服务部署中使用 MKL-DNN 时的潜在多线程错误。
  • 纠正了 Latex-OCR 模型图像预处理中的通道顺序错误。
  • 修复了文本识别模块中保存可视化图像时的通道顺序错误。
  • 解决了 PP-StructureV3 流程中可视化表格结果的通道顺序错误。
  • 修复了 PP-StructureV3 流程中 overlap_ratio 计算在极端特殊情况下的溢出问题。

• 文档改进：

  • 更新了文档中 enable_mkldnn 参数的描述，以准确反映程序的实际行为。
  • 修复了关于 lang 和 ocr_version 参数的文档错误。
  • 添加了通过 CLI 导出流程配置文件的说明。
  • 修复了 PP-OCRv5 性能数据表中缺失的列。
  • 完善了不同配置下 PP-StructureV3 的基准测试指标。

• 其他：

  • 放宽了对 numpy 和 pandas 等依赖项的版本限制，恢复了对 Python 3.12 的支持。

2025.06.05：PaddleOCR 3.0.1 发布，包含：

• 部分模型及模型配置的优化：
  • 更新了 PP-OCRv5 的默认模型配置，将检测和识别均从移动端模型更改为服务端模型。为了在大多数场景中提高默认性能，配置中的参数 limit_side_len 已从 736 更改为 64。
  • 新增了一个准确率为 99.42% 的文本行方向分类模型 PP-LCNet_x1_0_textline_ori。OCR、PP-StructureV3 和 PP-ChatOCRv4 流程的默认文本行方向分类器已更新为此模型。
  • 优化了文本行方向分类模型 PP-LCNet_x0_25_textline_ori，准确率提升了 3.3 个百分点，当前准确率为 98.85%。
• 针对 3.0.0 版本部分问题的优化与修复，详情

🔥🔥2025.05.20：PaddleOCR v3.0 正式发布，包括：

• PP-OCRv5：全场景高精度文本识别模型 - 图片/PDF 即时提取文本。

  1. 🌐 单模型支持五种文本类型 - 在单个模型内无缝处理简体中文、繁体中文、简体中文拼音、英语和日语。
  2. ✍️ 改进了手写体识别：在处理复杂草书和非标准手写体方面显著更好。
  3. 🎯 相比 PP-OCRv4 准确率提升 13 个点，在各种真实场景中实现了最先进的性能（SOTA）。

• PP-StructureV3：通用文档解析 – 释放 SOTA（最先进）图片/PDF 解析能力以应对真实场景！

  1. 🧮 高精度多场景 PDF 解析，在 OmniDocBench 基准测试中领先开源和闭源解决方案。
  2. 🧠 专项能力包括印章识别、图表转表格、带嵌套公式/图像的表格识别、竖排文档解析和复杂表格结构分析。

• PP-ChatOCRv4: 智能文档理解——从图像/PDF 中提取关键信息，而不仅仅是文本。

  1. 🔥 在 PDF/PNG/JPG 文件的关键信息提取方面，相比上一代提升了 15 个百分点的准确率。
  2. 💻 原生支持 ERNIE 4.5（文心），并兼容通过 PaddleNLP、Ollama、vLLM 等进行的大模型部署。
  3. 🤝 集成 PP-DocBee2，支持提取和理解复杂文档中的印刷文本、手写体、印章、表格、图表等常见元素。

更新日志

from pathlib import Path
from paddleocr import PPStructureV3

pipeline = PPStructureV3(
    use_doc_orientation_classify=False,
    use_doc_unwarping=False
)

# For Image
output = pipeline.predict(
    input="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/pp_structure_v3_demo.png",
)

# Visualize the results and save the JSON results
for res in output:
    res.print() 
    res.save_to_json(save_path="output") 
    res.save_to_markdown(save_path="output")           

from paddleocr import PPChatOCRv4Doc

chat_bot_config = {
    "module_name": "chat_bot",
    "model_name": "ernie-3.5-8k",
    "base_url": "https://qianfan.baidubce.com/v2",
    "api_type": "openai",
    "api_key": "api_key",  # your api_key
}

retriever_config = {
    "module_name": "retriever",
    "model_name": "embedding-v1",
    "base_url": "https://qianfan.baidubce.com/v2",
    "api_type": "qianfan",
    "api_key": "api_key",  # your api_key
}

pipeline = PPChatOCRv4Doc(
    use_doc_orientation_classify=False,
    use_doc_unwarping=False
)

visual_predict_res = pipeline.visual_predict(
    input="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/vehicle_certificate-1.png",
    use_common_ocr=True,
    use_seal_recognition=True,
    use_table_recognition=True,
)

mllm_predict_info = None
use_mllm = False

如果使用多模态大模型（Multimodal Large Model），则需要启动本地多模态大语言模型（MLLM）服务。您可以参考文档：https://github.com/PaddlePaddle/PaddleX/blob/release/3.0/docs/pipeline_usage/tutorials/vlm_pipelines/doc_understanding.en.md 进行部署并更新 mllm_chat_bot_config 配置。

if use_mllm: mllm_chat_bot_config = { "module_name": "chat_bot", "model_name": "PP-DocBee", "base_url": "http://127.0.0.1:8080/", # your local mllm service url "api_type": "openai", "api_key": "api_key", # your api_key }

mllm_predict_res = pipeline.mllm_pred(
    input="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/vehicle_certificate-1.png",
    key_list=["驾驶室准乘人数"],
    mllm_chat_bot_config=mllm_chat_bot_config,
)
mllm_predict_info = mllm_predict_res["mllm_res"]

visual_info_list = [] for res in visual_predict_res: visual_info_list.append(res["visual_info"]) layout_parsing_result = res["layout_parsing_result"]

vector_info = pipeline.build_vector( visual_info_list, flag_save_bytes_vector=True, retriever_config=retriever_config ) chat_result = pipeline.chat( key_list=["驾驶室准乘人数"], visual_info=visual_info_list, vector_info=vector_info, mllm_predict_info=mllm_predict_info, chat_bot_config=chat_bot_config, retriever_config=retriever_config, ) print(chat_result)

</details>

<details>
   <summary><strong>4.4 PaddleOCR-VL 示例</strong></summary>

```python
from paddleocr import PaddleOCRVL

pipeline = PaddleOCRVL()
output = pipeline.predict("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png")
for res in output:
    res.print()
    res.save_to_json(save_path="output")
    res.save_to_markdown(save_path="output")