text_renderer

GitHub
1.5k 388 简单 1 次阅读 3周前MIT图像
AI 解读 由 AI 自动生成,仅供参考

text_renderer 是一款专为深度学习 OCR(光学字符识别)模型训练设计的开源工具,核心功能是批量生成带有丰富视觉效果的文字图像及其对应标签。它有效解决了训练数据匮乏的痛点,特别是针对非拉丁语系(如中文)字体支持不全导致生成内容出现乱码或缺字的问题,通过“严格模式”自动筛选可用字体,确保生成质量。

该工具非常适合 AI 开发者、算法研究人员以及需要构建自定义数据集的技术团队使用。其独特亮点在于提供了高度可配置的文本效果系统,用户只需修改配置文件,即可轻松模拟透视变换、曲线弯曲、模糊、噪点、边框及各类线条干扰等真实场景中的复杂情况,从而大幅提升模型的泛化能力和鲁棒性。此外,text_renderer 还支持 GPU 加速生成,显著缩短大规模数据集的制作时间,并提供调试模式以可视化边界框和变换细节,方便开发者排查问题。无论是复现经典 CRNN 模型,还是研发新的识别算法,text_renderer 都能帮助用户高效获取高质量的合成训练数据。

使用场景

某金融科技公司正在开发一款能自动识别手写发票和复杂表格的 OCR 系统,但面临真实标注数据稀缺且多样性不足的难题。

没有 text_renderer 时

  • 数据采集成本高昂:团队需耗费数周时间人工收集并标注成千上万张包含不同字体、背景噪声的真实票据图片。
  • 模型泛化能力差:由于训练样本缺乏透视变形、模糊、光照不均等真实场景干扰,模型在遇到稍微倾斜或模糊的发票时识别率骤降。
  • 生僻字支持困难:在处理非拉丁字符(如中文财务术语)时,难以找到覆盖所有生僻字的统一字体源,导致训练数据中出现大量乱码或缺失字符。
  • 迭代周期漫长:每次调整模型结构后,重新准备和清洗多样化数据集的过程严重拖慢了算法验证与上线节奏。

使用 text_renderer 后

  • 低成本生成海量数据:利用 text_renderer 内置的透视变换、曲线扭曲、随机裁剪及各类噪声效果,几分钟内即可合成数万张高度逼真的模拟发票图像。
  • 显著提升鲁棒性:通过配置 configs/default.yaml 灵活添加模糊、边框、颜色反转等特效,模型迅速学会了应对各种恶劣拍摄环境,识别准确率大幅提升。
  • 完美解决字符覆盖:启用 --strict 严格模式后,text_renderer 自动筛选支持全部目标字符的字体,彻底消除了中文生僻字渲染失败导致的训练噪音。
  • 加速研发闭环:结合 GPU 加速生成与调试模式,团队能在几小时内完成从数据合成到模型验证的全流程,将算法迭代效率提升了数倍。

text_renderer 通过低成本合成高多样性、高质量的训练数据,从根本上解决了深度学习 OCR 模型对大规模标注数据的依赖瓶颈。

运行环境要求

操作系统
  • Linux
GPU
  • 非必需
  • 若需加速,需自行编译支持 CUDA 的 OpenCV 并构建 Cython 模块,具体显卡型号、显存及 CUDA 版本未说明
内存

未说明

依赖
notes默认在 Ubuntu 16.04 上测试。生成非拉丁语系(如中文)图像时,建议使用 '--strict' 模式以自动筛选支持所有字符的字体,避免渲染错误。可使用提供的 check_font.py 脚本检查字体对特定字符集的支持情况。
python3.5+
requirements.txt 中定义的依赖 (具体列表未在 README 中展示)
text_renderer hero image

快速开始

新版本发布:https://github.com/oh-my-ocr/text_renderer

文本渲染器

用于生成文本图像,以训练深度学习 OCR 模型(例如 CRNN)。支持拉丁文字和非拉丁文字。

环境准备

  • Ubuntu 16.04
  • Python 3.5+

安装依赖:

pip3 install -r requirements.txt

示例

默认情况下,直接运行 python3 main.py 将在 output/default/ 目录下生成 20 张文本图像和一个 labels.txt 文件。

example1.jpg example2.jpg

example3.jpg example4.jpg

使用自定义数据生成图像

  1. 请运行 python3 main.py --help 查看所有可选参数及其含义,并将您的数据放入相应的文件夹中。

  2. configs/default.yaml 文件中配置文本效果和比例(或创建一个新的配置文件并通过 --config_file 选项使用),以下是一些示例:

效果名称 图片
原始(字体大小 25) origin
透视变换 perspective
随机裁剪 rand_crop
曲线 curve
浅色边框 light border
深色边框 dark border
大随机字符间距 random char space big
小随机字符间距 random char space small
中线 middle line
表格线 table line
下划线 under line
浮雕 emboss
反色 reverse color
模糊 blur
文本颜色 font_color
线条颜色 line_color
  1. 运行 main.py 文件。

严格模式

对于非拉丁语言(例如中文),常见的情况是某些字体仅支持有限的字符。在这种情况下,您可能会得到如下不良结果:

bad_example1

bad_example2

bad_example3

选择在 --chars_file 中支持所有字符的字体会比较麻烦。使用 --strict 选项运行 main.py,渲染器将在生成过程中不断尝试从语料库中获取文本,直到找到一种能够支持所有字符的字体为止。

工具

您可以使用 check_font.py 脚本来检查您的字体在 --chars_file 中有多少字符不支持:

python3 tools/check_font.py

checking font ./data/fonts/eng/Hack-Regular.ttf
chars not supported(4971):
['第', '朱', '广', '沪', '联', '自', '治', '县', '驼', '身', '进', '行', '纳', '税', '防', '火', '墙', '掏', '心', '内', '容', '万', '警','钟', '上', '了', '解'...]
0 fonts support all chars(5071) in ./data/chars/chn.txt:
[]

使用 GPU 生成图像

如果您希望使用 GPU 加快图像生成速度,首先需要编译带有 CUDA 支持的 OpenCV。 编译带有 CUDA 支持的 OpenCV

然后构建 Cython 部分,并在运行 main.py 时添加 --gpu 选项:

cd libs/gpu
python3 setup.py build_ext --inplace

调试模式

运行 python3 main.py --debug 将保存包含提取信息的图像。您可以查看 perspectiveTransform 的工作方式以及所有的边界框和旋转框。

debug_demo

待办事项

请参阅 https://github.com/Sanster/text_renderer/projects/1

引用 text_renderer

如果您在研究中使用了 text_renderer,请考虑使用以下 BibTeX 条目。

@misc{text_renderer,
  author =       {weiqing.chu},
  title =        {text_renderer},
  howpublished = {\url{https://github.com/Sanster/text_renderer}},
  year =         {2021}
}

常见问题

相似工具推荐

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|今天
开发框架图像Agent

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.7k|★★☆☆☆|2天前
开发框架图像Agent

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。

85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。

77.1k|★★★☆☆|2天前
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。

74.9k|★★★☆☆|今天
语言模型图像开发框架

tesseract

Tesseract 是一款历史悠久且备受推崇的开源光学字符识别(OCR)引擎,最初由惠普实验室开发,后由 Google 维护,目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据,有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题,是数字化归档和信息自动化的重要基础工具。 在技术层面,Tesseract 展现了强大的适应能力。从版本 4 开始,它引入了基于长短期记忆网络(LSTM)的神经网络 OCR 引擎,显著提升了行识别的准确率;同时,为了兼顾旧有需求,它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码,开箱即用即可识别超过 100 种语言,并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面,它灵活支持纯文本、hOCR、PDF、TSV 等多种格式,方便后续数据处理。 Tesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库(libtesseract),不包含图形用户界面(GUI),因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中

73.3k|★★☆☆☆|3天前
开发框架图像