Pix2Text

GitHub
3.1k 268 中等 1 次阅读 今天MIT图像开发框架
AI 解读 由 AI 自动生成,仅供参考

Pix2Text 是一款开源的 Python 工具,专为将图片中的复杂内容一键转换为可编辑的 Markdown 格式而设计。它能精准识别图像中的版面布局、表格结构、数学公式(自动转为 LaTeX)以及多语言文本,有效解决了从截图、扫描文档或论文中提取结构化信息的难题,是 Mathpix 的优质免费替代方案。

无论是需要整理文献的研究人员、处理技术文档的开发者,还是希望数字化笔记的学生与普通用户,都能通过 Pix2Text 轻松实现“看图转文字”。其独特之处在于采用了轻量级模型,在保证高精度的同时降低了运行门槛;最新版本更集成了先进的 DocLayout-YOLO 版面分析模型,并支持接入闭源视觉大模型(VLM)以增强表格和公式的识别能力。此外,它还支持直接转换整个 PDF 文件,覆盖全球 80 多种语言,让视觉内容到文本的转化变得无缝且高效。

使用场景

一位数据科学研究员正在整理包含复杂数学公式、表格和多栏排版的英文学术论文 PDF,急需将其转换为可编辑的 Markdown 格式以便复现代码和引用文献。

没有 Pix2Text 时

  • 公式识别困难:遇到行内或独立的数学公式只能手动截图或使用昂贵的 Mathpix 服务,且无法直接生成标准的 LaTeX 代码。
  • 表格结构丢失:普通 OCR 工具将表格识别为混乱的纯文本,行列关系完全错乱,需要人工重新绘制表格。
  • 排版逻辑混乱:双栏或多栏论文被错误地按行读取,导致句子断裂、段落顺序颠倒,后期校对耗时极长。
  • 多语言支持弱:若论文中包含非英语的术语或注释,传统工具往往识别率极低甚至直接乱码。
  • 成本与门槛高:高质量转换依赖付费 API 或繁琐的本地部署流程,难以批量处理大量文献。

使用 Pix2Text 后

  • 公式自动转 LaTeX:Pix2Text 内置的高精度模型能精准检测并识别数学公式,直接输出可编译的 LaTeX 源码,无缝嵌入 Markdown。
  • 表格完美还原:利用专用的表格识别模型,自动解析单元格结构并转换为 Markdown 表格格式,保留完整数据逻辑。
  • 智能布局分析:基于 DocLayout-YOLO 模型,Pix2Text 能准确理解双栏及复杂版面,按正确的阅读顺序重组文本段落。
  • 全球语言覆盖:支持 80 多种语言的混合识别,无论是英文正文还是其他语言的标注都能准确转录。
  • 免费批量处理:作为开源免费方案,研究者可在本地一键将整个文件夹的 PDF 批量转为 Markdown,大幅降低时间与经济成本。

Pix2Text 通过一站式解决布局、表格、公式和文本的识别难题,让科研人员能以零成本将视觉文档高效转化为结构化知识。

运行环境要求

操作系统
  • 未说明
GPU

未说明(但集成深度学习模型如 MFD/MFR/Layout,通常建议配备 NVIDIA GPU 以加速推理)

内存

未说明

依赖
notes该工具是一个 Python3 工具箱,旨在作为 Mathpix 的开源替代品。它集成了布局分析、表格识别、文本识别(支持 80+ 语言)、数学公式检测(MFD)和数学公式识别(MFR)模型。默认使用 mfd-1.5 和 mfr-1.5 模型。支持通过 pip install pix2text[vlm] 安装以使用基于 VLM 接口的闭源模型。首次运行需从 Hugging Face 下载模型文件。非 Python 用户可使用其提供的免费在线 Web 服务。
pythonPython 3
CnOCR
EasyOCR
CnSTD
DocLayout-YOLO
LiteLLM (可选,用于 VLM 支持)
Pix2Text hero image

快速开始

中文 | 英文

Pix2Text

更新 2025.07.25:V1.1.4 发布

主要更新:

  • 数学公式检测(MFD)和数学公式识别(MFR)模型升级至 1.5 版本。所有默认配置、文档和示例现均已采用 mfd-1.5mfr-1.5 作为标准模型。

更新 2025.04.15:V1.1.3 发布

主要更新:

更新 2024.11.17:V1.1.2 发布

主要更新:

  • 集成了新的版面分析模型 DocLayout-YOLO,提升了版面分析的准确性。

更新 2024.06.18:V1.1.1 发布

主要变化:

更新 2024.04.28:V1.1 发布

主要变化:

更新 2024年2月26日:V1.0 正式发布

主要更新:

更多信息请查看:RELEASE.md


Pix2Text (P2T) 旨在成为 Mathpix 的一个 免费且开源的 Python 替代方案,并且已经能够实现 Mathpix 的核心功能。Pix2Text (P2T) 可以识别版面、表格、图像、文本、数学公式,并将所有这些内容整合为 Markdown 格式。此外,P2T 还可以将整份 PDF 文件(其中可能包含扫描图像或其他格式)转换为 Markdown 格式。

Pix2Text (P2T) 集成了以下模型:

其中多个模型由其他开源项目作者贡献,我们对此表示衷心感谢。

Pix2Text 架构流程图

如需详细说明,请参阅 Pix2Text 在线文档/模型


作为一款 Python3 工具包,P2T 对于不熟悉 Python 的用户来说可能不太友好。因此,我们还提供了一个 免费使用的 P2T 在线网页p2t.breezedeus.com,您可以在上面直接上传图片并获取 P2T 的解析结果。该网页版本使用了最新的模型,性能相比开源版本更优。

如果您感兴趣,欢迎扫描二维码添加助手为好友,并注明 p2t。助手会定期邀请大家加入群组,群内将发布与 P2T 工具相关的最新动态:

微信二维码

作者还维护着一个 知识星球 P2T/CnOCR/CnSTD 私人社群,在这里问题能够得到及时解答,欢迎大家加入。该 知识星球私人社群 还会逐步发布一些与 P2T/CnOCR/CnSTD 相关的私密资料,包括 部分未公开的模型购买高级模型的折扣优惠不同应用场景的代码片段,以及使用过程中遇到的疑难问题解答。同时,星球也会分享与 P2T/OCR/STD 相关的最新研究资料。

更多联系方式请参阅 联系我们

支持的语言列表

Pix2Text 的文本识别引擎支持 80+ 种语言,包括 英语、简体中文、繁体中文、越南语 等。其中,英语简体中文 的识别使用了开源 OCR 工具 CnOCR,而其他语言的识别则采用了开源 OCR 工具 EasyOCR。在此特别感谢两位作者。

以下是 支持的语言 及其 语言代码 列表:

↓↓↓ 点击展开详情 ↓↓↓
语言 代码名称
阿巴扎语 abq
阿迪格语 ady
南非语 af
安吉卡语 ang
阿拉伯语 ar
阿萨姆语 as
阿瓦尔语 ava
阿塞拜疆语 az
白俄罗斯语 be
保加利亚语 bg
比哈尔语 bh
博杰普里语 bho
孟加拉语 bn
波斯尼亚语 bs
简体中文 ch_sim
繁体中文 ch_tra
车臣语 che
捷克语 cs
威尔士语 cy
丹麦语 da
达尔金语 dar
德语 de
英语 en
西班牙语 es
爱沙尼亚语 et
波斯语(法尔西语) fa
法语 fr
爱尔兰语 ga
果阿孔卡尼语 gom
印地语 hi
克罗地亚语 hr
匈牙利语 hu
印度尼西亚语 id
因古什语 inh
冰岛语 is
意大利语 it
日语 ja
卡巴尔达语 kbd
坎那达语 kn
韩语 ko
库尔德语 ku
拉丁语 la
拉克语 lbe
列兹金语 lez
立陶宛语 lt
拉脱维亚语 lv
马嘎希语 mah
迈蒂利语 mai
毛利语 mi
蒙古语 mn
马拉地语 mr
马来语 ms
马耳他语 mt
尼泊尔语 ne
新瓦里语 new
荷兰语 nl
挪威语 no
奥克西塔尼语 oc
巴利语 pi
波兰语 pl
葡萄牙语 pt
罗马尼亚语 ro
俄语 ru
塞尔维亚语(西里尔字母) rs_cyrillic
塞尔维亚语(拉丁字母) rs_latin
纳格浦里语 sck
斯洛伐克语 sk
斯洛文尼亚语 sl
阿尔巴尼亚语 sq
瑞典语 sv
斯瓦希里语 sw
泰米尔语 ta
塔巴萨兰语 tab
泰卢固语 te
泰语 th
塔吉克语 tjk
他加禄语 tl
土耳其语 tr
维吾尔语 ug
乌克兰语 uk
乌尔都语 ur
乌兹别克语 uz
越南语 vi

参考:支持的语言

在线服务

大家可以免费使用 P2T 在线服务,每个账号每天有 10,000 字符的使用限制,对于一般用途来说已经足够。请勿进行批量 API 调用,因为机器资源有限,这可能会导致其他人无法访问该服务。

由于硬件限制,在线服务目前仅支持 简体中文英语。如需尝试其他语言的模型,请使用以下 在线演示

在线演示 🤗

您也可以尝试 在线演示,查看 P2T 在各种语言中的表现。不过,在线演示运行在较低的硬件配置上,速度可能会较慢。对于简体中文或英语图像,建议使用 P2T 在线服务

示例

请参阅:Pix2Text 在线文档/示例

使用方法

请参阅:Pix2Text 在线文档/使用方法

模型

请参阅:Pix2Text 在线文档/模型

安装

如果一切顺利,只需一行命令即可完成安装。

pip install pix2text

如果您需要识别除 英语简体中文 之外的语言,请使用以下命令安装额外的包:

pip install pix2text[multilingual]

如果安装速度较慢,可以指定安装源,例如使用阿里云镜像:

pip install pix2text -i https://mirrors.aliyun.com/pypi/simple

更多信息请参考:Pix2Text 在线文档/安装

命令行工具

请参阅:Pix2Text 在线文档/命令行工具

HTTP 服务

请参阅:Pix2Text 在线文档/命令行工具/启动服务

macOS 桌面应用

请参考 Pix2Text-Mac 来安装适用于 macOS 的 Pix2Text 桌面应用。

Pix2Text Mac App

为作者点一杯咖啡

维护和推进这个项目并不容易,因此如果您觉得它对您有所帮助,请考虑 为作者点一杯咖啡 🥤


官方代码库:https://github.com/breezedeus/pix2text。请正确引用。

更多关于 Pix2Text (P2T) 的信息,请访问:https://www.breezedeus.com/article/pix2text

版本历史

v1.1.62026/02/07
v1.1.52026/02/07
v1.1.42025/07/24
v1.1.3.22025/05/07
v1.1.3.12025/04/27
v1.1.32025/04/15
v1.1.2.32024/12/17
v1.1.2.22024/12/11
v1.1.2.12024/12/02
v1.1.22024/11/16
v1.1.1.22024/07/18
v1.1.1.12024/06/24
v1.1.12024/06/18
v1.1.0.72024/06/17
v1.1.0.62024/06/04
v1.1.0.52024/05/27
v1.1.0.42024/05/20
v1.1.0.32024/05/19
v1.1.0.22024/05/10
v1.1.0.12024/04/30

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|2周前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

160.8k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

109.2k|★★☆☆☆|昨天
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|1周前
插件开发框架