pix2tex - LaTeX OCR

该项目的目标是构建一个基于学习的系统，能够接收数学公式的图像并返回对应的 LaTeX 代码。

使用模型

要运行该模型，您需要 Python 3.7 或更高版本。

如果您尚未安装 PyTorch，请按照他们的说明进行安装：这里。

安装 pix2tex 包：

pip install "pix2tex[gui]"

模型检查点将自动下载。

有三种方法可以从图像中获取预测结果：

1. 您可以使用命令行工具 pix2tex。在这里，您可以解析磁盘上已有的图像以及剪贴板中的图像。

2. 感谢 @katie-lim，您可以使用一个友好的用户界面来快速获得模型预测结果。只需调用 GUI latexocr 即可。从这里您可以截取屏幕截图，预测的 LaTeX 代码会使用 MathJax 渲染，并复制到您的剪贴板。

   在 Linux 系统上，您可以使用 gnome-screenshot（支持多显示器）来运行 GUI。对于其他 Wayland 合成器，基于 wlroots 的将使用 grim 和 slurp，而 KDE Plasma 则使用 spectacle。请注意，gnome-screenshot 不兼容 wlroots 或基于 Qt 的合成器。由于在可用时会优先使用 gnome-screenshot，因此在这些情况下您可能需要将环境变量 SCREENSHOT_TOOL 设置为 grim 或 spectacle（其他可用值包括 gnome-screenshot 和 pil）。

   

   如果模型对图像内容不确定，每次点击“重试”都可能会输出不同的预测结果。通过调整 temperature 参数，您可以控制这种行为（较低的温度会生成相同的结果）。

3. 您还可以使用 API。这需要额外的依赖项。通过 pip install -U "pix2tex[api]" 进行安装，并运行以下命令以启动连接到端口 8502 的 Streamlit 演示：

   python -m pix2tex.api.run
   

   此外，还有一个用于 API 的 Docker 镜像：https://hub.docker.com/r/lukasblecher/pix2tex

   docker pull lukasblecher/pix2tex:api
   docker run --rm -p 8502:8502 lukasblecher/pix2tex:api
   

   若要同时运行 Streamlit 演示，请执行：

   docker run --rm -it -p 8501:8501 --entrypoint python lukasblecher/pix2tex:api pix2tex/api/run.py
   

   然后访问 http://localhost:8501/。

4. 直接在 Python 中使用

   from PIL import Image
   from pix2tex.cli import LatexOCR
   
   img = Image.open('path/to/image.png')
   model = LatexOCR()
   print(model(img))
   

该模型在分辨率较低的图像上表现最佳。因此，我添加了一个预处理步骤，其中另一个神经网络会预测输入图像的最佳分辨率。此模型会自动将自定义图像调整为最接近训练数据的尺寸，从而提高在实际场景中图像的性能。尽管如此，它仍不完美，可能无法很好地处理超大图像，因此请勿在拍照前将镜头拉至最大变焦。

务必仔细核对结果。如果答案错误，您可以尝试使用其他分辨率重新进行预测。

想使用这个包吗？

我目前正在编写文档。

请访问：https://pix2tex.readthedocs.io/

训练模型

安装一些依赖项 pip install "pix2tex[train]"。

1. 首先，我们需要将图像与其真实标签结合起来。我编写了一个数据集类（还需要进一步改进），它保存了图像的相对路径以及渲染它们所用的 LaTeX 代码。要生成数据集 pickle 文件，请运行：

python -m pix2tex.dataset.dataset --equations path_to_textfile --images path_to_images --out dataset.pkl

如果您想使用自己的分词器，可以通过 --tokenizer 传递（见下文）。

您也可以在我的 Google Drive 上找到我生成的训练数据（formulae.zip - 图像，math.txt - 标签）。对验证和测试数据重复此步骤。所有数据都使用相同的标签文本文件。

2. 将配置文件中的 data（和 valdata）条目修改为新生成的 .pkl 文件。如果您愿意，可以更改其他超参数。模板请参阅 pix2tex/model/settings/config.yaml。
3. 现在开始实际训练：

python -m pix2tex.train --config path_to_config_file

如果您想使用自己的数据，可能需要创建自己的分词器：

python -m pix2tex.dataset.dataset --equations path_to_textfile --vocab-size 8000 --out tokenizer.json

别忘了更新配置文件中分词器的路径，并将 num_tokens 设置为您词汇表的大小。

模型

该模型由一个带有 ResNet 主干的 ViT [1] 编码器和一个 Transformer [2] 解码器组成。

性能

BLEU 分数	归一化编辑距离	词元准确率
0.88	0.10	0.60

数据

我们需要成对的数据来训练网络。幸运的是，互联网上有大量的 LaTeX 代码，例如 维基百科 和 arXiv。我们还使用了 im2latex-100k [3] 数据集中的公式。

所有数据都可以在这里找到：链接

数据集要求

为了以多种不同的字体渲染数学公式，我们使用 XeLaTeX 生成 PDF 文件，然后再将其转换为 PNG 格式。在最后一步中，我们需要借助一些第三方工具：

• XeLaTeX
• ImageMagick 结合 Ghostscript（用于将 PDF 转换为 PNG）
• Node.js 运行 KaTeX（用于标准化 LaTeX 代码）
• Python 3.7 及以上版本与依赖库（在 setup.py 中已指定）

字体

Latin Modern Math、GFSNeohellenicMath.otf、Asana Math、XITS Math、Cambria Math

待办事项

• 增加更多评估指标
• 创建图形用户界面
• 添加束搜索
• 支持手写公式（已部分完成，详见训练 Colab 笔记本）
• 减小模型规模（知识蒸馏）
• 寻找最优超参数
• 调整模型结构
• 修复数据抓取并抓取更多数据
• 对模型进行追踪（#2）

贡献

欢迎任何形式的贡献。

致谢

代码取自并修改自 lucidrains、rwightman、im2markup、arxiv_leaks、pkra: Mathjax 以及 harupy: 截图工具。

参考文献

[1] 一张图片胜过 16×16 个词

[2] 注意力就是一切

[3] 基于粗到精注意力机制的图像转标记语言生成

LaTeX-OCR (pix2tex) 快速上手指南

LaTeX-OCR 是一个基于深度学习的工具，能够将数学公式图片转换为对应的 LaTeX 代码。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：3.7 或更高
• 核心依赖：PyTorch
  • 请根据官方指引安装适合你环境的 PyTorch：https://pytorch.org/get-started/locally/
  • 国内加速建议：安装 PyTorch 时推荐使用清华或中科大镜像源，例如：

    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
    # 或使用国内镜像
    pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
    

安装步骤

使用 pip 安装 pix2tex 包（包含图形界面支持）：

pip install "pix2tex[gui]"

提示：首次运行时，模型检查点文件会自动下载。如果下载缓慢，可能需要配置网络代理或寻找手动下载方式放入缓存目录。

基本使用

安装完成后，主要有以下三种使用方式：

1. 命令行工具 (CLI)

直接在终端调用 pix2tex，支持从磁盘读取图片或读取剪贴板中的图片：

pix2tex

2. 图形界面 (GUI) - 推荐

调用 latexocr 启动图形界面。你可以截取屏幕上的公式，工具会自动识别并将 LaTeX 代码渲染预览并复制到剪贴板。

latexocr

• Linux 用户注意：默认优先使用 gnome-screenshot。如果你使用的是 Wayland (wlroots) 或 KDE Plasma，可能需要设置环境变量指定截图工具：

  # 对于 wlroots (如 Sway)
  export SCREENSHOT_TOOL=grim
  
  # 对于 KDE Plasma
  export SCREENSHOT_TOOL=spectacle
  
  # 然后启动
  latexocr
  

• 功能：如果模型对识别结果不确定，可以点击 "Retry" 重新生成。可以通过调整 temperature 参数控制输出的随机性。

3. Python 代码调用

在 Python 脚本中直接集成该功能：

from PIL import Image
from pix2tex.cli import LatexOCR

# 加载图片
img = Image.open('path/to/image.png')

# 初始化模型
model = LatexOCR()

# 获取 LaTeX 代码
print(model(img))

使用技巧：该模型在较低分辨率的图片上表现最佳。工具内置了预处理步骤来自动调整图片分辨率，但在截图时请避免过度放大公式，保持原始清晰度和适当比例可获得更准确的结果。请务必仔细核对生成的 LaTeX 代码。