LaTeX_OCR_PRO

数学公式识别，增强：中文公式、手写公式

Seq2Seq + Attention + Beam Search。结构如下：

• 1. 搭建环境
• 2. 开始训练
• 3. 可视化
• 4. 部署
• 5. 评价
• 6. 更多细节
  • 模型实现细节
  • 解决方案
• 7. 致谢
• 8. 相关项目
• 9. 引用

1. 搭建环境

1. python3.5 + tensorflow1.12.2
2. [可选] latex (latex 转 pdf)
3. [可选] ghostscript (图片处理)
4. [可选] magick (pdf 转 png)

如果你想直接训练，不想自己构建数据集：

1. [可选] 新开一个虚拟环境

   virtualenv env35 --python=python3.5
   source env35/bin/activate
   

2. 安装依赖

   pip install -r requirements.txt     // cpu 版
   pip install -r requirements-gpu.txt // gpu 版
   

3. 下载数据集

   git submodule init
   git submodule update
   

   如果 git 速度太慢，您也可以手动下载数据集，放到 data 目录下。数据集仓库在 https://github.com/LinXueyuanStdio/Data-for-LaTeX_OCR 数据仓库同时托管到 huggingface (linxy/LaTeX_OCR)，欢迎使用！

如果你想自己构建数据集，然后再训练：

make install-linux

virtualenv env35 --python=python3.5
source env35/bin/activate
pip install -r requirements.txt

sudo apt-get install texlive-latex-base
sudo apt-get install texlive-latex-extra

sudo apt-get update
sudo apt-get install ghostscript
sudo apt-get install libgs-dev

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
tar -xvf ImageMagick.tar.gz
cd ImageMagick-7.*; \
./configure --with-gslib=yes; \
make; \
sudo make install; \
sudo ldconfig /usr/local/lib
rm ImageMagick.tar.gz
rm -r ImageMagick-7.*

make install-mac

sudo pip install -r requirements.txt

wget http://www.imagemagick.org/download/ImageMagick.tar.gz
tar -xvf ImageMagick.tar.gz
cd ImageMagick-7.*; \
./configure --with-gslib=yes; \
make;\
sudo make install; \
rm ImageMagick.tar.gz
rm -r ImageMagick-7.*

2. 开始训练

make small

make full

3. 可视化

cd results/small
tensorboard --logdir ./

cd results/full
tensorboard --logdir ./

# 默认
python visualize_attention.py
# 或者
python visualize_attention.py --image=data/images_test/6.png --vocab=configs/vocab.json --model=configs/model.json --output=results/full/

4. 部署

5. 评价

perplexity 是越接近1越好，其余3个指标是越大越好。

其中 EditDistance 和 BLEU-4 已达到业内先进水平

将 perplexity 训练到 1.03 左右，ExactMatchScore 还可以再升，应该可以到 70 以上。

机器不太好，训练太费时间了。

6. 更多细节

1. 模型实现细节

   包括数据获取、数据处理、模型架构、训练细节

2. 解决方案

   包括 “如何可视化 Attention 层”、“在 win10 用 GPU 加速训练” 等等

7. 致谢

十分感谢 Harvard 和 Guillaume Genthial 、Kelvin Xu 等人提供巨人的肩膀。

论文：

1. Show, Attend and Tell(Kelvin Xu...)
2. Harvard's paper and dataset
3. Seq2Seq for LaTeX generation.

8. 相关项目

LaTeX_OCR 的 PyTorch 版: https://github.com/qs956/Latex_OCR_Pytorch by @qs956

9. 引用

BibTeX

@misc{lin2024latex_ocr_pro,
  title={LaTeX_OCR_PRO},
  author={Xueyuan Lin},
  year={2024},
  publisher={GitHub},
  howpublished={\url{https://github.com/LinXueyuanStdio/LaTeX_OCR_PRO}},
}

LaTeX_OCR_PRO 快速上手指南

LaTeX_OCR_PRO 是一个基于 Seq2Seq + Attention 机制的数学公式识别工具，支持中文公式及手写公式的 LaTeX 代码生成。

1. 环境准备

系统要求

• Python: 3.5+
• 深度学习框架: TensorFlow 1.12.2
• 操作系统: Linux 或 macOS (Windows 用户建议参考项目文档中的解决方案)

前置依赖 (可选但推荐)

若需自行构建数据集（将 LaTeX 转为图片），需安装以下工具：

• LaTeX: 用于生成 PDF (texlive-latex-base, texlive-latex-extra)
• Ghostscript: 用于图片处理
• ImageMagick (magick): 用于 PDF 转 PNG

提示: 如果仅使用预训练模型或官方提供的数据集进行训练/测试，可跳过上述前置依赖的安装。

2. 安装步骤

第一步：创建虚拟环境并安装依赖

推荐使用 Python 3.5 虚拟环境。

# 创建虚拟环境
virtualenv env35 --python=python3.5
source env35/bin/activate

# 安装依赖 (根据硬件选择)
pip install -r requirements.txt     # CPU 版本
# 或
pip install -r requirements-gpu.txt # GPU 版本

第二步：获取数据集

项目使用 git submodule 管理数据。

方案 A：自动下载 (推荐)

git submodule init
git submodule update

加速提示: 若 Git 下载速度慢，可手动从 HuggingFace 或 GitHub 数据仓库 下载数据，解压后放入项目根目录的 data 文件夹下。

方案 B：自行构建数据集 (仅限需要自定义数据时)

• Linux 一键安装: make install-linux
• Mac 一键安装: make install-mac (详细手动安装步骤请参阅原始 README 中的“搭建环境”章节)

3. 基本使用

场景一：快速测试 (小数据集)

适合验证环境配置是否正确，仅需 2 分钟即可生成少量样本并完成一次训练循环。注意：此模型无法用于实际预测，仅用于调试代码。

# 一键执行：生成小数据集 -> 训练 -> 评价
make small

或者分步执行：

# 1. 生成小数据集及字典
python build.py --data=configs/data_small.json --vocab=configs/vocab_small.json

# 2. 开始训练
python train.py --data=configs/data_small.json --vocab=configs/vocab_small.json --training=configs/training_small.json --model=configs/model.json --output=results/small/

# 3. 评估结果
python evaluate_txt.py --results=results/small/

场景二：完整训练 (生产级)

生成 70,000+ 公式图片约需 2-3 小时，训练出的模型具备实际应用能力。

# 一键执行全流程
make full

或者分步执行：

# 1. 生成完整数据集 (只需运行一次)
python build.py --data=configs/data.json --vocab=configs/vocab.json

# 2. 开始训练
python train.py --data=configs/data.json --vocab=configs/vocab.json --training=configs/training.json --model=configs/model.json --output=results/full/

# 3. 评估结果
python evaluate_txt.py --results=results/full/

场景三：可视化与部署

查看训练过程 (TensorBoard)

cd results/full  # 或 results/small
tensorboard --logdir ./

可视化注意力机制 (Attention) 观察模型如何关注图片的不同部分来生成 LaTeX 代码：

python visualize_attention.py --image=data/images_test/6.png --vocab=configs/vocab.json --model=configs/model.json --output=results/full/

启动 Web 服务 (Django)

# 安装 Django
pip install django

# 启动主服务
python manage.py runserver 0.0.0.0:8010

# (新终端) 启动图片服务
cd data/images_train
python -m SimpleHTTPServer 8020

启动后访问本地端口，输入图片文件名（如 0.png）即可在线测试识别效果。