MixTeX - 多模态 LaTeX OCR，支持 CPU 推理

在线演示：https://mineai.top/

MixTeX 是由我们团队自主研发的一款创新性多模态 LaTeX 识别小程序。它能够在本地离线环境中进行高效的 CPU 推理。无论是 LaTeX 公式、表格还是混合文本，MixTeX 都能轻松识别，并且同时支持中文和英文处理。得益于强大的技术支持和优化的设计，MixTeX 无需 GPU 资源即可高效运行，适用于任何 Windows 计算机，极大地方便了用户的使用体验。

源代码设置：

请务必在开始之前阅读用户协议。

1. 导航到 mixtexgui 目录：cd mixtexgui
2. 创建一个新的 Conda 环境：conda create -n mixtex python=3.10.14
3. 激活环境：conda activate mixtex
4. 运行 pip install -r requirements.txt
5. 使用 PyInstaller 构建应用程序：pyinstaller mixtex_ui.spec
6. 如果可能的话，请大家将其他平台打包好的程序提交到 GitHub 上吗？感谢您的支持！

核心功能

• LaTeX 公式识别：准确识别复杂的 LaTeX 数学公式，确保数学表达式的精确性。
• 表格识别：高效处理并识别各类表格，生成对应的 LaTeX 表格代码。
• 混合文本识别：同时处理包含文字、公式和表格的文本，保证识别结果的完整性和准确性。
• 双语支持：无论中文还是英文，MixTeX 都能实现高精度识别，满足不同语言环境下的需求。

技术特点

• 本地离线推理：无需互联网连接，确保数据隐私与安全，适合高保密性的使用场景。
• 轻量级设计：程序启动文件仅约 50 MB，便于快速部署和启动。
• 高效运行：尽管模型文件大小为 300 MB，导致启动稍慢，但加载完成后运行速度极快，确保流畅的用户体验。
• 无需 GPU：可在 CPU 上高效运行，适用于所有 Windows 计算机，无需高端硬件支持。

使用指南

1. 剪贴板图像识别：用户可以通过按下 Win+V 启用剪贴板功能，并将待识别的图像复制到剪贴板。
2. 截图识别：使用 Windows 自带的截图工具或键盘上的截图键，截取屏幕内容并直接进行识别。

用户

作为一款永久免费的软件，MixTeX 承诺在保持本地离线运行的同时持续优化，不包含任何广告，致力于提供最佳的用户体验。

演示

MixTeX 在复杂文本识别方面表现出色，尤其在英文识别上表现优异，中文识别效果也相当不错。下图展示了 MixTeX 对复杂文本的识别能力：（推荐图片尺寸：400 x 500）

环境要求

MixTeX 使用 LaTeX 环境进行代码转换。我们推荐以下 LaTeX 配置：

\documentclass{ctexart}
\usepackage{amssymb}
\usepackage{amsmath}
\usepackage{stmaryrd}
\usepackage{color}

变更日志

在使用过程中，您可能会遇到以下警告信息：OCR 过程中出错：无效的图像类型。期望的是 PIL.Image.Image、numpy.ndarray、torch.Tensor、tf.Tensor 或 jax.ndarray，但得到的是 <class 'list'>。

v1.0.1 [已解决] 严重问题：软件运行时无法复制文件，且复制文件会导致警告。

持续出现的警告信息：OCR 过程中出错：无法推断通道维度格式。

v1.0.2 [已解决] 极端情况：部分用户的显示器过于先进，颜色非 RGB 格式，导致软件无法正常使用。

v1.1.2 [优化] 增加了数据收集功能，微调了 300 个真实的小样本，优化了花括号和表格的识别。预训练中加入了更多的表格和公式，包括 @github.com/ZLab511 提供的公式。

v2.1.2 [升级] 合成了手写数据集，微调了 100 份真实手稿，重新训练了模型，并部分支持手写文本与公式混合的情况。

v2.2.3 [升级] 微调了 150 份真实手稿 + 300 份，支持手写文本与公式混合以及黑底背景。

v3.2.4 [升级] 微调了 500 份真实手稿，支持选择题 OCR。在软件方面，我们支持点击图标后按 F2 键暂停识别，再次按 F2 键则继续识别。改进了多行公式和文中公式的转义处理，使其包裹在 $$ 中，并进一步完善了数据收集工作。

局限性

目前，MixTeX 仅支持对清晰印刷字体的中英文混合公式以及相对简单的表格进行识别。我们计划在未来的更新中扩展其功能：

• 支持手写公式和文本识别
• 多语言支持
• 复杂表格识别

需要注意的是，我们的模型训练数据主要来源于合成和生成的数据，因此数据较为粗糙、单一且有限。在后续迭代中，我们将逐步引入更多真实场景的数据来丰富训练集。这一改进将有助于提升识别精度并增强系统的鲁棒性。

我们感谢您的理解，同时也期待您的反馈与耐心，因为我们将不断努力开发和完善 MixTeX，以打造更加全面和多功能的工具。

结论

MixTeX 致力于为用户提供最便捷、高效的多模态 LaTeX 识别工具。我们期待您的使用与反馈。如果您有任何建议或在使用 MixTeX 时遇到任何问题，请随时与我们联系。让我们携手共创最佳的 LaTeX 识别工具！

MixTeX-Latex-OCR 快速上手指南

MixTeX 是一款支持多模态（公式、表格、混合文本）的 LaTeX 光学字符识别（OCR）工具。其最大特点是完全本地离线运行，仅需 CPU 即可高效推理，无需 GPU 支持，且完美支持中英文混合识别。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows（官方主要支持平台）。
• Python 版本：3.10.14（必须严格匹配，建议使用 Conda 管理）。
• 依赖管理：已安装 Conda 和 pip。
• 构建工具：已安装 PyInstaller（用于打包图形界面应用）。
• LaTeX 环境（可选但推荐）：若需将识别结果编译为 PDF，建议安装 TeX Live 或 MiKTeX，并确保包含以下宏包：

  \documentclass{ctexart}
  \usepackage{amssymb}
  \usepackage{amsmath}
  \usepackage{stmaryrd}
  \usepackage{color}
  

安装步骤

请按照以下步骤在本地部署 MixTeX 图形界面程序：

1. 进入项目目录 克隆仓库后，进入 GUI 源码目录：

   cd mixtexgui
   

2. 创建 Conda 环境 创建一个名为 mixtex 的新环境，并指定 Python 版本：

   conda create -n mixtex python=3.10.14
   

3. 激活环境

   conda activate mixtex
   

4. 安装依赖 安装项目所需的 Python 库。 注：若下载速度慢，可配置国内镜像源（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

5. 构建应用程序 使用 PyInstaller 将脚本打包为可执行文件：

   pyinstaller mixtex_ui.spec
   

6. 运行程序 构建完成后，可在生成的 dist 目录下找到可执行文件并运行。

基本使用

MixTeX 设计为轻量级桌面工具，启动后即可通过以下两种方式进行识别：

1. 剪贴板识别（推荐）

这是最快捷的使用方式：

1. 按下 Win + V 打开剪贴板历史记录（或直接复制任意图片）。
2. 将包含公式、表格或混合文本的图片复制到剪贴板。
3. MixTeX 会自动检测剪贴板内容并进行识别，结果将直接显示在界面中。

2. 截图识别

1. 使用 Windows 自带截图工具（Win + Shift + S）或键盘上的截图键截取目标区域。
2. 截图完成后，MixTeX 会自动捕获并识别截图内容。

操作提示

• 暂停/开始：点击软件图标后，按 F2 键可暂停识别，再次按 F2 恢复。
• 输出格式：识别结果直接转换为标准的 LaTeX 代码，可直接复制到 .tex 文件中编译。
• 适用场景：适用于清晰的印刷体中英文混合公式及简单表格；目前对复杂手写体的支持仍在优化中。