image-to-latex
image-to-latex 是一款强大的开源应用，能够直接将包含数学公式的图片转换为标准的 LaTeX 代码。在科研写作或技术文档编辑中，手动录入复杂的数学表达式往往耗时且易错，传统 OCR 也难以精准识别特殊符号，而这款工具正是为了解决这一痛点而生。
它主要面向科研人员、学生以及需要处理科学内容的开发者。无论是从论文截图中提取公式，还是将扫描文档数字化，都能显著提升工作效率。
技术层面，它采用了 ResNet-18 编码器搭配 Transformer 解码器的先进架构，比早期基于 RNN 的方案更具优势。为了克服通用性问题，项目引入了图像增强技术并使用原始数据集训练，使模型能适应不同尺寸和质量的图片，而非仅局限于特定格式。此外，它还智能处理了视觉上相同但代码不同的符号规范化问题。如果你需要在图片和 LaTeX 源码间快速切换，image-to-latex 是个值得信赖的选择。
使用场景
研究生小李在撰写机器学习方向的学术论文时，需要复现一篇经典文献中带有复杂分式与求和符号的推导公式，但手头只有扫描版的 PDF 截图。
没有 image-to-latex 时
- 手动逐字输入 LaTeX 代码极其耗时，一个中等难度的公式往往需要十几分钟。
- 极易出现括号不匹配、下标位置错误或特殊符号遗漏等低级语法问题。
- 遇到生僻的数学环境（如多行对齐）时，需频繁查阅文档确认语法细节。
- 反复调整编译后的排版效果，严重拖慢论文定稿的整体进度。
使用 image-to-latex 后
- 只需将公式截图拖入界面，image-to-latex 即可快速输出对应的源代码。
- 模型基于 Transformer 架构，能准确还原复杂的嵌套结构与特殊符号组合。
- 生成的代码经过标准化处理，直接复制粘贴到编辑器中即可正常编译显示。
- 大幅减少人工校对时间，让研究者能将精力集中在核心逻辑验证而非格式上。
通过图像转代码的自动化能力，image-to-latex 彻底解决了从视觉素材到可编辑文本的转换瓶颈。
运行环境要求
- 未说明
需要 GPU（训练场景），具体型号和显存未说明
未说明
快速开始
图像转 LaTeX
一个将 LaTeX 数学公式图像映射为 LaTeX 代码的应用程序。
简介
图像转标记生成问题曾由 Deng et al. (2016) 尝试解决。他们通过解析来自 arXiv 的论文 LaTeX 源文件提取了约 10 万个公式。他们使用 pdflatex 渲染公式，并将渲染后的 PDF 文件转换为 PNG 格式。他们数据集的原始和预处理版本可在线获取 online。在他们的模型中，首先使用 CNN（卷积神经网络）提取图像特征。随后，使用 RNN（循环神经网络）对特征的行进行编码。最后，带有注意力机制的 RNN 解码器使用这些编码后的特征。该模型总共有 948 万个参数。最近，Transformer（Transformer 架构）在许多语言任务上超越了 RNN，所以我想到在这个问题上试一试。
方法
使用该数据集，我训练了一个使用 ResNet-18 作为编码器（带有 2D 位置编码）和 Transformer 作为解码器（带有交叉熵损失）的模型。（类似于 Singh et al. (2021) 中描述的那个，除了我只使用了 ResNet 直到 block 3 以减少计算成本，并且我排除了行号编码，因为它不适用于此问题。）该模型约有 300 万个参数。
模型架构。取自 Singh et al. (2021)。
最初，我使用预处理过的数据集来训练我的模型，因为预处理后的图像为了效率被下采样到原始大小的一半，并且被分组和填充到相似的大小以方便批处理。然而，这种僵化的预处理最终成为了巨大的限制。虽然模型在测试集上能达到合理的性能（测试集的预处理方式与训练集相同），但它对数据集之外的图像泛化能力不佳，最可能是因为图像质量、填充和字体大小与数据集中的图像差异太大。其他尝试使用相同数据集解决同一问题的人也观察到了这一现象（例如，this project, this issue 和 this issue）。
为此，我使用了原始数据集，并在数据处理流程中包含了图像增强（例如随机缩放、高斯噪声），以增加样本的多样性。此外，与 Deng et al. (2016) 不同，我没有按大小对图像进行分组。相反，我均匀地采样它们并将它们填充到批次中最大图像的大小，以便模型必须学习如何适应不同的填充大小。
我在数据集中遇到的额外问题：
- 一些 LaTeX 代码会产生视觉上相同的输出（例如
\left(和\right)看起来与(和)相同），所以我进行了归一化。 - 一些 LaTeX 代码用于添加空格（例如
\vspace{2px}和\hspace{0.3mm}）。然而，即使对于人类来说，空格的长度也难以判断。此外，表达相同间距的方式有很多（例如 1 cm = 10 mm）。最后，我不希望模型在空白图像上生成代码，所以我删除了它们。（我只删除了\vspace和\hspace，但事实证明有很多用于水平间距的命令。我只是在错误分析期间才意识到这一点。见下文。）
结果
最佳运行 在测试集上的字符错误率 (CER) 为 0.17。这是测试数据集中的一例：
- 输入图像和模型预测看起来完全相同。但在真实标签中，水平间距是使用
~创建的，而模型使用了\,，因此这仍被计为错误。
我还在一些随机的维基百科文章中截了一些图，看看模型是否能泛化到数据集之外的图像：
- 模型输出实际上是正确的，但由于某种原因 Streamlit 无法渲染包含
\cal的代码。
- 错误地将一些符号加粗了。
当图像比数据集中的图像大时，模型似乎也有一些困难。也许我应该增加数据增强过程中重缩放因子的范围。
讨论
我认为我应该更好地定义项目的范围：
- 我是否希望模型能够区分常规大小和大型括号（例如
(,\big(,\Big(,\bigg(,\Bigg(）？ - 我是否希望模型能够识别水平和垂直间距？（有 超过 40 个水平间距命令。）
- 我是否希望模型能够识别不同的字体样式？（这里是 LaTeX 中可用的字体样式列表。）
- 等等。
这些问题应被用来指导数据清洗过程。
我发现了一个相当成熟的工具，叫做 Mathpix Snip，它可以将手写公式转换为 LaTeX 代码。它的 词汇量 (vocabulary size) 约为 200。排除数字和英文字母后，它能生成的 LaTeX 命令数量实际上刚刚超过 100 个。（im2latex-100k 的词汇量接近 500。）它仅包含两个水平间距命令（\quad 和 \qquad），并且不识别不同大小的括号。也许限制在有限的词汇集是我应该做的，因为现实世界的 LaTeX 中存在太多歧义。
这项工作明显的潜在改进包括：(1) 训练模型更多轮次 (epochs)（为了节省时间，我只训练了 15 轮，但验证损失仍在下降），(2) 使用束搜索 (beam search)（我只实现了贪婪搜索 (greedy search)），(3) 使用更大的模型（例如，使用 ResNet-34 而不是 ResNet-18）并进行一些超参数调整。我没有做这些，因为我的计算资源有限（我当时使用的是 Google Colab）。但最终，我相信拥有没有歧义标签的数据以及进行更多的数据增强是解决这个问题的关键。
模型性能不如我预期的那么好，但我希望我从这个项目中学到的经验对将来想要解决类似问题的人有用。
如何使用
设置
将仓库克隆到你的电脑上，并将命令行定位到仓库文件夹内：
git clone https://github.com/kingyiusuen/image-to-latex.git
cd image-to-latex
然后，创建一个名为 venv 的虚拟环境并安装所需的包：
make venv
make install-dev
数据预处理
运行以下命令下载 im2latex-100k 数据集并进行所有预处理。（图像裁剪步骤可能需要超过一小时。）
python scripts/prepare_data.py
模型训练与实验跟踪
模型训练
开始训练会话的一个示例命令：
python scripts/run_experiment.py trainer.gpus=1 data.batch_size=32
配置可以在 conf/config.yaml 或命令行中修改。参见 Hydra 的文档 了解更多。
使用 Weights & Biases 进行实验跟踪
最佳模型检查点 (checkpoint) 将自动上传到 Weights & Biases (W&B)（在训练开始前，你会被要求注册或登录 W&B）。这里有一个从 W&B 下载已训练模型检查点的示例命令：
python scripts/download_checkpoint.py RUN_PATH
将 RUN_PATH 替换为你的运行路径。运行路径应为 <entity>/<project>/<run_id> 格式。要查找特定实验运行的运行路径，请前往仪表板的概览选项卡。
例如，你可以使用以下命令下载我最好的运行结果
python scripts/download_checkpoint.py kingyiusuen/image-to-latex/1w1abmg1
检查点将被下载到项目目录下的一个名为 artifacts 的文件夹中。
测试与持续集成
以下工具用于检查代码库：
isort：排序和格式化 Python 脚本中的导入语句。
black：遵循 PEP8 的代码格式化器。
flake8：报告 Python 脚本中风格问题的代码检查器。
mypy：执行 Python 脚本中的静态类型检查。
使用以下命令运行所有检查器和格式化器：
make lint
有关它们的配置，请参阅根目录下的 pyproject.toml 和 setup.cfg。
类似的检查会在提交时由 pre-commit (预提交) 框架自动完成。查看 .pre-commit-config.yaml 获取配置。
部署
创建了一个 API (应用程序编程接口) 来使用训练好的模型进行预测。使用以下命令启动服务器：
make api
你可以通过生成的文档 http://0.0.0.0:8000/docs 探索该 API。
要运行 Streamlit 应用，请打开一个新的终端窗口并使用以下命令：
make streamlit
应用应该会自动在你的浏览器中打开。你也可以通过访问 http://localhost:8501 打开它。为了让应用工作，你需要下载实验运行的产物（见上文）并确保 API 正在运行。
为 API 创建 Docker (容器镜像技术) 镜像：
make docker
致谢
本项目灵感来源于 UC Berkeley 课程 Full Stack Deep Learning 的 最终项目指南 中的项目创意部分。部分代码采用了其 实验室 的内容。
MLOps - Made with ML 介绍了 Makefile、pre-commit、Github Actions 和 Python 打包。
harvardnlp/im2markup 提供了 im2latex-100k 数据集。
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。