mathAI

一个拍照做题程序。输入一张包含数学计算题的图片，输出识别出的数学计算式以及计算结果。 请查看系统文档说明来运行程序。注意，这是一个半开源的项目，目前上传的版本只能处理简单的一维加减乘除算术表达式（如果想要识别更加复杂的表达式，可以参考数学公式识别的论文）。可以参考的代码是前面字符识别部分以及整个算法处理框架。

整个程序使用python实现，具体处理流程包括了图像预处理、字符识别、数学公式识别、数学公式语义理解、结果输出。

本程序使用opencv对输入的图像进行预处理，并将字符裁剪出来再归一化成固定大小的矩阵。我在TensorFlow上实现了一个lenet5 的卷积神经网络用来识别数学字符，训练使用CHROME数据集。对于数学公式的识别，主要是将识别出的独立的字符组织成计算机能够 理解的数学公式（这里的数学公式就是纯字符的可求解的数学计算题）。大概的方法是使用编译原理的算符优先法和递归下降法进行实现。 然后根据属性文法的值传递思想，将数学公式的值计算出来。最后使用python的matlibplot库把计算过程和答案打印出来。

优点：这是一整套拍照做题的算法框架，同时能够处理多种多样的计算题，目前市面上还没有看到实现。OCR技术如此成熟的今天字符识别 已经不算有挑战的东西了。 缺点：字符空间关系判断只用了人类启发式规则，图像预处理不够鲁棒，数学公式的结构识别算法不够完美（可以考虑使用二维文法来做）。 系统还有很大的提升空间。

mathAI 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• 编程语言：Python 3.x
• 核心依赖：
  • opencv-python (图像预处理)
  • tensorflow (字符识别模型，基于 LeNet5)
  • matplotlib (结果可视化)
  • numpy

注意：本项目目前为半开源状态，默认版本仅支持识别简单的一维加减乘除算术表达式。复杂公式识别需参考相关论文自行扩展。

安装步骤

1. 克隆项目代码

   git clone https://github.com/Roujack/mathAI.git
   cd mathAI
   

2. 安装 Python 依赖 建议先配置国内镜像源（如清华源）以加速下载：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若项目中无 requirements.txt，请手动安装核心库：pip install opencv-python tensorflow matplotlib numpy -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 准备模型数据 确保已下载或训练好基于 CHROME 数据集的 LeNet5 模型文件，并放置在代码指定的模型目录中（具体路径请参考系统文档说明）。

基本使用

本程序通过读取图片文件，自动完成预处理、字符识别、公式构建及计算求解。

1. 准备测试图片 准备一张包含简单数学算式（如 12 + 35 = ?）的图片，或使用项目自带的 test.png。

2. 运行程序 执行主程序脚本（假设入口文件为 main.py，具体文件名请以项目实际结构为准）：

   python main.py test.png
   

3. 查看结果 程序运行后，终端将输出识别出的数学表达式及计算结果，同时会弹出 matplotlib 窗口展示带有计算过程和答案的可视化图像。

---

提示：由于图像预处理和公式结构识别算法仍有优化空间，建议输入背景清晰、字迹工整的图片以获得最佳效果。