LLM 辅助 OCR 项目

简介

LLM 辅助 OCR 项目是一个先进的系统，旨在显著提升光学字符识别（OCR）输出的质量。通过利用尖端的自然语言处理技术和大型语言模型（LLMs），该项目可以将原始 OCR 文本转化为高度准确、格式良好且易于阅读的文档。

示例输出

要了解 LLM 辅助 OCR 项目能够实现的功能，请查看以下示例输出：

• 原始 PDF
• 原始 OCR 输出
• LLM 修正后的 Markdown 输出

功能特性

• PDF 转图像转换
• 使用 Tesseract 进行 OCR
• 利用本地或基于 API 的 LLM 进行高级错误纠正
• 智能文本分块以提高处理效率
• 支持 Markdown 格式化
• 可选的页眉和页码抑制功能
• 对最终输出进行质量评估
• 同时支持本地 LLM 和云端 API 提供商（OpenAI、Anthropic）
• 异步处理以提升性能
• 详细的日志记录用于流程跟踪和调试
• GPU 加速用于本地 LLM 推理

详细技术概述

PDF 处理与 OCR

1. PDF 转图像转换

   • 函数：convert_pdf_to_images()
   • 使用 pdf2image 库将 PDF 页面转换为图像
   • 支持通过 max_pages 和 skip_first_n_pages 参数处理部分页面

2. OCR 处理

   • 函数：ocr_image()
   • 使用 pytesseract 进行文本提取
   • 包括使用 preprocess_image() 函数进行图像预处理：
     • 将图像转换为灰度图
     • 使用 Otsu 法进行二值化处理
     • 执行膨胀操作以增强文本清晰度

文本处理管道

1. 文本分块

   • process_document() 函数将全文拆分为可管理的块
   • 基于句子边界进行自然分割
   • 在块之间设置重叠以保持上下文连贯性

2. 错误纠正与格式化

   • 核心函数：process_chunk()
   • 分两步进行： a. OCR 纠正：
     • 使用 LLM 修复 OCR 引入的错误
     • 保留原始结构和内容 b. Markdown 格式化（可选）：
     • 将文本转换为规范的 Markdown 格式
     • 处理标题、列表、强调等内容

3. 重复内容去除

   • 在 Markdown 格式化步骤中实现
   • 识别并移除完全相同或几乎相同的段落
   • 保留独特内容并确保文本流畅

4. 页眉和页码抑制（可选）

   • 可配置为移除或明确标记页眉、页脚和页码

LLM 集成

1. 灵活的 LLM 支持

   • 支持本地 LLM 和云端 API 提供商（OpenAI、Anthropic）
   • 可通过环境变量进行配置

2. 本地 LLM 处理

   • 函数：generate_completion_from_local_llm()
   • 使用 llama_cpp 库进行本地 LLM 推理
   • 支持自定义语法以生成结构化输出

3. 基于 API 的 LLM 处理

   • 函数：generate_completion_from_claude() 和 generate_completion_from_openai()
   • 实现了完善的错误处理和重试逻辑
   • 管理令牌限制并动态调整请求大小

4. 异步处理

   • 使用 asyncio 在使用基于 API 的 LLM 时并行处理各个文本块
   • 保持处理顺序以确保最终输出的连贯性

令牌管理

1. 令牌估算

   • 函数：estimate_tokens()
   • 在可用的情况下使用特定于模型的分词器
   • 如果不可用，则回退到 approximate_tokens() 进行快速估算

2. 动态令牌调整

   • 根据提示长度和模型限制调整 max_tokens 参数
   • 实施 TOKEN_BUFFER 和 TOKEN_CUSHION 以安全地管理令牌

质量评估

1. 输出质量评估
   • 函数：assess_output_quality()
   • 比较原始 OCR 文本与处理后的输出
   • 使用 LLM 提供质量评分和解释说明

日志记录与错误处理

• 整个代码库中包含全面的日志记录
• 提供详细的错误信息和堆栈跟踪以方便调试
• 抑制 HTTP 请求日志以减少噪音

配置与定制

该项目使用 .env 文件进行便捷配置。关键设置包括：

• LLM 选择（本地或基于 API）
• API 提供商选择
• 不同提供商的模型选择
• 令牌限制和缓冲区大小
• Markdown 格式化选项

输出与文件处理

1. 原始 OCR 输出：保存为 {base_name}__raw_ocr_output.txt
2. LLM 修正后的输出：保存为 {base_name}_llm_corrected.md 或 .txt

该脚本会生成整个处理过程的详细日志，包括时间信息和质量评估结果。

系统要求

• Python 3.12+
• Tesseract OCR 引擎
• PDF2Image 库
• PyTesseract
• OpenAI API（可选）
• Anthropic API（可选）
• 本地 LLM 支持（可选，需兼容 GGUF 模型）

安装步骤

1. 安装 Pyenv 和 Python 3.12（如需要）：

# 如果尚未安装 Pyenv 和 Python 3.12，则先安装并创建虚拟环境：
if ! command -v pyenv &> /dev/null; then
    sudo apt-get update
    sudo apt-get install -y build-essential libssl-dev zlib1g-dev libbz2-dev \
    libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \
    xz-utils tk-dev libffi-dev liblzma-dev python3-openssl git

    git clone https://github.com/pyenv/pyenv.git ~/.pyenv
    echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc
    echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc
    echo 'eval "$(pyenv init --path)"' >> ~/.zshrc
    source ~/.zshrc
fi
cd ~/.pyenv && git pull && cd -
pyenv install 3.12

2. 设置项目环境：

# 使用 Pyenv 创建虚拟环境：
git clone https://github.com/Dicklesworthstone/llm_aided_ocr    
cd llm_aided_ocr          
pyenv local 3.12
python -m venv venv
source venv/bin/activate
python -m pip install --upgrade pip
python -m pip install wheel
python -m pip install --upgrade setuptools wheel
pip install -r requirements.txt

3. 安装 Tesseract OCR 引擎（如尚未安装）：

   • Ubuntu：sudo apt-get install tesseract-ocr
   • macOS：brew install tesseract
   • Windows：从 GitHub 下载并安装

4. 在 .env 文件中设置环境变量：

   USE_LOCAL_LLM=False
   API_PROVIDER=OPENAI
   OPENAI_API_KEY=your_openai_api_key
   ANTHROPIC_API_KEY=your_anthropic_api_key
   

使用方法

1. 将您的 PDF 文件放入项目目录中。

2. 在 main() 函数中，将 input_pdf_file_path 变量更新为您 PDF 文件的文件名。

3. 运行脚本：

   python llm_aided_ocr.py
   

4. 脚本将生成多个输出文件，其中包括最终后处理后的文本。

工作原理

LLM 辅助 OCR 项目采用多步骤流程，将原始 OCR 输出转换为高质量、可读性强的文本：

1. PDF 转换：使用 pdf2image 将输入 PDF 转换为图像。

2. OCR：应用 Tesseract OCR 从图像中提取文本。

3. 文本分块：将原始 OCR 输出拆分为易于处理的块。

4. 错误修正：每个文本块经过基于 LLM 的处理，以纠正 OCR 错误并提高可读性。

5. Markdown 格式化（可选）：将修正后的文本重新格式化为整洁、一致的 Markdown 文档。

6. 质量评估：基于 LLM 的评估会将最终输出的质量与原始 OCR 文本进行比较。

代码优化

• 并发处理：当使用基于 API 的模型时，文本块会并发处理，以提高速度。
• 上下文保留：每个文本块与前一个文本块有少量重叠，以保持上下文连贯性。
• 自适应令牌管理：系统会根据输入大小和模型限制，动态调整用于 LLM 请求的令牌数量。

配置

该项目使用 .env 文件进行配置。关键设置包括：

• USE_LOCAL_LLM：设置为 True 使用本地 LLM，设置为 False 使用基于 API 的 LLM。
• API_PROVIDER：选择 “OPENAI” 或 “CLAUDE”。
• OPENAI_API_KEY、ANTHROPIC_API_KEY：分别为相应服务的 API 密钥。
• CLAUDE_MODEL_STRING、OPENAI_COMPLETION_MODEL：指定各提供商使用的模型。
• LOCAL_LLM_CONTEXT_SIZE_IN_TOKENS：设置本地 LLM 的上下文大小。

输出文件

脚本会生成多个输出文件：

1. {base_name}__raw_ocr_output.txt：Tesseract 提取的原始 OCR 输出。
2. {base_name}_llm_corrected.md：最终经 LLM 修正并格式化的文本。

局限性及未来改进

• 系统性能高度依赖于所使用的 LLM 质量。
• 处理非常大的文档可能耗时较长，并需要大量计算资源。

贡献

欢迎为本项目贡献力量！请 fork 仓库，并提交包含您建议更改的 pull request。

许可证

本项目采用 MIT 许可证（附带 OpenAI/Anthropi Rider 条款）。

---

感谢您对我的开源项目的关注！希望您觉得它有用。您可能也会对我的商业 Web 应用程序感兴趣，如果您能去看看就太好了：

YoutubeTranscriptOptimizer.com 让您可以快速便捷地粘贴 YouTube 视频 URL，自动不仅生成非常准确的直接转录文本，还能生成一份经过精心打磨、格式美观的独立书面文档，无需依赖视频本身。

该文档内容基本与视频讨论的内容一致，但读起来更像是真正的书面作品，而非简单的转录稿。此外，您还可以选择根据文档内容生成测验，包括选择题和简答题两种形式；其中选择题会被转换成交互式的 HTML 文件，可以轻松托管和分享，您可以在这些页面上直接作答，系统会自动批改并给出分数。

FixMyDocuments.com 允许您提交任何类型的文档——PDF（包括需要 OCR 的扫描版 PDF）、MS Word 和 PowerPoint 文件、图片、音频文件（mp3、m4a 等）——并将其转换为格式精美的 Markdown 文档，同时自动生成 HTML 和 PDF 版本。转换完成后，您还可以在网站内置的 Markdown 编辑器中直接编辑文档，系统会保存每次修改的历史记录，并重新生成 PDF/HTML 版本。

除了获得优化后的文档外，您还可以从原始文档中生成多种“衍生文档”：可实际参与并自动评分的互动选择题测验；使用 LaTeX 和 Reveal.js 制作的精美演示文稿（PDF 或 HTML 格式）；深度摘要、概念思维导图（使用 Mermaid 图表）和大纲；可根据目标受众定制的教学计划；可读性分析及对应年级水平的简化版本（适合向学生解释复杂概念）；可以直接导入 Anki 应用或在网站界面中使用的 Anki 抽认卡等更多功能。

llm_aided_ocr 快速上手指南

llm_aided_ocr 是一个利用大语言模型（LLM）增强光学字符识别（OCR）效果的开源工具。它能将原始的 OCR 识别文本转换为高精度、格式良好且易于阅读的 Markdown 文档，支持本地部署或调用云端 API（OpenAI/Anthropic）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (Ubuntu/Debian), macOS, 或 Windows
• Python 版本: Python 3.12 或更高版本
• 核心依赖:
  • Tesseract OCR 引擎: 必须预先安装。
    • Ubuntu/Debian: sudo apt-get install tesseract-ocr
    • macOS: brew install tesseract
    • Windows: 下载并安装 UB-Mannheim Tesseract
  • Pyenv (推荐): 用于管理 Python 版本（可选，但推荐用于隔离环境）。
  • GPU (可选): 如果使用本地 LLM 进行推理，建议配备 NVIDIA GPU 以加速。

安装步骤

1. 克隆项目并设置虚拟环境

建议使用 pyenv 管理 Python 版本，或直接使用系统自带的 Python 3.12+。

# 克隆仓库
git clone https://github.com/Dicklesworthstone/llm_aided_ocr    
cd llm_aided_ocr          

# 如果使用 pyenv 指定 Python 3.12 (若未安装请先运行: pyenv install 3.12)
pyenv local 3.12

# 创建并激活虚拟环境
python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 升级包管理工具并安装依赖
python -m pip install --upgrade pip wheel setuptools
pip install -r requirements.txt

国内加速提示: 如果下载依赖较慢，可使用清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 配置环境变量

在项目根目录创建 .env 文件，根据您的使用场景（本地模型或云端 API）填写配置。

示例配置（使用 OpenAI API）：

USE_LOCAL_LLM=False
API_PROVIDER=OPENAI
OPENAI_API_KEY=sk-your_openai_api_key_here
# ANTHROPIC_API_KEY=your_anthropic_api_key (如果使用 Claude 则填写此项)

示例配置（使用本地 LLM）：

USE_LOCAL_LLM=True
API_PROVIDER=LOCAL
# 需确保已下载兼容的 GGUF 模型并在代码中配置路径

基本使用

1. 准备文件

将您需要处理的 PDF 文件放入项目根目录。

2. 修改脚本配置

打开 llm_aided_ocr.py 文件，找到 main() 函数，修改 input_pdf_file_path 变量为您的 PDF 文件名。

# 在 llm_aided_ocr.py 中修改此行
input_pdf_file_path = "your_document.pdf" 

3. 运行脚本

在终端执行以下命令启动处理流程：

python llm_aided_ocr.py

4. 查看结果

脚本运行完成后，将在当前目录生成以下文件：

• {文件名}__raw_ocr_output.txt: Tesseract 输出的原始识别文本。
• {文件名}_llm_corrected.md: 经过 LLM 纠错、去重并格式化后的最终 Markdown 文档。
• 日志文件：包含详细的处理时间、质量评估及调试信息。

该工具会自动执行 PDF 转图片、OCR 识别、文本分块、LLM 纠错与格式化、以及最终的质量评估全流程。