Ollama OCR（光学字符识别）

一个强大的 OCR（光学字符识别）包，通过 Ollama 使用最先进的视觉语言模型（vision language models）从图像和 PDF 中提取文本。既可作为 Python 包使用，也可作为 Streamlit 网页应用使用。

🌟 功能特性

支持 PDF 和图像（新增！🆕）

• 多视觉模型支持

  • LLaVA：高效的视觉语言模型（vision-language model），适用于实时处理（LLaVA 模型有时会生成错误输出）
  • Llama 3.2 Vision：针对复杂文档具有高精度的先进模型
  • Granite3.2-vision：紧凑高效的视觉语言模型（vision-language model），专为视觉文档理解而设计，能够从表格、图表、信息图、绘图、图表等中自动提取内容。
  • Moondream：小型视觉语言模型（vision language model），专为在边缘设备上高效运行而设计。
  • Minicpm-v：MiniCPM-V 2.6 可以处理任意宽高比和最高 180 万像素（例如 1344x1344）的图像。

• 多种输出格式

  • Markdown：保留文本格式，包括标题和列表
  • Plain Text（纯文本）：干净、简单的文本提取
  • JSON：结构化数据格式
  • Structured（结构化）：表格和有组织的数据
  • Key-Value Pairs（键值对）：提取带标签的信息
  • Table（表格）：提取所有表格数据。

• 批量处理（Batch Processing）

  • 并行处理多个图像
  • 每个图像的处理进度跟踪
  • 图像预处理（调整大小、归一化等）

• 自定义提示词（Custom Prompts）

  • 使用自定义指令覆盖默认提示词以进行文本提取。

📦 包安装

pip install ollama-ocr

🚀 快速开始

前置条件

1. 安装 Ollama
2. 拉取所需模型：

ollama pull llama3.2-vision:11b
ollama pull granite3.2-vision
ollama pull moondream
ollama pull minicpm-v

使用包

单文件处理

from ollama_ocr import OCRProcessor

# Initialize OCR processor
ocr = OCRProcessor(model_name='llama3.2-vision:11b', base_url="http://host.docker.internal:11434/api/generate")  # You can use any vision model available on Ollama
# you can pass your custom ollama api

# Process an image
result = ocr.process_image(
    image_path="path/to/your/image.png", # path to your pdf files "path/to/your/file.pdf"
    format_type="markdown",  # Options: markdown, text, json, structured, key_value
    custom_prompt="Extract all text, focusing on dates and names.", # Optional custom prompt
    language="English" # Specify the language of the text (New! 🆕)
)
print(result)

批量文件

from ollama_ocr import OCRProcessor

# Initialize OCR processor
ocr = OCRProcessor(model_name='llama3.2-vision:11b', max_workers=4)  # max workers for parallel processing

# Process multiple images
# Process multiple images with progress tracking
batch_results = ocr.process_batch(
    input_path="path/to/images/folder",  # Directory or list of image paths
    format_type="markdown",
    recursive=True,  # Search subdirectories
    preprocess=True,  # Enable image preprocessing
    custom_prompt="Extract all text, focusing on dates and names.", # Optional custom prompt
    language="English" # Specify the language of the text (New! 🆕)
)
# Access results
for file_path, text in batch_results['results'].items():
    print(f"\nFile: {file_path}")
    print(f"Extracted Text: {text}")

# View statistics
print("\nProcessing Statistics:")
print(f"Total images: {batch_results['statistics']['total']}")
print(f"Successfully processed: {batch_results['statistics']['successful']}")
print(f"Failed: {batch_results['statistics']['failed']}")

📋 输出格式详情

1. Markdown 格式：包含从图像中提取的文本的 markdown 字符串。
2. Text 格式：包含从图像中提取的文本的纯文本字符串。
3. JSON 格式：包含从图像中提取的文本的 JSON 对象。
4. Structured 格式：包含从图像中提取的文本的结构化对象。
5. Key-Value 格式：包含从图像中提取的文本的字典。
6. Table 格式：提取所有表格数据。

---

🌐 Streamlit 网页应用（支持批量处理）

• 用户友好的界面
  • 拖放式文件上传
  • 实时处理
  • 下载提取的文本
  • 带详细信息的图像预览
  • 响应式设计
  • 语言选择：指定语言以获得更好的 OCR 准确性。（新增！🆕）

1. 克隆仓库：

git clone https://github.com/imanoop7/Ollama-OCR.git
cd Ollama-OCR

2. 安装依赖：

pip install -r requirements.txt

2. 进入 app.py 所在的目录：

cd src/ollama_ocr      

3. 运行 Streamlit 应用：

streamlit run app.py

📒 示例笔记本

• Ollama OCR on Colab：如何在 Google Colab 上使用 Ollama-OCR。
• Example Notebook：Ollama OCR 的使用示例。
• Ollama OCR with Autogen：将 Ollama-OCR 与 Autogen 配合使用。
• Ollama OCR with LangGraph：将 Ollama-OCR 与 LangGraph 配合使用。

示例输出

输入图像

示例输出

📄 许可证

本项目采用 MIT 许可证 - 详见 LICENSE 文件。

🙏 致谢

基于 Ollama 构建 由视觉模型提供支持

Star 历史

Ollama-OCR 快速上手指南

环境准备

系统要求

• Python 3.x 环境
• 已安装并运行 Ollama 服务

前置依赖

1. 安装 Ollama（参考 Ollama 官网）
2. 拉取所需模型（推荐 llama3.2-vision:11b）：

ollama pull llama3.2-vision:11b
# 可选：其他模型
ollama pull granite3.2-vision
ollama pull moondream
ollama pull minicpm-v

安装步骤

pip install ollama-ocr

基本使用

1. 单文件处理（图片/PDF）

from ollama_ocr import OCRProcessor

# 初始化
ocr = OCRProcessor(model_name='llama3.2-vision:11b')

# 处理文件
result = ocr.process_image(
    image_path="path/to/your/image.png",  # 支持图片或 PDF
    format_type="markdown"  # 可选: markdown, text, json, structured, key_value, table
)

print(result)

2. 批量处理

from ollama_ocr import OCRProcessor

# 初始化（设置 4 个并行工作线程）
ocr = OCRProcessor(model_name='llama3.2-vision:11b', max_workers=4)

# 处理文件夹
batch_results = ocr.process_batch(
    input_path="path/to/images/folder",
    format_type="markdown",
    recursive=True,  # 递归子目录
    preprocess=True  # 启用图像预处理
)

# 查看结果
for file_path, text in batch_results['results'].items():
    print(f"\n文件: {file_path}")
    print(f"提取文本: {text}")

# 查看统计
print(f"\n总计: {batch_results['statistics']['total']}")
print(f"成功: {batch_results['statistics']['successful']}")
print(f"失败: {batch_results['statistics']['failed']}")

3. 使用自定义提示词和语言

result = ocr.process_image(
    image_path="path/to/your/image.png",
    format_type="markdown",
    custom_prompt="提取所有文本，重点关注日期和人名。",
    language="Chinese"  # 支持中文
)