MegaParse - 您的各类文档解析器

MegaParse 是一款功能强大且多用途的解析器，能够轻松处理各种类型的文档。无论您面对的是文本、PDF、PowerPoint 演示文稿还是 Word 文档，MegaParse 都能胜任。其核心目标是在解析过程中确保信息零丢失。

核心特性 🎯

• 多功能解析器：MegaParse 是一款功能强大且多用途的解析器，能够轻松处理各种类型的文档。
• 无信息丢失：专注于在解析过程中不丢失任何信息。
• 快速高效：以速度和效率为核心设计。
• 广泛的文件兼容性：支持文本、PDF、PowerPoint 演示文稿、Excel、CSV 和 Word 文档。
• 开源：自由是美好的，MegaParse 也是如此。完全开源且免费使用。

支持范围

• 文件格式：✅ PDF ✅ PowerPoint ✅ Word
• 内容类型：✅ 表格 ✅ 目录 ✅ 页眉 ✅ 页脚 ✅ 图片

示例

https://github.com/QuivrHQ/MegaParse/assets/19614572/1b4cdb73-8dc2-44ef-b8b4-a7509bc8d4f3

安装

需要 Python 版本 ≥ 3.11

pip install megaparse

使用方法

1. 将您的 OpenAI 或 Anthropic API 密钥添加到 .env 文件中。

2. 在您的计算机上安装 Poppler（用于处理图片和 PDF）。

3. 在您的计算机上安装 Tesseract（用于处理图片和 PDF）。

4. 如果您使用的是 Mac，还需要安装 libmagic：brew install libmagic。

直接使用 MegaParse：

from megaparse import MegaParse
from langchain_openai import ChatOpenAI

megaparse = MegaParse()
response = megaparse.load("./test.pdf")
print(response)

使用 MegaParse Vision

from megaparse.parser.megaparse_vision import MegaParseVision

model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))  # type: ignore
parser = MegaParseVision(model=model)
response = parser.convert("./test.pdf")
print(response)

注意：MegaParse Vision 支持的模型为多模态模型，例如 Claude 3.5、Claude 4、GPT-4o 和 GPT-4。

作为 API 使用

我们为您准备了一个 Makefile，只需在项目根目录下运行：

即可启动服务。更多关于不同接口的信息，请访问 localhost:8000/docs！

基准测试

解析器	相似度比率
megaparse_vision	0.87
unstructured_with_check_table	0.77
unstructured	0.59
llama_parser	0.33

数值越高越好

注：想评估并对比您自己的 Megaparse 模块与我们的表现吗？请将您的配置添加到 evaluations/script.py 中，然后运行 python evaluations/script.py。如果效果更好，请提交 PR——让我们一起不断进步！

正在建设中 🚧

• 改进表格检测功能
• 创建检查器以实现 模块化后处理 ⚙️
• 添加结构化输出，让计算机开口说话 🤖

星级历史

MegaParse 快速上手指南

MegaParse 是一款功能强大的开源文档解析工具，支持 PDF、Word、PPT、Excel、CSV 及纯文本等多种格式。其核心优势在于解析过程中零信息丢失，能够精准提取表格、目录、页眉页脚及图片内容，并针对多模态大模型进行了优化。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• Python 版本：>= 3.11
• API Key：需准备 OpenAI 或 Anthropic 的 API Key（用于高级解析功能）。
• 系统依赖：
  • Poppler：用于处理 PDF 和图片（所有平台必需）。
  • Tesseract：用于 OCR 文字识别（所有平台必需）。
  • libmagic：macOS 用户必需，可通过 brew install libmagic 安装。

提示：Linux 用户通常可通过包管理器安装依赖，例如 Ubuntu/Debian： sudo apt-get install poppler-utils tesseract-ocr

安装步骤

1. 配置环境变量 在项目根目录创建 .env 文件，并填入你的 API Key：

   OPENAI_API_KEY=your_openai_api_key
   # 或
   ANTHROPIC_API_KEY=your_anthropic_api_key
   

2. 安装 Python 包 使用 pip 安装 MegaParse：

   pip install megaparse
   

   (国内用户如遇下载缓慢，可添加清华源：pip install megaparse -i https://pypi.tuna.tsinghua.edu.cn/simple)

基本使用

1. 标准解析模式

适用于大多数文档解析场景，自动处理文本、表格和结构。

from megaparse import MegaParse
from langchain_openai import ChatOpenAI

# 初始化解析器
megaparse = MegaParse()

# 加载并解析文档 (支持 .pdf, .docx, .pptx 等)
response = megaparse.load("./test.pdf")

# 输出解析结果
print(response)

2. 视觉增强模式 (MegaParse Vision)

适用于包含复杂图表、扫描件或需要高精度理解的文档。此模式调用多模态大模型（如 GPT-4o, Claude 3.5/4）。

from megaparse.parser.megaparse_vision import MegaParseVision
from langchain_openai import ChatOpenAI
import os

# 初始化多模态模型
model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))

# 初始化视觉解析器
parser = MegaParseVision(model=model)

# 转换文档
response = parser.convert("./test.pdf")

print(response)

注意：视觉模式支持的模型包括 claude-3-5-sonnet, claude-4, gpt-4o, gpt-4 等多模态模型。

---

如需以 API 服务形式运行，可在项目根目录执行 make dev，随后访问 localhost:8000/docs 查看接口文档。