OmniParse

[!重要]

OmniParse 是一个平台，可将任何非结构化数据摄取并解析为结构化、可操作的数据，专为 GenAI（LLM）应用优化。无论您处理的是文档、表格、图像、视频、音频文件还是网页，OmniParse 都能将您的数据整理得干净、结构化，并使其准备好用于 RAG、微调等 AI 应用。

试用

简介

https://github.com/adithya-s-k/omniparse/assets/27956426/457d8b5b-9573-44da-8bcf-616000651a13

特性

✅ 完全本地运行，无需外部 API
✅ 可在 T4 GPU 上运行
✅ 支持约 20 种文件类型
✅ 将文档、多媒体和网页转换为高质量的结构化 Markdown
✅ 表格提取、图像提取与标注、音频/视频转录、网页爬取
✅ 可通过 Docker 和 Skypilot 轻松部署
✅ 适合 Colab 使用
✅ 基于 Gradio 的交互式 UI

为什么选择 OmniParse？

处理数据时，数据往往形态各异、大小不一，这带来了不小的挑战。OmniParse 致力于成为一个数据摄取与解析平台，您可以将文档、图像、音频、视频以及网页内容等多种类型的数据导入其中，从而获得最结构化的、易于操作且适合 GenAI（LLM）应用的输出。

安装

[!重要] 该服务器仅支持基于 Linux 的系统。这是由于某些依赖项和系统特定配置与 Windows 或 macOS 不兼容。

git clone https://github.com/adithya-s-k/omniparse
cd omniparse

创建虚拟环境：

conda create -n omniparse-venv python=3.10
conda activate omniparse-venv

安装依赖：

poetry install
# 或
pip install -e .
# 或
pip install -r pyproject.toml

🛳️ Docker

要使用 Docker 运行 OmniParse，请执行以下命令：

1. 从 Docker Hub 拉取 OmniParse API 的 Docker 镜像：
2. 运行 Docker 容器，暴露 8000 端口： 👉🏼Docker 镜像

docker pull savatar101/omniparse:0.1
# 如果您在 GPU 上运行
docker run --gpus all -p 8000:8000 savatar101/omniparse:0.1
# 否则
docker run -p 8000:8000 savatar101/omniparse:0.1

或者，如果您更倾向于在本地构建 Docker 镜像： 然后按如下方式运行 Docker 容器：

docker build -t omniparse .
# 如果您在 GPU 上运行
docker run --gpus all -p 8000:8000 omniparse
# 否则
docker run -p 8000:8000 omniparse

使用

运行服务器：

python server.py --host 0.0.0.0 --port 8000 --documents --media --web

• --documents: 加载所有用于解析和摄取文档的模型（Surya OCR 系列模型和 Florence-2）。
• --media: 加载 Whisper 模型以转录音频和视频文件。
• --web: 设置 Selenium 爬虫。

下载模型： 如果您希望在启动服务器之前下载模型，

python download.py --documents --media --web

• --documents: 加载所有用于解析和摄取文档的模型（Surya OCR 系列模型和 Florence-2）。
• --media: 加载 Whisper 模型以转录音频和视频文件。
• --web: 设置 Selenium 爬虫。

支持的数据类型

curl -X POST -F "file=@/path/to/document" http://localhost:8000/parse_document

curl -X POST -F "file=@/path/to/document.pdf" http://localhost:8000/parse_document/pdf

curl -X POST -F "file=@/path/to/presentation.ppt" http://localhost:8000/parse_document/ppt

curl -X POST -F "file=@/path/to/document.docx" http://localhost:8000/parse_document/docs

curl -X POST -F "file=@/path/to/image.jpg" http://localhost:8000/parse_media/image

curl -X POST -F "image=@/path/to/image.jpg" -F "task=Caption" -F "prompt=可选提示" http://localhost:8000/parse_media/process_image

curl -X POST -F "file=@/path/to/video.mp4" http://localhost:8000/parse_media/video

curl -X POST -F "file=@/path/to/audio.mp3" http://localhost:8000/parse_media/audio

curl -X POST -H "Content-Type: application/json" -d '{"url": "https://example.com"}' http://localhost:8000/parse_website

即将推出/路线图

🦙 LlamaIndex | Langchain | Haystack 集成即将推出 📚 批量数据处理 ⭐ 基于指定Schema的动态分块和结构化数据提取
🛠️ 一个神奇的API：只需上传文件并告知需求，剩下的交给我们
🔧 动态模型选择和支持外部API
📄 批量处理功能，可同时处理多个文件
📦 新的开源模型将取代Surya OCR和Marker

最终目标：用单一的多模型架构替代当前使用的各种模型，以解析任何类型的数据并获取所需信息。

局限性

由于我们使用深度学习模型，因此需要至少配备8~10 GB显存的GPU。

文档解析局限性 \

• Marker 是底层的PDF解析器，它无法将所有公式100%转换为LaTeX格式，因为需要先检测再进行转换。
• 它擅长解析英文内容，但在中文等其他语言上可能会遇到困难。
• 表格并不总是能被完全正确地格式化；文本可能会出现在错误的列中。
• 空白和缩进有时不会被准确保留。
• 并非所有行或段落都能被正确连接。
• 此工具最适合用于不需要大量OCR处理的数字PDF文件。它在速度上进行了优化，仅使用有限的OCR来修复错误。
• 为了将所有模型适配到GPU中，我们采用了最小版本，这可能导致性能不如同类最佳方案。

许可证

OmniParse采用GPL-3.0许可证。更多信息请参阅LICENSE文件。 该项目内部使用了Marker，其商业许可需遵守。具体如下：

商业用途

Marker和Surya OCR模型旨在尽可能广泛地普及，同时确保开发和训练成本得到支持。研究和个人使用始终是允许的，但商业使用存在一些限制。 模型权重采用cc-by-nc-sa-4.0许可。然而，对于最近12个月内总收入低于500万美元且累计风险投资/天使轮融资总额也低于500万美元的组织，此限制将被豁免。若希望解除GPL许可要求（双重许可）或在收入超过上述限额的情况下商业化使用这些权重，请查看相关选项。 有关模型权重许可的更多信息，请参阅Marker。

致谢

本项目基于Vik Paruchuri创建的杰出项目Marker。我们感谢该项目提供的灵感与基础。特别感谢Surya-OCR和Texify为本项目广泛使用的OCR模型，以及Crawl4AI所做的贡献。

所使用的模型：

• Surya OCR、Detect、Layout、Order和Texify
• Florence-2 base
• Whisper Small

感谢这些模型的作者们做出的贡献。

联系方式

OmniParse 快速上手指南

OmniParse 是一个本地化的数据解析平台，能够将非结构化数据（文档、图片、音视频、网页）转换为适合大语言模型（LLM）和 RAG 应用的结构化 Markdown 数据。它完全在本地运行，无需外部 API，且支持在 T4 GPU 上部署。

环境准备

系统要求

• 操作系统：仅限 Linux 系统（由于依赖项限制，不支持 Windows 或 macOS）。
• GPU 显存：建议至少 8~10 GB VRAM（用于加载深度学习模型）。
• Python 版本：推荐 Python 3.10。

前置依赖

确保系统已安装以下工具：

• Git
• Conda (推荐) 或 Python venv
• Docker (可选，用于容器化部署)
• NVIDIA GPU 驱动及 CUDA 工具包 (如需 GPU 加速)

安装步骤

方法一：源码安装（推荐）

1. 克隆项目代码

   git clone https://github.com/adithya-s-k/omniparse
   cd omniparse
   

2. 创建并激活虚拟环境

   conda create -n omniparse-venv python=3.10
   conda activate omniparse-venv
   

3. 安装依赖 推荐使用 poetry，也可使用 pip：

   poetry install
   # 或者
   pip install -e .
   

方法二：Docker 部署

如果你希望快速启动服务，可以使用 Docker：

1. 拉取镜像并运行

   # 如果有 GPU
   docker run --gpus all -p 8000:8000 savatar101/omniparse:0.1
   
   # 如果没有 GPU (仅 CPU 模式，速度较慢)
   docker run -p 8000:8000 savatar101/omniparse:0.1
   

2. 或者本地构建镜像

   docker build -t omniparse .
   docker run --gpus all -p 8000:8000 omniparse
   

基本使用

1. 下载模型（可选）

在启动服务器前，你可以预先下载所需的模型文件（OCR、Whisper 等）：

python download.py --documents --media --web

• --documents: 下载文档解析模型 (Surya OCR, Florence-2)。
• --media: 下载音视频转录模型 (Whisper)。
• --web: 配置网页爬虫依赖。

2. 启动服务

运行以下命令启动 API 服务器：

python server.py --host 0.0.0.0 --port 8000 --documents --media --web

服务启动后，默认监听 http://localhost:8000。

3. 调用 API 示例

OmniParse 提供 RESTful API，以下是几种常见的使用场景：

解析文档 (PDF/Word/PPT)

将任意文档转换为结构化 Markdown：

curl -X POST -F "file=@/path/to/document.pdf" http://localhost:8000/parse_document

解析图片 (提取文字或描述)

对图片进行 OCR 或生成详细描述：

# 基础图片解析
curl -X POST -F "file=@/path/to/image.jpg" http://localhost:8000/parse_media/image

# 指定任务（如生成标题）
curl -X POST -F "image=@/path/to/image.jpg" -F "task=Caption" http://localhost:8000/parse_media/process_image

解析音视频 (转录为文本)

将音频或视频文件转录为文本：

# 音频
curl -X POST -F "file=@/path/to/audio.mp3" http://localhost:8000/parse_media/audio

# 视频
curl -X POST -F "file=@/path/to/video.mp4" http://localhost:8000/parse_media/video

解析网页

抓取并结构化网页内容：

curl -X POST -H "Content-Type: application/json" -d '{"url": "https://example.com"}' http://localhost:8000/parse_website/parse

4. 交互式界面

启动服务器后，通常可以通过浏览器访问 Gradio 构建的交互式 UI（具体端口视配置而定，通常为 http://localhost:7860 或在服务器日志中查看），直接上传文件进行可视化解析测试。