🚀 E2M: 一切转 Markdown

一切转 Markdown

E2M 是一个 Python 库，能够解析并转换多种文件类型为 Markdown 格式。通过采用解析器-转换器架构，它支持 doc、docx、epub、html、htm、url、pdf、ppt、pptx、mp3 和 m4a 等多种文件格式的转换。

✨E2M 项目的最终目标是为检索增强生成（RAG）以及模型训练或微调提供高质量的数据。

项目核心架构：

• 解析器：负责将各种文件类型解析为文本或图像数据。
• 转换器：负责将文本或图像数据转换为 Markdown 格式。

通常情况下，对于任何类型的文件，都会先运行解析器提取其中的文本和图像等内部数据，然后再使用转换器将这些数据转换成 Markdown 格式。

📹 视频介绍

📂 所有转换器与解析器

解析器
解析器类型	引擎	支持的文件类型
PdfParser	surya_layout, marker, unstructured	pdf
DocParser	pandoc, xml	doc
DocxParser	pandoc, xml	docx
PptParser	unstructured	ppt
PptxParser	unstructured	pptx
UrlParser	unstructured, jina, firecrawl	url
EpubParser	unstructured	epub
HtmlParser	unstructured	html, htm
VoiceParser	openai_whisper_api, openai_whisper_local, SpeechRecognition	mp3, m4a

转换器
转换器类型	引擎	策略
ImageConverter	litellm, zhipuai (在图像识别方面表现不佳，不推荐使用)	默认
TextConverter	litellm, zhipuai	默认

支持的模型

1. Litellm：https://docs.litellm.ai/docs/providers/
2. Zhipuai：https://open.bigmodel.cn/dev/howuse/model

📦 安装

创建环境：

conda create -n e2m python=3.10
conda activate e2m

更新 pip：

pip install --upgrade pip

使用 pip 安装 E2M：

# 选项 1：通过 git 安装，推荐方式
pip install git+https://github.com/wisupai/e2m.git --index-url https://pypi.org/simple
# 选项 2：通过 pip 安装
pip install --upgrade wisup_e2m
# 选项 3：手动安装
git clone https://github.com/wisupai/e2m.git
cd e2m
pip install poetry
poetry build
pip install dist/wisup_e2m-0.1.63-py3-none-any.whl

启动 API 服务

gunicorn wisup_e2m.api.main:app --workers 4 --worker-class uvicorn.workers.UvicornWorker --bind 0.0.0.0:8000

API 文档：

• http://127.0.0.1:8000/docs

⚡️ 解析器快速入门

以下是一些简单的示例，展示了如何使用 E2M 的解析器：

📄 PDF 解析器

from wisup_e2m import PdfParser

pdf_path = "./test.pdf"
parser = PdfParser(engine="marker") # pdf 引擎：marker、unstructured、surya_layout
pdf_data = parser.parse(pdf_path)
print(pdf_data.text)

📝 DOC 解析器

from wisup_e2m import DocParser

doc_path = "./test.doc"
parser = DocParser(engine="pandoc") # doc 引擎：pandoc、xml
doc_data = parser.parse(doc_path)
print(doc_data.text)

📜 DOCX 解析器

from wisup_e2m import DocxParser

docx_path = "./test.docx"
parser = DocxParser(engine="pandoc") # docx 引擎：pandoc、xml
docx_data = parser.parse(docx_path)
print(docx_data.text)

📚 EPUB 解析器

from wisup_e2m import EpubParser

epub_path = "./test.epub"
parser = EpubParser(engine="unstructured") # epub 引擎：unstructured
epub_data = parser.parse(epub_path)
print(epub_data.text)

🌐 HTML 解析器

from wisup_e2m import HtmlParser

html_path = "./test.html"
parser = HtmlParser(engine="unstructured") # html 引擎：unstructured
html_data = parser.parse(html_path)
print(html_data.text)

🔗 URL 解析器

from wisup_e2m import UrlParser

url = "https://www.example.com"
parser = UrlParser(engine="jina") # url 引擎：jina、firecrawl、unstructured
url_data = parser.parse(url)
print(url_data.text)

🖼️ PPT 解析器

from wisup_e2m import PptParser

ppt_path = "./test.ppt"
parser = PptParser(engine="unstructured") # ppt 引擎：unstructured
ppt_data = parser.parse(ppt_path)
print(ppt_data.text)

🖼️ PPTX 解析器

from wisup_e2m import PptxParser

pptx_path = "./test.pptx"
parser = PptxParser(engine="unstructured") # pptx 引擎：unstructured
pptx_data = parser.parse(pptx_path)
print(pptx_data.text)

🎤 语音解析器

from wisup_e2m import VoiceParser

voice_path = "./test.mp3"
parser = VoiceParser(
  engine="openai_whisper_local", # 语音引擎：openai_whisper_api、openai_whisper_local
  model="large" # 可用模型：https://github.com/openai/whisper#available-models-and-languages
  )

voice_data = parser.parse(voice_path)
print(voice_data.text)

🔄 转换器快速入门

以下是展示如何使用 E2M 转换器的简单示例：

📝 文本转换器

from wisup_e2m import TextConverter

text = "从任何解析器中解析出的文本数据"
converter = TextConverter(
  engine="litellm", # 文本引擎：litellm
  model="deepseek/deepseek-chat",
  api_key="您的 API 密钥",
  base_url="您的基础 URL"
  )
text_data = converter.convert(text)
print(text_data)

🖼️ 图像转换器

from wisup_e2m import ImageConverter

images = ["./test1.png", "./test2.png"]
converter = ImageConverter(
  engine="litellm", # 图像引擎：litellm
  model="gpt-4o",
  api_key="您的 API 密钥",
  base_url="您的基础 URL"
  )
image_data = converter.convert(image_path)
print(image_data)

🆙 更高阶用法

🛠️ E2MParser

E2MParser 是一个集成的解析器，支持多种文件类型。它可以将广泛的文件类型解析为 Markdown 格式。

from wisup_e2m import E2MParser

# 使用您的配置文件初始化解析器
ep = E2MParser.from_config("config.yaml")

# 解析所需的文件
data = ep.parse(file_name="/path/to/file.pdf")

# 将解析后的数据以字典形式打印
print(data.to_dict())

🛠️ E2MConverter

E2MConverter 是一个集成的转换器，支持文本和图像的转换。它可以将文本和图像转换为 Markdown 格式。

from wisup_e2m import E2MConverter

ec = E2MConverter.from_config("./config.yaml")

text = "从任何解析器中解析出的文本数据"

ec.convert(text=text)

images = ["test.jpg", "test.png"]
ec.convert(images=images)

您可以使用 config.yaml 文件来指定您想要使用的解析器和转换器。以下是一个 config.yaml 文件的示例：

parsers:
    doc_parser:
        engine: "pandoc"
        langs: ["en", "zh"]
    docx_parser:
        engine: "pandoc"
        langs: ["en", "zh"]
    epub_parser:
        engine: "unstructured"
        langs: ["en", "zh"]
    html_parser:
        engine: "unstructured"
        langs: ["en", "zh"]
    url_parser:
        engine: "jina"
        langs: ["en", "zh"]
    pdf_parser:
        engine: "marker"
        langs: ["en", "zh"]
    pptx_parser:
        engine: "unstructured"
        langs: ["en", "zh"]
    voice_parser:
        # 选项 1：使用 OpenAI Whisper API
        # engine: "openai_whisper_api"
        # api_base: "https://api.openai.com/v1"
        # api_key: "您的 API 密钥"
        # model: "whisper"

        # 选项 2：使用本地 Whisper 模型
        engine: "openai_whisper_local"
        model: "large" # 可用模型：https://github.com/openai/whisper#available-models-and-languages

converters:
    text_converter:
        engine: "litellm"
        model: "deepseek/deepseek-chat"
        api_key: "您的 API 密钥"
        # base_url: ""
    image_converter:
        engine: "litellm"
        model: "gpt-4o-mini"
        api_key: "您的 API 密钥"
        # base_url: ""

❓ 常见问题解答

FAQ 文档

📜 许可证

本项目采用 MIT 许可证授权。详情请参阅 LICENSE 文件。

📧 联系方式

您可以通过扫描下方的二维码加入我们的微信交流群：

如有任何问题或咨询，请在 GitHub 上提交 issue，或发送邮件至 team@wisup.ai。

商务合作联系：team@wisup.ai

💼 加入我们

• Wisup 是一家专注于数据与算法的人工智能初创公司。我们专门为企业提供高质量的数据与算法服务。我们采用远程办公模式，欢迎全球各地的优秀人才加入我们。

• 我们的理念：从信息到数据，从数据到知识，从知识到价值。

• 我们的愿景：通过数据让世界变得更美好。

• 我们正在寻找志同道合的联合创始人：

  • 不限学历、年龄、地域、种族或性别
  • 对人工智能有浓厚兴趣，并熟悉人工智能及相关行业
  • 热爱人工智能与数据，具有强烈的目标感
  • 具备独特的优势、责任心及团队合作精神

• 如需申请，请将简历发送至：team@wisup.ai

• 您还需要在邮件中回答三个问题：

  • 您为何不可替代？
  • 您曾遇到过的最棘手的情况是什么？您是如何解决的？
  • 您如何看待人工智能的未来发展？

🌟 贡献

E2M 快速上手指南

E2M (Everything to Markdown) 是一个强大的 Python 库，旨在将各种文件格式（如 PDF、Word、PPT、音频等）解析并转换为 Markdown 格式。它是为检索增强生成（RAG）和模型训练提供高质量数据的理想工具。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 3.10 或 3.11
• 包管理器: 推荐使用 conda 管理环境，或使用 pip

安装步骤

1. 创建并激活虚拟环境

推荐使用 conda 创建独立的运行环境：

conda create -n e2m python=3.10
conda activate e2m

2. 升级 pip

确保包管理器为最新版本以避免兼容性问题：

pip install --upgrade pip

3. 安装 E2M

您可以选择以下任一方式进行安装（推荐方式 1）：

方式 1：通过 Git 安装（推荐，获取最新代码）

pip install git+https://github.com/wisupai/e2m.git --index-url https://pypi.org/simple

方式 2：通过 PyPI 安装

pip install --upgrade wisup_e2m

方式 3：手动源码安装

git clone https://github.com/wisupai/e2m.git
cd e2m
pip install poetry
poetry build
pip install dist/wisup_e2m-0.1.63-py3-none-any.whl

基本使用

E2M 的核心流程分为两步：Parser（解析器） 提取文件内容，Converter（转换器） 将其转为 Markdown。以下是针对常见文件类型的快速示例。

1. 解析常见文档 (PDF/Word/Excel/PPT)

解析 PDF 文件:

from wisup_e2m import PdfParser

pdf_path = "./test.pdf"
# 支持引擎：marker, unstructured, surya_layout
parser = PdfParser(engine="marker") 
pdf_data = parser.parse(pdf_path)
print(pdf_data.text)

解析 Word (.doc/.docx) 文件:

from wisup_e2m import DocParser, DocxParser

# .doc 示例
doc_path = "./test.doc"
parser = DocParser(engine="pandoc") # 支持引擎：pandoc, xml
doc_data = parser.parse(doc_path)
print(doc_data.text)

# .docx 示例
docx_path = "./test.docx"
parser = DocxParser(engine="pandoc")
docx_data = parser.parse(docx_path)
print(docx_data.text)

解析 PPT (.ppt/.pptx) 文件:

from wisup_e2m import PptParser, PptxParser

pptx_path = "./test.pptx"
parser = PptxParser(engine="unstructured")
pptx_data = parser.parse(pptx_path)
print(pptx_data.text)

2. 解析网页与电子书

解析 URL:

from wisup_e2m import UrlParser

url = "https://www.example.com"
# 支持引擎：jina, firecrawl, unstructured
parser = UrlParser(engine="jina") 
url_data = parser.parse(url)
print(url_data.text)

解析 EPUB:

from wisup_e2m import EpubParser

epub_path = "./test.epub"
parser = EpubParser(engine="unstructured")
epub_data = parser.parse(epub_path)
print(epub_data.text)

3. 解析音频文件 (语音转文字)

需要配置 Whisper 引擎（支持本地模型或 API）：

from wisup_e2m import VoiceParser

voice_path = "./test.mp3"
parser = VoiceParser(
  engine="openai_whisper_local", # 或 openai_whisper_api
  model="large" 
)
voice_data = parser.parse(voice_path)
print(voice_data.text)

4. 内容转换 (Text/Image to Markdown)

如果您需要将解析出的文本或通过 OCR 识别的图片进一步优化为 Markdown 格式，可以使用 Converter（需配置 LLM API Key）：

文本转换:

from wisup_e2m import TextConverter

text = "Parsed text data from any parser"
converter = TextConverter(
  engine="litellm", 
  model="deepseek/deepseek-chat",
  api_key="your_api_key",
  base_url="your_base_url"
)
text_data = converter.convert(text)
print(text_data)

图片转换:

from wisup_e2m import ImageConverter

images = ["./test1.png"]
converter = ImageConverter(
  engine="litellm", 
  model="gpt-4o",
  api_key="your_api_key",
  base_url="your_base_url"
)
image_data = converter.convert(images)
print(image_data)

5. 高级用法：统一配置解析

通过 config.yaml 配置文件，可以使用 E2MParser 和 E2MConverter 统一管理多种文件类型的解析策略，无需为每个文件类型单独编写代码。

config.yaml 示例片段:

parsers:
    pdf_parser:
        engine: "marker"
        langs: ["en", "zh"]
    voice_parser:
        engine: "openai_whisper_local"
        model: "large"
converters:
    text_converter:
        engine: "litellm"
        model: "deepseek/deepseek-chat"
        api_key: "your_api_key"

Python 调用:

from wisup_e2m import E2MParser, E2MConverter

# 初始化
ep = E2MParser.from_config("config.yaml")
ec = E2MConverter.from_config("config.yaml")

# 解析任意支持的文件
data = ep.parse(file_name="/path/to/file.pdf")

# 转换内容
ec.convert(text=data.text)