Sycamore 是一款开源的、由 AI 驱动的文档处理引擎，适用于 ETL、RAG、基于 LLM 的应用以及非结构化数据的分析。Sycamore 能够对多种文档类型进行分区和增强，包括报告、演示文稿、文字记录、手册等。它还能分析并分块处理复杂的文档，例如包含表格、图表、图形和其他信息图的 PDF 和图像文件。请查看一个 示例笔记本。

在文档处理方面，Sycamore 利用 Aryn DocParse（前身为 Aryn 分区服务），这是一个无服务器、基于 GPU 的 API，用于分割和标记文档、执行 OCR、提取表格和图像等。它采用了 Aryn 最先进的、开源深度学习 DETR AI 模型，该模型在超过 8 万份企业文档上进行了训练，与替代系统相比，能够实现 6 倍更高的数据分块准确率，并使混合搜索或 RAG 的召回率提高 2 倍。您可以在 这里免费注册，或者选择在本地运行 Aryn 分区器。

Aryn DocParse 接收 文档，并以 JSON 格式返回分区后的结果，而您可以使用 Sycamore 进行进一步的数据提取、增强、转换、清洗，并将其加载到下游数据库中。您可以选择用于这些转换的 LLM。

Sycamore 能可靠地将高质量的数据加载到您的向量数据库和混合搜索引擎中，包括 OpenSearch、ElasticSearch、Pinecone、DuckDB、Qdrant 和 Weaviate 等。

Sycamore 框架围绕一种名为 DocSet 的可扩展且稳健的文档处理抽象构建，包含强大的高级 Python 数据处理、增强和清洗转换功能。DocSet 还封装了可扩展的数据处理技术，从而消除了可靠加载数据块这一繁琐且重复性高的工作。DocSet 的函数式编程方法使您能够快速自定义和试验数据分块方式，以获得更优质的 RAG 结果。

特性

• 与 Aryn DocParse 集成，使用 最先进的视觉 AI 模型 进行分割，并保留文档的语义结构
• DocSet 抽象层，可扩展且可靠地转换和操作非结构化文档
• 高质量的表格提取、OCR、可视化摘要、基于 LLM 的 UDF 以及其他高效的 Python 数据转换
• 可快速使用您选择的 AI 模型创建向量嵌入
• 便捷的功能，如自动数据爬取程序（Amazon S3 和 HTTP）、用于编写和迭代作业的 Jupyter 笔记本，以及用于测试的 OpenSearch 混合搜索和 RAG 引擎
• 可扩展的 Ray 后端

演示

关于 Aryn DocParse 的介绍（前身为 Aryn 分区服务）

开始使用

Sycamore 目前支持 Linux 和 Mac OS。要安装，请运行：

pip install sycamore-ai

Sycamore 通过 Python extras 提供与向量数据库的连接器。要安装连接器，只需在 pip 安装时将其作为 extra 包含即可。例如：

pip install sycamore-ai[duckdb]

支持的连接器包括 duckdb、elasticsearch、opensearch、pinecone、qdrant 和 weaviate。

要使用 Aryn DocParse，请 在此免费注册，并使用 API 密钥。

资源

• 文档：https://sycamore.readthedocs.io
• 示例笔记本：https://github.com/aryn-ai/sycamore/blob/main/notebooks/sycamore-tutorial-intermediate-etl.ipynb
• Slack：https://join.slack.com/t/aryn-community/shared_invite/zt-36vhennsx-mN3UsqD6PT2vxVZxpqdHsw
• 数据准备库（PyPi）：https://pypi.org/project/sycamore-ai/
• 联系我们：info@aryn.ai

贡献

请参阅我们的 贡献指南，了解更多关于如何为 Sycamore 做出贡献以及设置开发环境的信息。

贡献者

星标历史

↑ 返回顶部 ↑

Sycamore 快速上手指南

Sycamore 是一款开源的 AI 驱动文档处理引擎，专为非结构化数据的 ETL、RAG（检索增强生成）、LLM 应用及分析而设计。它能够智能分割和丰富各类文档（如 PDF、图片、报告等），提取表格、图表及文本内容，并高质量地加载至向量数据库。

环境准备

• 操作系统：Linux 或 macOS
• Python 版本：支持主流 Python 3.x 版本（具体兼容版本请参考 PyPI 页面）
• 前置依赖：
  • pip 包管理工具
  • （可选）若需使用特定向量数据库连接器，请确保对应数据库服务可用
  • （可选）若使用 Aryn DocParse 云服务，需提前注册获取 API Key

安装步骤

1. 安装核心库

   pip install sycamore-ai
   

2. 安装向量数据库连接器（按需选择） 根据目标数据库安装对应的额外依赖，例如安装 DuckDB 连接器：

   pip install sycamore-ai[duckdb]
   

   支持的连接器包括：duckdb, elasticsearch, opensearch, pinecone, qdrant, weaviate。

   提示：国内用户如遇下载缓慢，可配置国内镜像源加速安装，例如使用清华源：

   pip install sycamore-ai -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置 Aryn DocParse（可选但推荐） 为了获得最佳的文档分割和 OCR 效果，建议注册 Aryn 免费账号 获取 API Key，并在代码中配置使用。也可选择在本地运行分割器。

基本使用

以下是一个最简单的示例，展示如何使用 Sycamore 读取文档、进行分割处理并生成嵌入向量：

import sycamore
from sycamore.data import Document

# 初始化上下文 (可根据需要配置 Ray 后端等)
ctx = sycamore.Context()

# 创建 DocSet 并加载文档 (以本地 PDF 为例)
doc_set = ctx.read.binary(paths=["path/to/your/document.pdf"], binary_format="pdf")

# 使用 Aryn DocParse 进行文档分割与 enrich (需配置 API_KEY)
# doc_set = doc_set.partition(partitioner=ArynPartitioner(api_key="YOUR_ARYN_API_KEY"))

# 或者使用基础分割器
doc_set = doc_set.partition()

# 将文档内容转换为向量嵌入 (需指定 embedding 模型)
# doc_set = doc_set.embed(embedder=SentenceTransformerEmbedder(model_name="all-MiniLM-L6-v2"))

# 查看处理后的数据
docs = doc_set.take(5)
for doc in docs:
    print(doc.text_representation)

说明：

• DocSet 是 Sycamore 的核心抽象，用于链式调用各种数据处理操作。
• 实际生产中通常结合 ray 后端进行大规模分布式处理。
• 完整的高级 ETL 示例请参考官方 Example Notebook。