|横幅|

|CI| |PyPI| |最新标签| |覆盖率| |Slack|

网站 <https://www.daft.ai>_ • 文档 <https://docs.daft.ai>_ • 安装 <https://docs.daft.ai/en/stable/install/>_ • Daft 快速入门 <https://docs.daft.ai/en/stable/quickstart/>_ • 社区与支持 <https://github.com/Eventual-Inc/Daft/discussions>_

Daft：面向 AI 和多模态工作负载的高性能数据引擎

|趋势变化|

Daft <https://www.daft.ai>_ 是一款专为 AI 和多模态工作负载设计的高性能数据引擎。无论规模大小，都能高效处理图像、音频、视频以及结构化数据。

• 原生多模态处理： 在同一框架内同时处理图像、音频、视频及嵌入向量与结构化数据
• 内置 AI 操作： 使用 OpenAI、Transformers 或自定义模型，大规模运行 LLM 提示词、生成嵌入并向数据进行分类
• Python 原生，Rust 驱动： 无需复杂的 JVM 环境，以 Python 为核心，底层由 Rust 提供强大性能
• 无缝扩展： 可从本地开始，轻松扩展至基于 Ray <https://docs.daft.ai/en/stable/distributed/ray/>_ 或 Kubernetes <https://docs.daft.ai/en/stable/distributed/kubernetes/>_ 的分布式集群
• 通用连接性： 随时随地访问数据（S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalog 等）
• 开箱即用的可靠性： 智能内存管理和合理默认设置，让您告别繁琐的配置问题

快速入门

安装 ^^^^^^

使用 pip install daft 即可安装 Daft。需 Python 3.10 或更高版本。

如需更高级的安装方式（例如从源码安装或添加 Ray、AWS 工具等额外依赖），请参阅我们的 安装指南 <https://docs.daft.ai/en/stable/install/>_。

快速上手 ^^^^^^^^

只需几分钟即可通过我们的 快速入门 <https://docs.daft.ai/en/stable/quickstart/>_ 开始使用——加载一个真实的电商数据集，处理商品图片，并大规模运行 AI 推理。

更多资源 ^^^^^^^^

• 示例 <https://docs.daft.ai/en/stable/examples/>_ - 通过文本、图像、音频等多种场景，了解 Daft 的实际应用
• 用户指南 <https://docs.daft.ai/en/stable/>_ - 深入探索 Daft 的各个功能模块
• API 参考 <https://docs.daft.ai/en/stable/api/>_ - Daft 公开类和函数的 API 文档

基准测试

|基准测试图片|

如需查看完整的基准测试结果、详细设置及日志，请访问我们的 基准测试页面 <https://docs.daft.ai/en/stable/benchmarks>_。

贡献代码

我们非常欢迎开发者参与贡献！要开始为 Daft 贡献代码，请阅读 CONTRIBUTING.md <https://github.com/Eventual-Inc/Daft/blob/main/CONTRIBUTING.md>_ 文件。该文档介绍了 Daft 的开发流程和工具链，还详细说明了如何向核心引擎添加新功能并通过 Python API 对外暴露。

以下是一些适合初学者的 优质议题 <https://github.com/Eventual-Inc/Daft/issues?q=is%3Aopen+is%3Aissue+label%3A%22good+first+issue%22>_，帮助您熟悉 Daft。在相关议题下留言即可认领，如有任何疑问也欢迎随时提问！

遥测数据

为了持续改进 Daft，我们通过 Scarf（https://scarf.sh）收集非识别性数据。

如需禁用此功能，可设置环境变量 DO_NOT_TRACK=true。

我们收集的数据包括：

1. 非识别性： 事件以会话 ID 进行标记，该 ID 在导入 Daft 时生成
2. 仅元数据： 我们不会收集用户的任何专有代码或数据
3. 仅用于开发： 我们既不购买也不出售任何用户数据

更多详情请参阅我们的 文档 <https://docs.daft.ai/en/stable/resources/telemetry/>_。

.. image:: https://static.scarf.sh/a.png?x-pxid=31f8d5ba-7e09-4d75-8895-5252bbf06cf6

相关项目

+---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | 引擎 | 查询优化器 | 多模态 | 分布式 | Arrow 支持 | 向量化执行引擎 | 磁盘外处理 | +===================================================+=================+===============+=============+=================+=============================+=============+ | Daft | 是 | 是 | 是 | 是 | 是 | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Pandas <https://github.com/pandas-dev/pandas>_ | 否 | Python 对象 | 否 | 可选 >= 2.0 | 部分（Numpy） | 否 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Polars <https://github.com/pola-rs/polars>_ | 是 | Python 对象 | 否 | 是 | 是 | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Modin <https://github.com/modin-project/modin>_ | 是 | Python 对象 | 是 | 否 | 部分（Pandas） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Ray Data <https://github.com/ray-project/ray>_ | 否 | 是 | 是 | 是 | 部分（PyArrow） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | PySpark <https://github.com/apache/spark>_ | 是 | 否 | 是 | Pandas UDF/IO | Pandas UDF | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+ | Dask DF <https://github.com/dask/dask>_ | 否 | Python 对象 | 是 | 否 | 部分（Pandas） | 是 | +---------------------------------------------------+-----------------+---------------+-------------+-----------------+-----------------------------+-------------+

许可证

Daft 采用 Apache 2.0 许可证——详情请参阅 LICENSE 文件。

.. |快速入门图片| image:: https://github.com/Eventual-Inc/Daft/assets/17691182/dea2f515-9739-4f3e-ac58-cd96d51e44a8 :alt: 从 AWS S3 加载图像文件夹并创建缩略图的 DataFrame 代码 :height: 256

.. |基准图像| image:: https://raw.githubusercontent.com/Eventual-Inc/Daft/refs/heads/main/assets/benchmark.png :alt: AI 基准测试

.. |横幅| image:: https://daft.ai/images/diagram.png :target: https://www.daft.ai :alt: Daft 数据框可以将任何数据（如 PDF 文档、图像、Protocol Buffers、CSV、Parquet 和音频文件）加载到表格型数据框结构中，以便于查询。

.. |CI| image:: https://github.com/Eventual-Inc/Daft/actions/workflows/pr-test-suite.yml/badge.svg :target: https://github.com/Eventual-Inc/Daft/actions/workflows/pr-test-suite.yml?query=branch:main :alt: GitHub Actions 测试

.. |PyPI| image:: https://img.shields.io/pypi/v/daft.svg?label=pip&logo=PyPI&logoColor=white :target: https://pypi.org/project/daft :alt: PyPI

.. |最新标签| image:: https://img.shields.io/github/v/tag/Eventual-Inc/Daft?label=latest&logo=GitHub :target: https://github.com/Eventual-Inc/Daft/tags :alt: 最新标签

.. |覆盖率| image:: https://codecov.io/gh/Eventual-Inc/Daft/branch/main/graph/badge.svg?token=J430QVFE89 :target: https://codecov.io/gh/Eventual-Inc/Daft :alt: 覆盖率

.. |Slack| image:: https://img.shields.io/badge/slack-@distdata-purple.svg?logo=slack :target: https://join.slack.com/t/dist-data/shared_invite/zt-3rh9jr9iv-tmmTNOlQpfvhEy2NTMWS_w :alt: Slack 社区

.. |TrendShift| image:: https://trendshift.io/api/badge/repositories/8239 :target: https://trendshift.io/repositories/8239 :alt: Eventual-Inc/Daft | Trendshift :width: 250px :height: 55px

Daft 快速上手指南

Daft 是一个专为 AI 和多模态工作负载设计的高性能数据引擎。它支持在单一框架中处理图像、音频、视频及结构化数据，底层由 Rust 驱动，提供 Python 原生接口，可轻松从本地扩展至分布式集群。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：Python 3.10 或更高版本
• 前置依赖：无需额外安装 JVM 或其他复杂依赖，Daft 核心包已包含必要组件。

安装步骤

使用 pip 进行标准安装：

pip install daft

提示：如果您需要高级功能（如连接 AWS S3、使用 Ray 分布式计算等），可以安装额外依赖：

pip install "daft[aws, ray]"

国内用户若遇到下载速度慢的问题，建议使用国内镜像源：

pip install daft -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下示例展示如何加载数据、处理多模态内容（如生成图片缩略图）并运行简单的转换操作。

1. 导入与数据加载

Daft 的 API 设计与 Pandas 类似，易于上手。

import daft

# 从本地文件或云存储（如 S3）加载数据
# 这里以加载包含图片路径的 CSV 为例
df = daft.read_csv("data/products.csv")

# 预览数据
df.show()

2. 多模态数据处理

利用 Daft 内置的多模态能力，直接对列中的图片进行处理（例如调整大小），无需手动编写循环。

from daft import col

# 假设 'image_path' 列包含图片文件路径
# 使用 .url.download() 读取图片，并使用 .image.resize() 调整尺寸
df_with_thumbnails = df.with_column(
    "thumbnail",
    col("image_path").url.download().image().resize(128, 128)
)

df_with_thumbnails.show()

3. 集成 AI 推理 (可选)

如果您安装了相关依赖，可以直接在 DataFrame 上运行 AI 模型（如调用 Hugging Face 模型生成嵌入向量）。

# 示例：使用预训练模型为图片生成嵌入向量
# 注意：实际运行需确保已安装 torch 和 transformers 等相关库
df_embedded = df_with_thumbnails.with_column(
    "embedding",
    col("thumbnail").embeddings(model="resnet-50")
)

df_embedded.show()

4. 保存结果

处理完成后，可将结果写回本地或云端存储。

# 将结果写入 Parquet 文件
df_embedded.write_parquet("output/processed_data")

---

更多详细用法、分布式部署指南及完整 API 文档，请访问 Daft 官方文档。