Deep Lake：面向人工智能的数据库

文档 • 快速入门 • API参考 • LangChain与向量数据库课程 • 博客 • 白皮书 • Slack • Twitter

什么是 Deep Lake？

Deep Lake 是一款由专为深度学习应用优化的存储格式驱动的人工智能数据库。Deep Lake 可用于：

1. 构建 LLM 应用时存储和搜索数据及向量
2. 训练深度学习模型时管理数据集

Deep Lake 通过提供对所有数据类型（嵌入、音频、文本、视频、图像、DICOM、PDF、标注等）的存储、查询和向量搜索功能，以及大规模模型训练时的数据流式传输、数据版本控制和血缘追踪，并与 LangChain、LlamaIndex、Weights & Biases 等流行工具集成，简化了企业级基于 LLM 的产品的部署。Deep Lake 可处理任意规模的数据，采用无服务器架构，使您能够将所有数据存储在自己的云环境中并集中管理。Intel、Bayer Radiology、Matterport、ZERO Systems、红十字会、耶鲁大学和牛津大学等机构都在使用 Deep Lake。

Deep Lake 包含以下特性：

多云支持（S3、GCP、Azure）

使用一个 API 即可将数据集上传、下载和流式传输到或从 S3、Azure、GCP、Activeloop 云、本地存储或内存存储中进行操作。兼容任何 S3 兼容的存储系统，例如 MinIO。

原生压缩与惰性 NumPy 式索引

以原生压缩格式存储图像、音频和视频。像操作系统内存中的 NumPy 数组集合一样对数据进行切片、索引、迭代和交互。Deep Lake 只会在需要时才懒加载数据，例如在训练模型或执行查询时。

适用于主流深度学习框架的数据加载器

Deep Lake 自带 PyTorch 和 TensorFlow 的内置数据加载器。只需几行代码即可开始训练模型——我们甚至会自动完成数据集的打乱工作 :)。

与强大工具的集成

Deep Lake 与 Langchain 和 LLamaIndex 集成，可用作 LLM 应用的向量存储；与 Weights & Biases 集成，用于模型训练过程中的数据血缘追踪；与 MMDetection 集成，用于训练目标检测模型；与 MMSegmentation 集成，用于训练语义分割模型。

100 多个最受欢迎的图像、视频和音频数据集可在几秒钟内获取

Deep Lake 社区已上传了 100 多个图像、视频和音频数据集,例如 MNIST、COCO、ImageNet、CIFAR、GTZAN 等。

在Deep Lake 应用程序中即时可视化支持

Deep Lake 数据集可在 Deep Lake 可视化工具 中立即以边界框、掩码、标注等形式进行可视化（见下文）。

🚀 如何安装 Deep Lake

可以通过 pip 安装 Deep Lake：

pip install deeplake

若要访问 Deep Lake 的全部功能，请在 Deep Lake 应用程序 中注册。

🧠 按应用场景划分的 Deep Lake 代码示例

向量存储应用

将 Deep Lake 用作向量存储来构建 LLM 应用：

- 向量存储快速入门

- 向量存储教程

- LangChain 集成

- LlamaIndex 集成

- 使用 Deep Lake 进行图像相似度搜索

深度学习应用

将 Deep Lake 用于深度学习模型训练时的数据管理：

- 深度学习快速入门

- 训练模型教程

⚙️ 集成

Deep Lake 提供与其他工具的集成，以简化您的深度学习工作流。当前的集成包括：

• LLM 应用
  • 使用 Deep Lake 作为 LLM 应用的向量存储。我们的集成将 Langchain 的 VectorStores API 与 Deep Lake 数据集相结合，作为底层数据存储。该集成是一个无服务器向量存储，可以部署在本地或您选择的云环境中。

📚 文档

入门指南、示例、教程、API 参考以及其他有用的信息，都可以在我们的 文档页面 上找到。

🎓 针对学生和教育工作者

Deep Lake 用户可以通过与 Deep Lake App 的免费集成，访问并可视化各种流行的数据集。高校每月可免费获得高达 1TB 的数据存储空间以及 Tensor Database 上的 10 万次查询权限。请访问 我们的网站，申请访问权限！

👩‍💻 与常用工具的比较

Deep Lake 与 Chroma

Deep Lake 和 ChromaDB 都允许用户存储和搜索向量（嵌入），并提供与 LangChain 和 LlamaIndex 的集成。然而，它们的架构截然不同。ChromaDB 是一个向量数据库，可以通过 Docker 在本地或服务器上部署，并将在不久的将来推出托管解决方案。而 Deep Lake 是一种无服务器向量存储，可部署在用户自己的云环境、本地或内存中。所有计算都在客户端进行，这使得用户能够在几秒钟内支持轻量级的生产应用。与 ChromaDB 不同，Deep Lake 的数据格式不仅可以存储嵌入，还可以存储原始数据，如图像、视频和文本。ChromaDB 仅限于在嵌入之上添加少量元数据，且不支持可视化。Deep Lake 数据集则可以进行可视化和版本控制。此外，Deep Lake 还提供高效的 DataLoader，用于微调大型语言模型。

Deep Lake 与 Pinecone

Deep Lake 和 Pinecone 都允许用户存储和搜索向量（嵌入），并提供与 LangChain 和 LlamaIndex 的集成。然而，它们的架构截然不同。Pinecone 是一个完全托管的向量数据库，专为需要搜索数十亿个向量的高要求应用而优化。Deep Lake 则是无服务器的。所有计算都在客户端进行，使用户能够在几秒钟内开始使用。与 Pinecone 不同，Deep Lake 的数据格式不仅可以存储嵌入，还可以存储原始数据，如图像、视频和文本。Deep Lake 数据集可以进行可视化和版本控制。Pinecone 仅限于在嵌入之上添加少量元数据，且不支持可视化。Deep Lake 还拥有高效的 DataLoader，可用于微调大型语言模型。

Deep Lake 与 Weaviate

Deep Lake 和 Weaviate 都允许用户存储和搜索向量（嵌入），并提供与 LangChain 和 LlamaIndex 的集成。然而，它们的架构截然不同。Weaviate 是一个向量数据库，可以通过托管服务或由用户通过 Kubernetes 或 Docker 部署。而 Deep Lake 是无服务器的。所有计算都在客户端进行，使用户能够在几秒钟内支持轻量级的生产应用。与 Weaviate 不同，Deep Lake 的数据格式不仅可以存储嵌入，还可以存储原始数据，如图像、视频和文本。Deep Lake 数据集可以进行可视化和版本控制。Weaviate 仅限于在嵌入之上添加少量元数据，且不支持可视化。Deep Lake 还拥有高效的 DataLoader，用于微调大型语言模型。

Deep Lake 与 DVC

Deep Lake 和 DVC 都提供了类似于 Git 的数据集版本控制功能，但它们存储数据的方式却大相径庭。Deep Lake 将数据转换并存储为分块压缩数组，从而能够快速流式传输至机器学习模型；而 DVC 则基于效率较低的传统文件结构来操作数据。当数据集由大量文件组成时（例如许多图像），Deep Lake 的格式相比 DVC 的传统文件结构，显著简化了数据集版本控制。另一个区别在于，DVC 主要使用命令行界面，而 Deep Lake 是一个 Python 包。最后，Deep Lake 提供 API，可轻松将数据集连接到机器学习框架及其他常用工具，并通过 Activeloop 的可视化工具 实现数据的即时可视化。

Deep Lake 与 MosaicML MDS 格式

• 数据存储格式： Deep Lake 采用列式存储格式，而 MDS 则采用行式存储方式。这一点从根本上影响了每个系统中数据的读取、写入和组织方式。
• 压缩： Deep Lake 提供更灵活的压缩方案，允许对每一列或张量进行分块级别和样本级别的压缩控制。这一特性无需额外的压缩算法（如 zstd），否则在 jpeg 等格式的基础上解压缩会消耗更多 CPU 资源。
• 打乱顺序： 目前，MDS 提供更为先进的打乱顺序策略。
• 版本控制与可视化支持： Deep Lake 的一个显著特点是其原生的版本控制和浏览器内数据可视化功能，而 MosaicML 数据格式并不具备这一特性。这在管理、理解和跟踪不同版本的数据方面具有明显优势。

Deep Lake 与 TensorFlow Datasets (TFDS)

Deep Lake 和 TFDS 都能无缝地将流行的数据集连接到机器学习框架中。Deep Lake 数据集同时兼容 PyTorch 和 TensorFlow，而 TFDS 只兼容 TensorFlow。Deep Lake 和 TFDS 的一个关键区别在于，Deep Lake 数据集专为从云端流式传输而设计，而 TFDS 则必须在使用前先下载到本地。因此，借助 Deep Lake，可以直接从 TensorFlow Datasets 导入数据集，并将其流式传输到 PyTorch 或 TensorFlow 中。除了提供对流行的公开数据集的访问外，Deep Lake 还提供了强大的工具来创建自定义数据集、将其存储在多种云存储提供商上，并通过简单的 API 与他人协作。TFDS 主要专注于为公众提供易于访问的常用数据集，而自定义数据集的管理并不是其主要关注点。完整的对比文章可以在这里找到 链接。

Deep Lake 与 HuggingFace

Deep Lake 和 HuggingFace 都提供对流行数据集的访问，但 Deep Lake 主要专注于计算机视觉领域，而 HuggingFace 则专注于自然语言处理。HuggingFace Transforms 及其他用于 NLP 的计算工具，并不等同于 Deep Lake 所提供的功能。

Deep Lake 与 WebDatasets

Deep Lake 和 WebDatasets 都支持跨网络的快速数据流式传输。由于底层的网络请求和数据结构非常相似，两者的流式传输速度几乎相同。然而，Deep Lake 提供了更优越的随机访问和打乱功能，其简单 API 使用 Python 而非命令行，并且 Deep Lake 允许对数据集进行简单的索引和修改，而无需重新创建数据集。

Deep Lake 与 Zarr

Deep Lake 和 Zarr 都支持将数据存储为分块数组。不过，Deep Lake 主要设计用于通过简单 API 将数据以数组形式返回，而不是真正存储原始数组（尽管这也可行）。Deep Lake 会将数据以针对特定用例优化的格式存储，例如图像使用 jpeg 或 png，视频使用 mp4，用户则可以像操作数组一样使用这些数据，因为 Deep Lake 会在背后完成所有的数据处理工作。Deep Lake 在存储具有动态形状的数组（稀疏张量）方面更加灵活，并且提供了 Zarr 中并不直接具备的多项功能，如版本控制、数据流式传输以及将数据与机器学习框架连接等。

社区

加入我们的 Slack 社区，了解更多关于使用 Deep Lake 进行非结构化数据集管理的信息，并从 Activeloop 团队和其他用户那里获得帮助。

我们非常期待您的反馈，请花 3 分钟时间完成我们的 调查问卷。

一如既往，感谢我们出色的贡献者们！

由 contributors-img 制作。

请阅读 CONTRIBUTING.md，开始为 Deep Lake 做出贡献。

README 徽章

正在使用 Deep Lake 吗？添加一个 README 徽章，让大家知道：

[![deeplake](https://img.shields.io/badge/powered%20by-Deep%20Lake%20-ff5a1f.svg)](https://github.com/activeloopai/deeplake)

免责声明

数据集许可

Deep Lake 用户可以访问各种公开可用的数据集。但我们并不托管或分发这些数据集，也不对其质量或公平性背书，更不声称您拥有使用这些数据集的许可。您有责任根据其许可协议确定自己是否有权使用这些数据集。 如果您是数据集的所有者，并且不希望您的数据集被包含在本库中，请通过 GitHub 问题 与我们联系。感谢您为机器学习社区所做的贡献！

引用

如果您在研究中使用了 Deep Lake，请引用 Activeloop 如下：

@article{deeplake,
  title = {Deep Lake: a Lakehouse for Deep Learning},
  author = {Hambardzumyan, Sasun and Tuli, Abhinav and Ghukasyan, Levon and Rahman, Fariz and Topchyan, Hrant and Isayan, David and Harutyunyan, Mikayel and Hakobyan, Tatevik and Stranic, Ivo and Buniatyan, Davit},
  url = {https://www.cidrdb.org/cidr2023/papers/p69-buniatyan.pdf},
  booktitle={Proceedings of CIDR},
  year = {2023},
}

致谢

这项技术灵感来源于我们在普林斯顿大学的研究工作。我们要特别感谢 SeungLab 的 William Silversmith 及其出色的 cloud-volume 工具。

Deep Lake 快速上手指南

Deep Lake 是一款专为 AI 打造的数据库，支持存储和搜索向量及多模态数据（图像、视频、音频、文本等）。它适用于构建大语言模型（LLM）应用以及管理深度学习训练数据集，具备无服务器（Serverless）、原生压缩、懒加载及与 LangChain/LlamaIndex 深度集成等特性。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：建议 Python 3.8 及以上版本。
• 前置依赖：
  • 已安装 pip 包管理工具。
  • （可选）若需使用云存储功能，请确保已配置对应云服务（AWS S3, Google GCP, Azure）的访问凭证。
  • （可选）若用于深度学习训练，建议预先安装 pytorch 或 tensorflow。

安装步骤

使用 pip 直接安装 Deep Lake：

pip install deeplake

提示：国内开发者若遇到下载速度慢的问题，可使用清华或阿里镜像源加速安装：

pip install deeplake -i https://pypi.tuna.tsinghua.edu.cn/simple

若要解锁全部功能（如高级可视化、团队协作等），建议在 Deep Lake App 注册账号并获取 API Token。

基本使用

以下示例展示如何创建一个本地数据集、添加图像与标签数据，并进行简单的读取操作。

1. 创建数据集并写入数据

import deeplake
import numpy as np

# 在本地创建一个名为 "my_dataset" 的新数据集
ds = deeplake.empty("hub://my_dataset", overwrite=True)

# 定义数据结构（张量）
with ds:
    ds.create_tensor("images", htype="image", sample_compression="jpg")
    ds.create_tensor("labels", htype="class_label", class_names=["cat", "dog"])

    # 模拟添加数据 (此处使用随机生成的数组代替真实图片)
    # 实际使用中可传入图片路径列表或直接加载图片
    dummy_images = np.random.randint(0, 255, (10, 224, 224, 3), dtype=np.uint8)
    dummy_labels = [0, 1, 0, 1, 0, 1, 0, 1, 0, 1] # 0: cat, 1: dog

    ds.images.append(dummy_images)
    ds.labels.append(dummy_labels)

print(f"数据集包含 {len(ds)} 条样本")

2. 读取与索引数据

Deep Lake 支持类似 NumPy 的切片和索引操作，数据仅在需要时懒加载。

# 重新加载数据集（模拟在不同会话中）
ds = deeplake.load("hub://my_dataset")

# 访问第一条数据的图片和标签
first_image = ds.images[0].numpy()
first_label = ds.labels[0].numpy()

print(f"第一张标签类别 ID: {first_label}")

# 批量迭代数据
for i in range(len(ds)):
    img = ds.images[i].numpy()
    label = ds.labels[i].numpy()
    # 在此处进行预处理或推理

3. 集成 PyTorch 进行训练

Deep Lake 内置了高性能 DataLoader，可直接对接 PyTorch：

import torch
from deeplake import enterprise

# 创建 PyTorch DataLoader
# transform 函数可用于数据增强
def transform(sample):
    return {
        "image": sample["images"].numpy().transpose(2, 0, 1) / 255.0, # CHW format
        "label": int(sample["labels"].numpy())
    }

dl = ds.pytorch(num_workers=4, transform=transform, batch_size=4)

# 在训练循环中使用
for batch in dl:
    images, labels = batch["image"], batch["label"]
    # 开始模型训练...