---

Lance 是一个多模态 AI 的开源湖仓格式（Open Lakehouse Format）。它包含一个文件格式、表格式和目录规范，允许您在对象存储之上构建完整的湖仓，以支持您的 AI 工作流。Lance 非常适合：

1. 构建具有混合搜索能力的搜索引擎和特征存储。
2. 需要高性能 IO 和随机访问的大规模机器学习训练。
3. 存储、查询和管理包括图像、视频、音频、文本和嵌入在内的多模态数据。

Lance 的主要特性包括：

• 表达性强的混合搜索： 在同一数据集上结合向量相似性搜索、全文搜索（BM25）和 SQL 分析，并通过加速的二级索引提升性能。

• 闪电般的随机访问： 比 Parquet 或 Iceberg 快 100 倍的随机访问速度，同时不牺牲扫描性能。

• 原生多模态数据支持： 使用高效的二进制编码和延迟加载，将图像、视频、音频、文本和嵌入存储在统一的格式中。

• 数据演进： 高效添加带有回填值的列，无需重写整个表，非常适合机器学习特征工程。

• 零拷贝版本控制： 自动版本控制，支持 ACID 事务、时间旅行、标签和分支——无需额外的基础设施。

• 丰富的生态系统集成： Apache Arrow、Pandas、Polars、DuckDB、Apache Spark、Ray、Trino、Apache Flink 和开放目录（Apache Polaris、Unity Catalog、Apache Gravitino）。

更多细节，请参阅完整的 Lance 格式规范。

[!TIP] Lance 正在积极开发中，我们欢迎贡献。请参阅我们的 贡献指南 以获取更多信息。

快速开始

安装

pip install pylance

安装预览版：

pip install --pre --extra-index-url https://pypi.fury.io/lance-format/pylance

[!TIP] 预览版比正式版发布更频繁，包含最新的功能和错误修复。它们经过与正式版相同的测试级别。 我们保证它们至少会在未来 6 个月内保持发布并可供下载。当您需要固定到特定版本时，请优先选择稳定版。

转换为 Lance 格式

import lance

import pandas as pd
import pyarrow as pa
import pyarrow.dataset

df = pd.DataFrame({"a": [5], "b": [10]})
uri = "/tmp/test.parquet"
tbl = pa.Table.from_pandas(df)
pa.dataset.write_dataset(tbl, uri, format='parquet')

parquet = pa.dataset.dataset(uri, format='parquet')
lance.write_dataset(parquet, "/tmp/test.lance")

读取 Lance 数据

dataset = lance.dataset("/tmp/test.lance")
assert isinstance(dataset, pa.dataset.Dataset)

Pandas

df = dataset.to_table().to_pandas()
df

DuckDB

import duckdb

# 如果出现段错误，请确保已安装 duckdb v0.7+ 版本
duckdb.query("SELECT * FROM dataset LIMIT 10").to_df()

向量搜索

下载 sift1m 子集

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz
tar -xzf sift.tar.gz

将其转换为 Lance 格式

import lance
from lance.vector import vec_to_table
import numpy as np
import struct

nvecs = 1000000
ndims = 128
with open("sift/sift_base.fvecs", mode="rb") as fobj:
    buf = fobj.read()
    data = np.array(struct.unpack("<128000000f", buf[4 : 4 + 4 * nvecs * ndims])).reshape((nvecs, ndims))
    dd = dict(zip(range(nvecs), data))

table = vec_to_table(dd)
uri = "vec_data.lance"
sift1m = lance.write_dataset(table, uri, max_rows_per_group=8192, max_rows_per_file=1024*1024)

构建索引

sift1m.create_index("vector",
                    index_type="IVF_PQ",
                    num_partitions=256,  # IVF
                    num_sub_vectors=16)  # PQ

搜索数据集

# 获取前 10 个最相似的向量
import duckdb

dataset = lance.dataset(uri)

# 抽样 100 个查询向量。如果出现段错误，请确保已安装 duckdb v0.7+ 版本
sample = duckdb.query("SELECT vector FROM dataset USING SAMPLE 100").to_df()
query_vectors = np.array([np.array(x) for x in sample.vector])

# 获取所有查询向量的最近邻
rs = [dataset.to_table(nearest={"column": "vector", "k": 10, "q": q})
      for q in query_vectors]

目录结构

目录	描述
rust	核心 Rust 实现
python	Python 绑定 (PyO3)
java	Java 绑定 (JNI)
docs	文档源码

性能基准

向量搜索

我们使用 SIFT 数据集对 1M 个 128 维向量进行基准测试

1. 对于 100 个随机抽样的查询向量，平均响应时间 <1ms（在 2023 年款 M2 MacBook Air 上）

2. 近似最近邻（ANNs）始终是召回率和性能之间的权衡

与 Parquet 对比

我们使用 Oxford Pet 数据集创建了一个 Lance 数据集，以对 Lance 与 Parquet 和原始图像/XML 文件进行初步性能测试。对于分析查询，Lance 比直接读取原始元数据快 50-100 倍。对于批量随机访问，Lance 比 Parquet 和原始文件快 100 倍。

为什么选择 Lance 用于 AI/ML 工作流？

机器学习开发周期包含多个阶段：

graph LR
    A[Collection] --> B[Exploration];
    B --> C[Analytics];
    C --> D[Feature Engineer];
    D --> E[Training];
    E --> F[Evaluation];
    F --> C;
    E --> G[Deployment];
    G --> H[Monitoring];
    H --> A;

传统的湖仓格式（lakehouse formats）专为 SQL 分析设计，在处理需要以下能力的 AI/ML 工作负载时表现不佳：

• 向量搜索（Vector search），用于相似性和语义检索
• 快速随机访问（Fast random access），用于采样和交互式探索
• 多模态数据存储（Multimodal data storage），支持图像、视频、音频以及嵌入（embeddings）的存储
• 数据演化（Data evolution），在无需重写整个表的情况下进行特征工程
• 混合搜索（Hybrid search），结合向量、全文检索和 SQL 谓词

尽管现有格式（如 Parquet、Iceberg、Delta Lake）在 SQL 分析方面表现出色，但它们需要额外的专业系统来实现 AI 功能。Lance 将这些以 AI 为核心的功能直接集成到湖仓格式中。

以下是不同格式在 ML 开发阶段中的对比：

	Lance	Parquet & ORC	JSON & XML	TFRecord	Database	Warehouse
分析（Analytics）	快速	快速	慢	慢	一般	快速
特征工程（Feature Engineering）	快速	快速	一般	慢	一般	良好
训练（Training）	快速	一般	慢	快速	不适用	不适用
探索（Exploration）	快速	慢	快速	慢	快速	一般
基础设施支持（Infra Support）	丰富	丰富	一般	有限	丰富	丰富

Lance 快速上手指南

Lance 是一个专为多模态 AI 设计的开源湖仓格式，支持高性能向量搜索、全文搜索、随机访问和特征工程能力。以下是快速上手指南。

---

环境准备

系统要求

• Python 3.7 或更高版本
• 支持的操作系统：Linux、macOS 和 Windows（WSL2 推荐）

前置依赖

确保已安装以下工具：

• pandas
• pyarrow
• （可选）duckdb（用于 SQL 查询）

可以通过以下命令安装依赖：

pip install pandas pyarrow duckdb

---

安装步骤

安装稳定版：

pip install pylance

安装预览版（包含最新功能和修复）：

pip install --pre --extra-index-url https://pypi.fury.io/lance-format/pylance

提示：预览版经过与稳定版相同的测试流程，并保证至少 6 个月的可用性。

---

基本使用

转换为 Lance 格式

以下示例展示如何将 Parquet 数据转换为 Lance 格式：

import lance
import pandas as pd
import pyarrow as pa
import pyarrow.dataset

# 创建示例数据
df = pd.DataFrame({"a": [5], "b": [10]})
uri = "/tmp/test.parquet"
tbl = pa.Table.from_pandas(df)
pa.dataset.write_dataset(tbl, uri, format='parquet')

# 转换为 Lance 格式
parquet = pa.dataset.dataset(uri, format='parquet')
lance.write_dataset(parquet, "/tmp/test.lance")

读取 Lance 数据

dataset = lance.dataset("/tmp/test.lance")
assert isinstance(dataset, pa.dataset.Dataset)

使用 Pandas 查看数据

df = dataset.to_table().to_pandas()
print(df)

使用 DuckDB 查询数据

import duckdb

# 如果出现段错误，请确保安装了 DuckDB v0.7+ 版本
result = duckdb.query("SELECT * FROM dataset LIMIT 10").to_df()
print(result)

向量搜索示例

以下代码展示如何对 SIFT 数据集进行向量搜索：

下载并转换数据

wget ftp://ftp.irisa.fr/local/texmex/corpus/sift.tar.gz
tar -xzf sift.tar.gz

import lance
from lance.vector import vec_to_table
import numpy as np
import struct

nvecs = 1000000
ndims = 128
with open("sift/sift_base.fvecs", mode="rb") as fobj:
    buf = fobj.read()
    data = np.array(struct.unpack("<128000000f", buf[4 : 4 + 4 * nvecs * ndims])).reshape((nvecs, ndims))
    dd = dict(zip(range(nvecs), data))

table = vec_to_table(dd)
uri = "vec_data.lance"
sift1m = lance.write_dataset(table, uri, max_rows_per_group=8192, max_rows_per_file=1024*1024)

构建索引

sift1m.create_index("vector",
                    index_type="IVF_PQ",
                    num_partitions=256,  # IVF
                    num_sub_vectors=16)  # PQ

搜索数据

import duckdb

dataset = lance.dataset(uri)

# 随机采样 100 个查询向量
sample = duckdb.query("SELECT vector FROM dataset USING SAMPLE 100").to_df()
query_vectors = np.array([np.array(x) for x in sample.vector])

# 获取最近邻
rs = [dataset.to_table(nearest={"column": "vector", "k": 10, "q": q})
      for q in query_vectors]

---

以上是 Lance 的快速上手指南，更多高级功能请参考 官方文档。