关于基于嵌入的检索的理论局限性

本仓库包含论文《关于基于嵌入的检索的理论局限性》（arXiv:2508.21038）的官方资源。 这项工作引入了 LIMIT 数据集， 旨在基于理论原理对嵌入模型进行压力测试。 我们证明，对于任意给定的嵌入维度 d， 都存在一组文档，无法被任何查询检索到。 我们利用这一理论构建了 LIMIT 数据集， 发现即使是当前最先进的模型也难以应对，从而凸显了当前单向量嵌入范式的根本性局限。

概览

• 数据
• 代码
• 评估
• 引用
• 许可与免责声明

数据

我们在实验中使用的数据集位于本仓库的 data/ 目录下，格式符合 MTEB 标准（即 JSON Lines 格式）。

每个数据集包含：

• 一个 queries.json 文件，每行对应一个查询，共 1000 条，每条包含 _id 和 text 字段。
• 一个 corpus.json 文件，每行对应一篇文档，共 50,000 篇（或使用 small 版本时为 46 篇），每篇包含 _id、text 和空的 title 字段。
• 一个 qrels.json 文件，每行对应一个相关查询-文档映射，共 2000 条，将查询的 query-id 映射到文档的 corpus-id，其中 score 表示相关性。

• 完整数据集 (limit): 包含 50,000 篇文档的完整数据集。

  • 指向 data/limit

• 小样本 (limit-small): 只包含与查询相关的 46 篇文档的小版本。

  • 指向 data/limit-small

代码

我们在 code/ 文件夹中提供了生成 LIMIT 风格数据集以及运行免费嵌入实验的代码。

• 数据集生成: 若要从头开始生成数据集，可以使用位于 code/generate_limit_dataset.ipynb 的 Jupyter 笔记本。该笔记本包含了所有必要的步骤和依赖项。

  • 指向 code/generate_limit_dataset.ipynb

• 免费嵌入实验: 运行免费嵌入实验的脚本位于 code/free_embedding_experiment.py。

  • 指向 code/free_embedding_experiment.py

如果您使用免费嵌入代码，需要安装以下依赖项。

安装

我们推荐使用 uv 包管理器。

# 创建虚拟环境
uv venv
source .venv/bin/activate

# 安装依赖
uv pip install -r https://raw.githubusercontent.com/google-deepmind/limit/refs/heads/main/code/requirements.txt

使用 Hugging Face Datasets 加载

您也可以使用 Hugging Face 的 datasets 库加载数据（LIMIT，LIMIT-small)：

from datasets import load_dataset
ds = load_dataset("orionweller/LIMIT-small", "corpus") # 还有 queries 和 test（包含 qrels）可选。

评估

评估使用了 MTEB 框架。您只能在 v2.0.0 分支（即将成为 main 分支）上复现此评估。请注意，v2.0.0 分支正在快速更新，因此请在它成为主分支之前，安装需求文件中锁定的版本。示例如下：

import mteb
from sentence_transformers import SentenceTransformer

# 使用 MTEB 加载模型
model_name = "sentence-transformers/all-MiniLM-L6-v2"
model = mteb.get_model(model_name) # 如果 MTEB 中未实现，则默认使用 SentenceTransformers(model_name)
# 或直接使用 SentenceTransformers
model = SentenceTransformer(model_name)

# 选择所需任务并进行评估
tasks = mteb.get_tasks(tasks=["LIMITSmallRetrieval"]) # 对于完整数据集，可使用 LIMITRetrieval
results = mteb.evaluate(model, tasks=tasks)

更多详情请参阅他们的 GitHub 页面。

引用

如果您使用了本工作，请按以下方式引用论文：

@article{weller2025theoretical,
  title={On the Theoretical Limitations of Embedding-Based Retrieval},
  author={Weller, Orion and Boratko, Michael and Naim, Iftekhar and Lee, Jinhyuk},
  journal={arXiv preprint arXiv:2508.21038},
  year={2025}
}

许可与免责声明

版权所有 © 2025 Google LLC

所有软件均采用 Apache License, Version 2.0（Apache 2.0）许可；除非符合 Apache 2.0 许可条款，否则不得使用本文件。您可以在以下网址获取 Apache 2.0 许可协议： https://www.apache.org/licenses/LICENSE-2.0

其他所有材料均采用 Creative Commons Attribution 4.0 国际许可（CC-BY）。您可以在以下网址获取 CC-BY 许可协议： https://creativecommons.org/licenses/by/4.0/legalcode

除非适用法律另有规定或以书面形式达成一致，否则在此处根据 Apache 2.0 或 CC-BY 许可分发的所有软件和材料均“按原样”提供，不附带任何形式的明示或默示保证或条件。具体权限和限制请参阅相应许可协议中的语言表述。

本项目并非 Google 官方产品。

LIMIT 数据集快速上手指南

LIMIT 是一个用于压力测试嵌入模型（Embedding Models）理论极限的数据集。它基于理论证明构建，旨在揭示当前单向量嵌入范式在特定文档组合下无法被任何查询检索到的根本局限性。

环境准备

• 系统要求：Linux, macOS 或 Windows (需支持 Python 虚拟环境)
• Python 版本：推荐 Python 3.8+
• 前置依赖：
  • 推荐使用 uv 包管理器以获得更快的安装体验。
  • 若不使用 uv，需确保已安装 pip 和 venv。
• 网络提示：由于依赖项托管在 GitHub 和 PyPI，国内用户建议配置 pip 国内镜像源（如清华源、阿里源）以加速下载。

安装步骤

方法一：使用 uv 推荐安装（首选）

1. 创建并激活虚拟环境

   uv venv
   source .venv/bin/activate  # Windows 用户请使用: .venv\Scripts\activate
   

2. 安装依赖 直接安装项目指定的 requirements 文件：

   uv pip install -r https://raw.githubusercontent.com/google-deepmind/limit/refs/heads/main/code/requirements.txt
   

   (注：若下载速度慢，可先下载该 requirements.txt 文件到本地，修改为国内镜像源后再运行 uv pip install -r requirements.txt)

方法二：使用 Hugging Face Datasets 加载（无需克隆代码库）

如果你仅需使用数据进行评估，可直接通过 datasets 库加载，无需手动下载文件：

pip install datasets
# 建议配置镜像：export HF_ENDPOINT=https://hf-mirror.com

基本使用

场景 A：通过 Hugging Face 加载数据（最简便）

这是获取数据集并进行测试的最快方式。以下示例展示如何加载小型测试集（LIMIT-small）：

from datasets import load_dataset

# 加载语料库 (corpus)
# 可选分割："corpus", "queries", "test" (包含 qrels)
ds = load_dataset("orionweller/LIMIT-small", "corpus")

# 查看数据结构
print(ds)

如需使用完整数据集（50k 文档），将名称改为 "orionweller/LIMIT"。

场景 B：使用 MTEB 框架进行评估

LIMIT 集成在 MTEB 基准测试框架中。注意：目前需在 MTEB 的 v2.0.0 分支（或包含 w_limit 的特定版本）上运行。

import mteb
from sentence_transformers import SentenceTransformer

# 1. 加载模型
model_name = "sentence-transformers/all-MiniLM-L6-v2"
# 使用 MTEB 加载器（若模型未内置，会自动回退到 SentenceTransformer）
model = mteb.get_model(model_name)

# 2. 选择任务
# 使用 "LIMITSmallRetrieval" 测试小样本，或 "LIMITRetrieval" 测试全量数据
tasks = mteb.get_tasks(tasks=["LIMITSmallRetrieval"])

# 3. 执行评估
results = mteb.evaluate(model, tasks=tasks)

# 打印结果
print(results)

场景 C：从头生成数据集（进阶）

如果你需要研究数据生成逻辑，可以克隆仓库并运行 Jupyter Notebook：

git clone https://github.com/google-deepmind/limit.git
cd limit
# 确保已按“安装步骤”安装依赖
# 打开并运行 code/generate_limit_dataset.ipynb

---

注：本工具相关软件遵循 Apache 2.0 许可证，数据材料遵循 CC-BY 4.0 许可证。