精选向量搜索引擎

一份关于向量相似度搜索的精选向量搜索框架/引擎、库、云服务及研究论文列表

独立服务

• Apache Cassandra 5.0 – 向量搜索 (cep-30)，严格可序列化 ACID（原子性、一致性、隔离性、持久性）(cep-15)，水平扩展数据库
• Qdrant - 支持扩展过滤功能的向量相似度搜索引擎
• Vald - 高可扩展分布式向量搜索引擎
• Milvus - 高性能和高可扩展性的云原生向量数据库。
• Weaviate - 云原生实时向量搜索引擎
• OpenDistro Elasticsearch KNN - 一个机器学习插件，支持 Open Distro for Elasticsearch 的近似 k-NN（k-近邻）搜索算法
• Elastiknn - 用于最近邻搜索的 Elasticsearch 插件
• Epsilla - 高性能向量数据库管理系统，AI 的海马体
• Vearch - 用于深度学习向量高效相似度搜索的可扩展分布式系统
• pgANN - 使用 PostgreSQL 数据库进行快速近似最近邻 (ANN)（近似最近邻）搜索
• Jina - Jina 允许你构建基于深度学习的搜索即服务。
• Infinity - 专为 LLM（大型语言模型）应用打造的 AI 原生数据库，提供极快的向量和全文搜索
• Aquila DB - 专注于分布式的 k-NN 搜索算法
• Redis HNSW - 基于 HNSW（分层导航小世界图）的相似度搜索 Redis 模块
• Solr - Apache Solr - 从 Solr 9.0 起具备密集向量搜索功能
• Marqo - 支持张量搜索（向量序列）的语义搜索引擎
• txtai - 构建语义搜索应用程序和工作流
• Semantra - 用于语义搜索文档的多功能工具。
• SuperDuperDB - 将 AI 带入您喜爱的数据库
• TensorDB - 支持异构计算的高性能向量数据库
• JVector - 纯 Java、零依赖、嵌入式向量搜索引擎，被 DataStax Astra DB 和 Apache Cassandra 使用。
• VQLite - 简单轻量级向量搜索引擎
• Vexvault - 100% 基于浏览器，开源，可扩展，简单，零成本向量搜索
• Vespa.ai - 文本搜索引擎和... 快速近似向量搜索 (ANN)
• Vespa 使用 HNSW-IF 索引的大规模 ANN 搜索在此描述

库

• LangStream - LangStream 是一个开源项目，结合了事件驱动架构的最佳实践与最新的生成式人工智能 (Gen AI) 技术。
• CassIO - CassIO 是无缝集成 Apache Cassandra® 与生成式人工智能及其他机器学习工作负载的终极解决方案
• JVector - 一个纯 Java、零依赖、嵌入式向量搜索引擎，被一些高级分布式数据库（如 DataStax Astra DB 和 Apache Cassandra™）使用
• Faiss - 用于密集向量高效相似性搜索和聚类的库
• Distributed Faiss - 处理无法放入单个服务器内存的 FAISS 索引
• Autofaiss - 自动创建 Faiss KNN 索引
• ScaNN - 大规模高效向量相似性搜索库。
• NMSLIB - 非度量空间库，一种用于通用非度量空间的高效相似性搜索库
• Annoy - 带有 Python 绑定的 C++ 库，用于搜索点
• FLANN - 用 C++ 编写的库，包含以下语言的绑定：C、MATLAB、Python 和 Ruby
• LLM App - 用于实时数据 K 近邻 (K-Nearest Neighbors) 索引的开源 Python 库
• MRPT - 使用随机投影的快速最近邻搜索
• RPForest - 用于近似最近邻搜索的 Python 库
• pgvector - Postgres 的开源向量相似性搜索扩展
• PASE - Postgres 的超高维近似最近邻搜索扩展
• Pyserini - 用于可复现信息检索研究的工具包，支持稀疏和密集表示
• NGT - 提供命令和库以执行高速近似最近邻搜索
• NearPy - 使用不同局部敏感哈希方法进行近似搜索
• TOROS N2 - 轻量级近似最近邻库
• PUFFINN - 无参数且通用的快速最近邻查找
• SPTAG - 分布式近似最近邻搜索 (ANN) 库
• PyNNDescent - 用于近似 K 近邻的 Python 最近邻下降算法
• TarsosLSH - 实现多维向量实用最近邻搜索算法的 Java 库
• TorchPQ - 使用 Pytorch 和 CUDA 实现产品量化及其变体的高效实现
• Granne - 基于图的近似最近邻检索，用 Rust 编写
• Embeddinghub - 专为机器学习嵌入构建的数据库
• Hora - 用 Rust 编写的近似最近邻搜索算法集合库
• Voy - 用 Rust 编写的 WASM (WebAssembly) 向量相似性搜索引擎
• Chroma - 用于在 Python 或 JavaScript 中构建具有记忆功能的大型语言模型 (LLM) 应用的开源嵌入数据库
• USearch - 适用于 C++、Python、JavaScript、Rust、Java、GoLang、Wolfram 的小型 & 快速向量搜索引擎
• Golang vector stores collection - Chroma, PGVector interfaces - Golang 向量存储集合 - Chroma, PGVector 接口
• Scalable Vector Search (SVS) - 向量相似性搜索的性能库

云服务

• Epsilla Cloud - 完全托管的无服务器向量数据库，速度快 10 倍，更便宜且更好。
• DataStax Astra Vector - 多云、无服务器向量数据库即服务 (DBaaS)
• Relevance AI - 从实验到部署的向量平台
• Pinecone - 托管向量搜索，支持过滤、实时索引更新、水平扩展等更多功能
• MyScale - 基于 ClickHouse 的托管向量数据库
• Redis Cloud - Redis 中的托管向量数据库
• Zilliz Cloud - Milvus 的云原生服务

研究论文

关于如何更高效地实现近似向量搜索算法的方法列表。

• SPANN: Highly-efficient Billion-scale Approximate Nearest Neighborhood Search - NEURIPS 2021
• Revisiting the Inverted Indices for Billion-Scale Approximate Nearest Neighbors - ECCV 2018
• Accelerating Large-Scale Inference with Anisotropic Vector Quantization
• Billion-scale similarity search with GPUs
• Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs
• Optimization of Indexing Based on k-Nearest Neighbor Graph for Proximity Search in High-dimensional Data
• On Approximately Searching for Similar Word Embeddings - ACL 2016

Awesome Vector Search 快速上手指南

简介

awesome-vector-search 是一个精心整理的向量搜索资源列表，涵盖了独立的向量搜索引擎、开源库、云服务及研究论文。本指南将帮助您快速克隆该仓库，并从中选择适合的工具开始构建向量搜索应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• 版本控制: Git (用于克隆仓库)
• 编程语言: Python 3.8+ (推荐，因大部分库支持 Python)
• 网络: 建议配置国内镜像源以加速下载（如使用 Gitee 镜像）

安装步骤

由于这是一个资源聚合仓库，您首先需要将其克隆到本地以便查阅和筛选工具。

1. 克隆仓库 推荐使用国内镜像加速（如 Gitee），若网络通畅可直接使用 GitHub：

   # 方式一：Gitee 镜像 (推荐国内用户)
   git clone https://gitee.com/your_mirror/repo_name.git
   
   # 方式二：GitHub 官方源
   git clone https://github.com/<owner>/awesome-vector-search.git
   

   (注：请将 <owner>/repo_name 替换为实际仓库地址)

2. 进入目录

   cd awesome-vector-search
   

基本使用

1. 浏览与选型

打开 README.md 文件，根据您的需求选择分类：

• Standalone Service: 独立部署的数据库服务（如 Milvus, Qdrant）。
• Library: 嵌入式的代码库（如 Faiss, Chroma, pgvector）。
• Cloud Service: 托管云服务（如 Pinecone, Zilliz Cloud）。

您可以使用终端命令快速检索感兴趣的技术栈：

grep -i "milvus\|chroma\|faiss" README.md

2. 集成示例

选定工具后，参考其官方文档进行集成。以下是基于列表中推荐的 Chroma 库的最简使用示例（需先安装对应依赖）：

import chromadb

# 初始化客户端
client = chromadb.Client()

# 创建集合
collection = client.create_collection("my_first_collection")

# 添加数据
collection.add(
    documents=["This is a document"],
    ids=["doc1"]
)

# 查询
results = collection.query(
    query_texts=["This is a query"],
    n_results=1
)
print(results)

3. 下一步

• 访问列表中具体工具的 GitHub 链接获取详细 API 文档。
• 对于生产环境，建议优先查看 Cloud Service 或 Standalone Service 中的成熟方案（如 Milvus, Weaviate）。
• 关注 Research Papers 部分了解底层算法优化原理。