vearch

GitHub
2.3k 358 中等 1 次阅读 1周前Apache-2.0其他数据工具开发框架
AI 解读 由 AI 自动生成,仅供参考

Vearch 是一款专为 AI 原生应用打造的云原生分布式向量数据库,旨在解决海量数据下的高效率相似性搜索难题。在人工智能应用中,模型生成的嵌入向量往往数量庞大,传统数据库难以在毫秒级内完成精准检索,而 Vearch 能够轻松应对从数百万甚至数十亿对象中快速查找相似内容的挑战。

这款工具非常适合需要构建推荐系统、图像检索、知识库问答或大模型记忆后端的应用开发者与研究人员。它支持“混合搜索”模式,既能进行高精度的向量相似度匹配,又能结合标量字段进行灵活过滤,满足了复杂业务场景的查询需求。

Vearch 的技术亮点在于其卓越的扩展性与可靠性。它采用基于 Raft 协议的复制机制确保数据安全,并支持弹性扩容,可随业务增长无缝调整资源。架构上,它通过 Master 节点管理元数据,Router 节点处理请求路由与结果合并,以及核心的 PartitionServer 承载分片数据,实现了高性能的分布式协作。此外,Vearch 提供了完善的 Python、Go、Java 及 Rust SDK,并能无缝集成 LangChain、LlamaIndex 等主流 AI 框架,帮助开发者快速搭建生产级的视觉搜索或智能问答系统。无论是单机部署还是通过 Kubernetes 构建大规模集群,Vearch 都能提供稳定高效的服务。

使用场景

某大型电商平台的智能客服团队正在构建一个基于 RAG(检索增强生成)的知识库系统,旨在让 AI 助手能根据用户描述的商品问题,从百万级历史工单和商品文档中精准检索相似案例并生成回答。

没有 vearch 时

  • 检索速度缓慢:随着向量数据量突破百万级,传统数据库进行相似度计算耗时从毫秒级飙升至数秒,导致用户等待时间过长,体验极差。
  • 无法混合过滤:只能进行纯粹的向量搜索,无法同时结合“商品类别”、“故障时间”等标量字段进行筛选,返回大量无关结果。
  • 扩展性受限:单机部署架构在面对大促流量洪峰时容易崩溃,缺乏弹性扩容能力,运维人员需频繁手动迁移数据以平衡负载。
  • 数据可靠性低:缺乏内置的多副本复制机制,一旦节点故障,部分向量索引数据面临丢失风险,影响服务连续性。

使用 vearch 后

  • 毫秒级响应:借助 vearch 分布式架构与 Gamma 引擎,即使在亿级向量规模下,也能在毫秒内完成检索,确保对话流畅无卡顿。
  • 支持混合搜索:利用 vearch 的混合搜索特性,可在执行向量匹配的同时精确过滤标量条件(如仅检索"2024 年手机类”工单),大幅提升答案准确率。
  • 弹性伸缩自如:通过 Kubernetes 或 Docker Compose 轻松实现集群水平扩展,自动应对流量波峰,无需人工干预数据分片。
  • 高可用保障:基于 Raft 协议的副本复制机制确保数据多份存储,单节点故障自动切换,保障知识库服务 7x24 小时稳定运行。

vearch 将原本笨重迟缓的向量检索升级为云原生、高性能且可靠的智能记忆中枢,让 AI 应用真正具备实时处理海量知识的能力。

运行环境要求

操作系统
  • Linux
GPU

未说明(核心引擎基于 Faiss,通常支持 CPU,若使用 GPU 加速版 Faiss 则需 NVIDIA GPU,具体版本未提及)

内存

未说明(取决于数据规模,文档提及可处理百万级对象)

依赖
notesVearch 是一个云原生分布式向量数据库。核心组件包括 Master、Router 和 PartitionServer(内置 Gamma 引擎,基于 Faiss)。支持 standalone(单机)和 cluster(集群)模式部署。推荐使用 Docker Compose 或 Kubernetes (Helm) 进行部署。文档中未明确列出具体的操作系统限制,但鉴于其分布式特性和 Docker/K8s 部署方式,主要面向 Linux 环境。
python未说明(提供 Python SDK,但未指定具体版本要求)
Faiss (集成于 Gamma 引擎)
Raft (用于复制)
Go (主要开发语言)
Docker
Kubernetes/Helm (可选)
vearch hero image

快速开始

License: Apache-2.0 Build Status Go Report Card Gitter

概述

Vearch 是一款云原生分布式向量数据库,专为您的 AI 应用程序中嵌入向量的高效相似性搜索而设计。

核心特性

  • 混合搜索:同时支持向量搜索和标量过滤。
  • 性能:快速向量检索——可在毫秒级内从数百万个对象中完成搜索。
  • 可扩展性与可靠性:支持副本机制和弹性水平扩展。

文档

Restful API

OpenAPI

SDK

SDK 描述
Python SDK Vearch 的 Python 客户端
Go SDK Vearch 的 Go 客户端
Java SDK Vearch 的 Java 客户端
Rust SDK Vearch 的 Rust 客户端

使用场景

将 Vearch 用作内存后端

Vearch 可与主流 AI 框架集成:

框架 集成方式
Langchain 在 Langchain 中将 Vearch 用作向量存储
LlamaIndex 与 LlamaIndex 集成以构建知识库
Langchaingo 支持 Vearch 的 Langchain Go 实现
LangChain4j 支持 Vearch 集成的 Java 实现

现实世界演示

  • VisualSearch:Vearch 可用于构建完整的视觉搜索系统,索引数十亿张图片。此外,还需要图像检索插件来进行目标检测和特征提取。

快速入门

Kubernetes 部署

# 通过 Helm 仓库
$ helm repo add vearch https://vearch.github.io/vearch-helm
$ helm repo update && helm install my-release vearch/vearch

# 或从本地 Charts
$ git clone https://github.com/vearch/vearch-helm.git && cd vearch-helm
$ helm install my-release ./charts -f ./charts/values.yaml

Docker Compose 部署

# 单机模式
$ cd cloud && cp ../config/config.toml .
$ docker-compose --profile standalone up -d

# 集群模式
$ cd cloud && cp ../config/config_cluster.toml .
$ docker-compose --profile cluster up -d

其他部署方式

组件

Vearch 架构

arc

Master:负责模式管理、集群级元数据以及资源协调。 Router:提供 RESTful API:upsertdeletesearchquery;进行请求路由和结果合并。 PartitionServer (PS):托管基于 Raft 的副本机制的文档分区。Gamma 是核心向量搜索引擎,基于 faiss 实现。它具备存储、索引和检索向量及标量的能力。

技术参考

学术引用

在学术或研究项目中使用 Vearch 时,请引用我们的论文:

@misc{li2019design,
      title={The Design and Implementation of a Real Time Visual Search System on JD E-commerce Platform},
      author={Jie Li and Haifeng Liu and Chuanghua Gui and Jianyu Chen and Zhenyun Ni and Ning Wang},
      year={2019},
      eprint={1908.07389},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

社区支持

联系我们

您可以通过多种渠道与 Vearch 社区互动:

  • GitHub Issues:在我们的 问题页面 上报告 bug 或请求功能。
  • 邮件讨论:如需公开讨论或提问,请发送邮件至 vearch-maintainers@groups.io
  • Slack 频道:加入我们的 Slack 社区,进行实时交流。

贡献

我们欢迎社区贡献!请查看我们的贡献指南以开始参与。

许可证

Vearch 采用 Apache License, Version 2.0 许可。

有关完整许可信息,请参阅我们仓库中的 LICENSE 和 NOTICE


© 2019 Vearch Contributors. 版权所有。

版本历史

v3.5.92026/02/04
v3.5.82025/11/07
v3.5.72025/04/28
v3.5.62025/03/03
v3.5.52025/01/07
v3.5.42024/10/24
v3.5.32024/09/14
v3.5.22024/07/26
v3.5.12024/05/27
v3.5.02024/04/29
v3.4.42024/02/29
v3.4.32024/01/30
v3.4.22024/01/22
v3.4.12023/11/24
v3.4.02023/11/13
v3.3.42023/10/24
v3.3.32023/09/22
v3.3.22023/08/30
v3.3.12023/08/22
v3.3.02023/07/26

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|昨天
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|2天前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上

143.9k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

107.9k|★★☆☆☆|昨天
开发框架图像Agent

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器

93.4k|★★☆☆☆|昨天
插件开发框架

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备

90.1k|★★★☆☆|昨天
语言模型图像Agent