Weaviate

Weaviate 是一款开源的云原生向量数据库，能够同时存储对象和向量，从而实现大规模的语义搜索。它将向量相似度搜索与关键词过滤、检索增强生成（RAG）以及重排序等功能整合到一个查询接口中。常见的应用场景包括 RAG 系统、语义搜索和图像搜索、推荐引擎、聊天机器人以及内容分类等。

Weaviate 支持两种向量存储方式：一种是在导入时使用 集成模型（如 OpenAI、Cohere、HuggingFace 等）进行自动向量化；另一种则是直接导入 预计算的向量嵌入。在生产环境中部署时，Weaviate 提供了内置的多租户支持、数据复制、基于角色的访问控制（RBAC）以及 众多其他特性。

要快速入门，请参阅以下教程之一：

• 快速入门 - Weaviate Cloud
• 快速入门 - 本地 Docker 实例

安装

Weaviate 提供了多种安装和部署选项：

• Docker
• Kubernetes
• Weaviate Cloud

更多部署选项，例如 AWS 和 GCP，请参阅 安装文档。

开始使用

您可以使用 Docker 轻松启动 Weaviate 和本地向量嵌入模型。首先创建一个 docker-compose.yml 文件：

services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
    ports:
      - "8080:8080"
      - "50051:50051"
    environment:
      ENABLE_MODULES: text2vec-model2vec
      MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080

  # 一个轻量级的嵌入模型，可在导入时为对象生成向量
  text2vec-model2vec:
    image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M

然后通过以下命令启动 Weaviate 和嵌入服务：

docker compose up -d

接下来安装 Python 客户端（或使用其他 客户端库）：

pip install -U weaviate-client

以下 Python 示例展示了如何轻松地将数据填充到 Weaviate 数据库中、创建向量嵌入并执行语义搜索：

import weaviate
from weaviate.classes.config import Configure, DataType, Property

# 连接到 Weaviate
client = weaviate.connect_to_local()

# 创建集合
client.collections.create(
    name="Article",
    properties=[Property(name="content", data_type=DataType.TEXT)],
    vector_config=Configure.Vectors.text2vec_model2vec(),  # 使用向量化器在导入时生成嵌入
    # vector_config=Configure.Vectors.self_provided()  # 如果您希望导入自己预先生成的嵌入
)

# 插入对象并生成嵌入
articles = client.collections.get("Article")
articles.data.insert_many(
    [
        {"content": "向量数据库支持语义搜索"},
        {"content": "机器学习模型可以生成嵌入"},
        {"content": "Weaviate 支持混合搜索功能"},
    ]
)

# 执行语义搜索
results = articles.query.near_text(query="按语义搜索对象", limit=1)
print(results.objects[0])

client.close()

此示例使用了 Model2Vec 向量化器，但您也可以选择其他 嵌入模型提供商 或者 自行提供预生成的向量。

客户端库和 API

Weaviate 为多种编程语言提供了客户端库：

• Python
• JavaScript/TypeScript
• Java
• Go
• C#/.NET

此外，还有由社区维护的 附加库。

Weaviate 暴露了 REST API、gRPC API 和 GraphQL API，用于与数据库服务器进行通信。

Weaviate 的特性

这些特性使您能够构建由 AI 驱动的应用程序：

• ⚡ 快速的搜索性能：在毫秒级内对数十亿个向量执行复杂的语义搜索。Weaviate 的架构采用 Go 语言构建，兼具速度与可靠性，确保您的 AI 应用程序即使在高负载下也能保持高度响应。更多信息请参阅我们的 ANN 基准测试。

• 🔌 灵活的向量化：通过与 OpenAI、Cohere、HuggingFace、Google 等提供的集成向量化器，在数据导入时无缝完成向量化。您也可以导入自定义向量嵌入。

• 🔍 高级混合与图像搜索：将语义搜索的强大功能与传统的关键词（BM25）搜索、图像搜索以及高级过滤相结合，只需一次 API 调用即可获得最佳结果。

• 🤖 集成 RAG 与重排序：借助内置的生成式搜索（RAG）和重排序功能，超越简单的检索。无需额外工具，即可直接从数据库中构建复杂的问答系统、聊天机器人和摘要生成器。

• 📈 生产就绪且可扩展：Weaviate 专为关键任务型应用而设计。通过原生支持水平扩展、多租户、复制以及细粒度的基于角色的访问控制（RBAC），您可以轻松地从快速原型开发过渡到大规模生产环境。

• 💰 低成本运营：借助内置的向量压缩，大幅降低资源消耗和运营成本。向量量化和多向量编码可在几乎不影响搜索性能的情况下减少内存使用。

• ⏱️ 对象 TTL：通过为每个集合配置可调的生存时间（TTL）设置，自动过期并移除过时数据，同时完全支持 RBAC 和多租户功能。

如需查看所有功能的完整列表，请访问Weaviate 官方文档。

有用资源

AI 代理技能

Weaviate Agent Skills 是一套专为 AI 编码代理（Claude Code、Cursor、GitHub Copilot 等）设计的技能库，使它们能够更准确、更高效地与 Weaviate 集成。这些技能涵盖了搜索、查询、集合管理、数据导入，以及完整的应用蓝图（RAG、代理式 RAG、聊天机器人等）。

安装方法如下：

npx skills add weaviate/agent-skills

演示项目与示例代码

这些演示项目是实际运行的应用程序，展示了 Weaviate 的部分强大功能。其源代码可在 GitHub 上获取。

• Elysia (GitHub)：Elysia 是一个基于决策树的代理系统，能够智能地决定使用哪些工具、已获得哪些结果，以及是否需要继续处理或目标是否已完成。
• Verba (GitHub)：这是一款由社区驱动的开源应用，旨在提供开箱即用的端到端、简化且用户友好的界面，用于增强检索的生成式模型（RAG）。
• Healthsearch (GitHub)：这是一个开源项目，旨在展示如何利用用户撰写的评论和查询，根据特定的健康效果检索补充剂产品。
• Awesome-Moviate (GitHub)：这是一款电影搜索与推荐引擎，支持基于关键词（BM25）、语义以及混合搜索。

我们还维护着大量的 Jupyter Notebook 和 TypeScript 代码片段 仓库，涵盖如何使用 Weaviate 的各项功能及集成：

• Weaviate Python 示例代码
• Weaviate TypeScript 示例代码

博客文章

• 什么是向量数据库
• 什么是向量搜索
• 什么是混合搜索
• 如何选择嵌入模型
• 什么是 RAG
• RAG 评估
• 高级 RAG 技术
• 什么是多模态 RAG
• 什么是代理式 RAG
• 什么是图结构 RAG
• 晚期交互模型概述

集成

Weaviate 与众多外部服务集成：

类别	描述	集成
云超大规模服务商	大规模计算和存储	AWS, Google
计算基础设施	运行和扩展容器化应用	Modal, Replicate, Replicated
数据平台	数据摄取和网页抓取	Airbyte, Aryn, Boomi, Box, Confluent, Astronomer, Context Data, Databricks, Firecrawl, IBM, Unstructured
LLM 和智能体框架	构建智能体和生成式 AI 应用	Agno, Composio, CrewAI, DSPy, Dynamiq, Haystack, LangChain, LlamaIndex, N8n, Semantic Kernel
运维工具	用于监控和分析生成式 AI 工作流的工具	AIMon, Arize, Cleanlab, Comet, DeepEval, Langtrace, LangWatch, Nomic, Patronus AI, Ragas, TruLens, Weights & Biases

贡献

我们欢迎并感谢您的贡献！请参阅我们的贡献者指南，了解开发环境搭建、代码风格规范、测试要求以及拉取请求的提交流程。

加入我们的社区论坛，讨论想法并获取帮助。

许可证

BSD 3-Clause 许可证。详情请参阅LICENSE。

Weaviate 快速上手指南

Weaviate 是一个开源的云原生向量数据库，支持存储对象与向量数据，适用于语义搜索、RAG（检索增强生成）、推荐系统及聊天机器人等 AI 应用场景。它支持导入时自动向量化（集成 OpenAI、Cohere、HuggingFace 等模型）或直接导入预计算向量。

环境准备

• 操作系统：Linux、macOS 或 Windows（需安装 WSL2 或 Docker Desktop）。
• 核心依赖：
  • Docker 及 Docker Compose（推荐使用 v2 版本）。
  • Python 3.8+（用于运行客户端示例）。
• 网络建议：由于拉取镜像可能涉及国外源，建议配置 Docker 镜像加速器（如阿里云、腾讯云等国内加速地址）以提升下载速度。

安装步骤

1. 创建配置文件

在项目目录下创建 docker-compose.yml 文件，内容如下。该配置将启动 Weaviate 服务及一个轻量级的本地向量化模型（Model2Vec）。

services:
  weaviate:
    image: cr.weaviate.io/semitechnologies/weaviate:1.36.0
    ports:
      - "8080:8080"
      - "50051:50051"
    environment:
      ENABLE_MODULES: text2vec-model2vec
      MODEL2VEC_INFERENCE_API: http://text2vec-model2vec:8080

  # A lightweight embedding model that will generate vectors from objects during import
  text2vec-model2vec:
    image: cr.weaviate.io/semitechnologies/model2vec-inference:minishlab-potion-base-32M

提示：如果在国内拉取 cr.weaviate.io 镜像较慢，可尝试在 Docker Daemon 配置中注册镜像加速，或手动拉取后重命名标签。

2. 启动服务

在终端执行以下命令启动 Weaviate 和嵌入模型服务：

docker compose up -d

3. 安装 Python 客户端

安装官方提供的 Python 客户端库：

pip install -U weaviate-client

基本使用

以下示例演示了如何连接本地 Weaviate、创建集合（Collection）、插入数据（自动生成向量）并执行语义搜索。

import weaviate
from weaviate.classes.config import Configure, DataType, Property

# 连接到本地 Weaviate 实例
client = weaviate.connect_to_local()

# 创建一个名为 "Article" 的集合
# 配置属性：content (文本类型)
# 配置向量化：使用 text2vec-model2vec 在导入时自动生成向量
client.collections.create(
    name="Article",
    properties=[Property(name="content", data_type=DataType.TEXT)],
    vector_config=Configure.Vectors.text2vec_model2vec(),  
    # 若需导入自有预生成向量，可使用：vector_config=Configure.Vectors.self_provided()
)

# 获取集合并插入数据
articles = client.collections.get("Article")
articles.data.insert_many(
    [
        {"content": "Vector databases enable semantic search"},
        {"content": "Machine learning models generate embeddings"},
        {"content": "Weaviate supports hybrid search capabilities"},
    ]
)

# 执行语义搜索
# 查询含义为 "Search objects by meaning" 的最相似对象
results = articles.query.near_text(query="Search objects by meaning", limit=1)
print(results.objects[0])

# 关闭连接
client.close()

下一步

• 更换模型：示例使用了内置的 Model2Vec，生产环境中可替换为 OpenAI、Cohere 或其他支持的模型提供商。
• 多语言支持：Weaviate 还提供 JavaScript/TypeScript、Java、Go 和 C# 等客户端库。
• 更多功能：探索混合搜索（BM25 + 向量）、多租户管理、RBAC 权限控制及 RAG 生成式搜索等高级特性。