Elasticsearch 示例与应用

访问 Search Labs，获取有关如何使用 Elasticsearch 构建搜索及 AI/ML 驱动的搜索体验的最新文章和教程

此仓库包含可执行的 Python 笔记本、示例应用以及用于测试 Elastic 平台的资源：

• 学习如何将 Elasticsearch 用作向量数据库来存储嵌入，并支持混合搜索和语义搜索体验。
• 构建检索增强生成（RAG）、摘要生成和问答（QA）等用例。
• 测试 Elastic 的前沿开箱即用功能，例如 Elastic Learned Sparse Encoder 和 倒数排名融合（RRF），这些功能无需训练或调优即可产生一流的搜索效果。
• 与 OpenAI、Hugging Face 和 LangChain 等项目集成，并将 Elasticsearch 作为您基于 LLM 的应用程序的核心。

Elastic 支持所有由 AI/ML 驱动的现代搜索体验。

• 请收藏或订阅 Elasticsearch Labs on Github
• 阅读我们在 elastic.co/search-labs 上发布的最新文章

应用

• 聊天机器人 RAG 应用
• 内部知识搜索
• 相关性工作台

Python 笔记本 📒

notebooks 文件夹包含一系列可执行的 Python 笔记本，方便您亲自测试这些功能。Colab 提供了一个易于使用的浏览器端 Python 虚拟环境。

生成式 AI

• question-answering.ipynb
• chatbot.ipynb

Playground RAG 笔记本

通过以下笔记本在 Kibana 中试用 Playground：

• OpenAI 示例
• Anthropic Claude 3 示例

LangChain

• question-answering.ipynb
• langchain-self-query-retriever.ipynb
• 使用 Self Query Retriever 的问答
• 结合 BM25 和 Self-querying retriever 的 Elasticsearch 与 LangChain
• langchain-vector-store.ipynb
• langchain-vector-store-using-elser.ipynb
• langchain-using-own-model.ipynb

文档分块

• 使用摄取管道进行文档分块
• 使用 LangChain 分割器进行文档分块
• 计算语义搜索所需的 token 数量（ELSER 和 E5）
• 获取周边分块

搜索

• 00-quick-start.ipynb
• 01-keyword-querying-filtering.ipynb
• 02-hybrid-search.ipynb
• 03-ELSER.ipynb
• 04-multilingual.ipynb
• 05-query-rules.ipynb
• 06-synonyms-api.ipynb
• 07-inference.ipynb
• 08-learning-to-rank.ipynb
• 09-semantic-text.ipynb

语义重排序

• 10-semantic-reranking-retriever-cohere.ipynb
• 11-semantic-reranking-hugging-face.ipynb

集成

• loading-model-from-hugging-face.ipynb
• openai-semantic-search-RAG.ipynb
• amazon-bedrock-langchain-qa-example.ipynb
• 使用 Cohere 服务的推理 API 进行语义搜索

模型升级

• upgrading-index-to-use-elser.ipynb

贡献 🎁

请参阅 贡献指南。

支持 🛟

Elastic 的搜索团队维护着这个仓库，并乐于为您提供帮助。

官方支持服务

如果您拥有 Elastic 订阅，您有权享受针对 Elasticsearch 部署的支持服务。请参阅我们的欢迎页面，了解如何与我们的支持团队合作。这些服务不适用于本仓库中包含的示例应用代码。

讨论论坛

您可以将问题发布到 Elastic 讨论论坛上，并标记 #esre-elasticsearch-relevance-engine。

Elastic Slack

您也可以在 Elastic Community Slack 的 #search-esre-relevance-engine 频道中找到我们。

许可证 ⚖️

本软件根据 Apache License, version 2 ("ALv2") 许可证授权。

Elasticsearch Labs 快速上手指南

本指南帮助中国开发者快速利用 elasticsearch-labs 仓库中的资源，构建基于 AI/ML 的搜索体验、RAG（检索增强生成）应用及向量数据库用例。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)。
• Python 版本：Python 3.8 或更高版本。
• Elasticsearch 集群：
  • 需要一个运行中的 Elasticsearch 实例（建议版本 8.x+ 以支持完整的 AI/ML 功能）。
  • 可以是本地部署、Docker 容器或 Elastic Cloud 托管实例。
• 前置依赖库：
  • pip (Python 包管理工具)
  • jupyter 或 jupyterlab (用于运行 .ipynb Notebook 文件)
  • 常用 AI 库：langchain, openai, huggingface_hub, sentence-transformers 等（Notebook 中通常会按需安装）。

提示：国内开发者若访问 Hugging Face 或 PyPI 较慢，建议配置国内镜像源：

• Pip 镜像：export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
• Hugging Face 镜像：export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/elastic/elasticsearch-labs.git
   cd elasticsearch-labs
   

2. 创建虚拟环境 建议为项目创建独立的 Python 虚拟环境：

   python -m venv venv
   source venv/bin/activate  # Linux/macOS
   # 或
   venv\Scripts\activate     # Windows
   

3. 安装基础依赖 虽然不同的 Notebook 可能需要特定的库，但首先安装运行 Jupyter 和基础 Elastic 客户端所需的包：

   pip install jupyterlab elasticsearch pandas requests
   

   注：具体 Notebook 运行前，请查看该文件顶部的单元格，通常包含该示例专用的 pip install 命令（如 langchain, openai 等），按需执行即可。

4. 启动 Jupyter Lab 进入 notebooks 目录并启动服务：

   cd notebooks
   jupyter lab
   

   浏览器会自动打开界面，你可以导航至对应的分类文件夹（如 generative-ai, search, langchain）选择示例运行。

基本使用

以下以最基础的 混合搜索 (Hybrid Search) 为例，演示如何使用该仓库中的 Notebook 进行快速测试。

1. 选择示例

在 Jupyter Lab 界面中，打开 search 文件夹下的 02-hybrid-search.ipynb。

2. 配置连接信息

在 Notebook 的第一个代码单元格中，填入你的 Elasticsearch 连接信息。如果你使用的是 Elastic Cloud，请填写 Cloud ID 和 API Key；如果是本地部署，请填写 URL 和密码。

from elasticsearch import Elasticsearch

# 替换为你的实际连接信息
ELASTIC_CLOUD_ID = "<your-cloud-id>" 
ELASTIC_API_KEY = "<your-api-key>"

# 或者本地连接
# ELASTIC_HOST = "http://localhost:9200"
# ELASTIC_USER = "elastic"
# ELASTIC_PASSWORD = "<your-password>"

client = Elasticsearch(
    cloud_id=ELASTIC_CLOUD_ID,
    api_key=ELASTIC_API_KEY
    # 本地模式使用 hosts, basic_auth 参数
)

# 验证连接
print(client.info())

3. 运行示例流程

按顺序执行 Notebook 中的单元格，典型流程如下：

1. 数据索引：示例通常会创建一个索引并写入少量测试文档（包含文本字段）。
2. 模型调用：调用内置的 ELSER (Elastic Learned Sparse Encoder) 模型或外部嵌入模型生成向量。

   # 示例：使用 ELSER 进行推理 (需确保集群已部署 ELSER 模型)
   response = client.infer_trained_model(
       model_id=".elser_model_2",
       docs=[{"text_field": "What is the best way to learn Python?"}]
   )
   

3. 执行混合查询：结合关键词搜索 (BM25) 和语义搜索 (Vector/KNN)，并使用 RRF (Reciprocal Rank Fusion) 融合结果。

   response = client.search(
       index="your-index-name",
       query={
           "retriever": {
               "rrf": {
                   "retrievers": [
                       { "standard": { "query": { "match": {"text_field": "learn Python"} } } },
                       { "knn": { "field": "text_embedding", "query_vector": [...], "k": 10 } }
                   ]
               }
           }
       }
   )
   print(response["hits"]["hits"])
   

4. 探索更多场景

完成基础测试后，你可以尝试仓库中的其他核心场景：

• RAG 应用：运行 generative-ai/chatbot.ipynb 构建基于 Elasticsearch 的问答机器人。
• LangChain 集成：在 langchain/ 目录下尝试使用 LangChain 的 SelfQueryRetriever 或向量存储功能。
• 文档分块：参考 document-chunking/ 下的笔记学习如何优化长文本切片策略。

通过以上步骤，你即可利用 elasticsearch-labs 快速验证 Elasticsearch 在 AI 搜索领域的强大能力。