LangChain、Pinecone 和 GPT 与 Next.js —— 全栈入门项目

这是一个使用以下工具和 API 进行开发的基础入门项目：

• Next.js
• LangChainJS
• Pinecone 向量数据库
• GPT-3

当我刚开始接触这些技术时，虽然对其中的各个部分都有所了解，但很难将它们整合成一个完整的项目。希望这个项目能对那些想要基于这套技术栈进行开发、但又缺乏起点的人有所帮助。

我们要构建什么

我们将构建一个应用，它可以接收文本（文本文件），将其嵌入为向量并存储到 Pinecone 中，然后支持对数据进行语义搜索。

对于还不太了解什么是语义搜索的朋友，这里提供一个简要概述（直接摘自 ChatGPT-4）：

语义搜索是一种能够理解用户意图和查询上下文含义的搜索方式，而不仅仅是简单地匹配关键词。

它利用自然语言处理和机器学习技术来解析查询背后的语义或含义，从而返回更准确、更相关的结果。语义搜索可以考虑用户的意图、查询的上下文、同义词识别以及自然语言理解等多方面因素。其应用场景广泛，从网络搜索引擎到个性化推荐系统都有涉及。

运行应用

在这一部分，我将逐步指导您如何部署和运行这个应用。

前置条件

要运行此应用，您需要准备以下内容：

1. 一个 OpenAI API 密钥
2. 一个 Pinecone API 密钥

开始运行

要在本地运行该应用，请按照以下步骤操作：

1. 克隆本仓库

git clone git@github.com:dabit3/semantic-search-nextjs-pinecone-langchain-chatgpt.git

2. 进入项目目录，并使用 NPM 或 Yarn 安装依赖项。

3. 将 .example.env.local 文件复制为 .env.local，并填写您的 API 密钥及其他环境变量。

   请确保您的环境是 Pinecone 提供的实际环境，例如 us-west4-gcp-free。

4. （可选）将您自己的文本或 Markdown 文件放入 /documents 文件夹中。

5. 运行应用：

npm run dev

需要注意的事项

在创建嵌入和索引时，索引可能需要 2 到 4 分钟才能完全初始化。代码中的 utils 文件里设置了一个 180 秒的定时器，用于等待索引创建完成。

如果初始化时间过长，首次尝试创建嵌入时可能会失败。遇到这种情况时，请前往 Pinecone 控制台 监控索引的创建状态，待其完成后再次执行创建嵌入的操作。

执行查询

预配置的应用数据来源于 Lens 协议开发者文档，因此它只能理解关于该文档的问题，除非您用自己的数据替换掉默认数据。以下是您可以使用默认数据提出的一些问题：

1. Lens 与传统社交平台有什么区别？
2. Lens SDK 和 Lens API 有何不同？
3. 如何批量查询 Lens 数据？

本项目的开发参考了这篇 Node.js 教程，并在基础上进行了重构，最终迁移到了 Next.js。您也可以在 Twitter 上关注他们 这里！

获取您的数据

我建议您查看 GPT Repository Loader，它可以帮助您轻松地将任何 GitHub 仓库转换为文本格式，同时保留文件结构和内容，这样就可以方便地分割并使用我的代码库将其存储到 Pinecone 中。

semantic-search-nextjs-pinecone-langchain-chatgpt 快速上手指南

本项目是一个基于 Next.js、LangChainJS、Pinecone 向量数据库和 GPT-3 的全栈语义搜索入门模板。它能将文本文件转化为向量存储，并支持基于语义（而非单纯关键词匹配）的智能搜索。

环境准备

在开始之前，请确保你已具备以下条件和账号：

1. Node.js 环境：建议安装最新 LTS 版本。
2. OpenAI API Key：用于调用 GPT 模型生成嵌入和回答问题。
   • 获取地址：OpenAI Platform
3. Pinecone API Key：用于向量数据库的存储与检索。
   • 获取地址：Pinecone Console
   • 注意：创建索引时，请务必记下你的具体环境名称（例如 us-west4-gcp-free），后续配置需要用到。

安装步骤

1. 克隆项目

使用 Git 将代码仓库克隆到本地：

git clone git@github.com:dabit3/semantic-search-nextjs-pinecone-langchain-chatgpt.git

2. 安装依赖

进入项目目录，并使用 npm 或 yarn 安装依赖（国内开发者如遇网络问题，可配置淘宝镜像源 npm config set registry https://registry.npmmirror.com）：

cd semantic-search-nextjs-pinecone-langchain-chatgpt
npm install
# 或者
yarn install

3. 配置环境变量

复制示例配置文件并重命名为 .env.local：

cp .example.env.local .env.local

编辑 .env.local 文件，填入你的 API 密钥和环境信息：

OPENAI_API_KEY=你的_OpenAI_API_Key
PINECONE_API_KEY=你的_Pinecone_API_Key
PINECONE_ENVIRONMENT=你的_Pinecone_环境 (例如：us-west4-gcp-free)
PINECONE_INDEX_NAME=你的索引名称

4. (可选) 自定义数据

默认数据来源于 Lens 协议的开发文档。若需测试自己的数据，可将自定义的文本文件或 Markdown 文件放入 /documents 文件夹中。

基本使用

启动应用

在终端运行以下命令启动开发服务器：

npm run dev

重要提示：首次运行时，系统需要创建向量索引和嵌入，这可能需要 2-4 分钟。代码中设置了 180 秒的等待时间。如果初始化耗时更长导致首次失败，请登录 Pinecone 控制台 确认索引状态变为 "Ready" 后，刷新页面或重新运行嵌入函数即可。

执行语义搜索

应用启动后，默认加载了关于 Lens Protocol 的文档数据。你可以在界面中输入以下类型的自然语言问题进行测试：

• "What is the difference between Lens and traditional social platforms"
• "What is the difference between the Lens SDK and the Lens API"
• "How to query Lens data in bulk?"

系统将理解你的意图并返回相关的上下文答案，而不仅仅是匹配关键词。

扩展数据源

若要处理 GitHub 仓库代码或其他复杂数据，推荐使用 GPT Repository Loader 将仓库转换为文本格式，保留文件结构，然后存入 /documents 目录供本工具索引。