受Perplexity启发的大型语言模型问答引擎

本仓库包含构建一个复杂问答引擎所需的代码和说明，该引擎充分利用了Groq、Mistral AI的Mixtral、Langchain.JS、Brave Search、Serper API以及OpenAI的功能。此项目旨在根据用户查询高效地返回来源、答案、图片、视频及后续问题，是对于自然语言处理和搜索技术感兴趣的开发者们的理想起点。

YouTube教程

使用的技术

• Next.js: 用于构建服务端渲染和静态网站的React框架。
• Tailwind CSS: 一种实用优先的CSS框架，用于快速构建自定义用户界面。
• Vercel AI SDK: Vercel AI SDK是一个用于构建支持AI的流式文本和聊天UI的库。
• Groq与Mixtral: 用于处理和理解用户查询的技术。
• Langchain.JS: 一个专注于文本操作（如文本分割和嵌入）的JavaScript库。
• Brave Search: 一款注重隐私的搜索引擎，用于获取相关内容和图片。
• Serper API: 根据用户的查询获取相关的视频和图片结果。
• OpenAI Embeddings: 用于创建文本片段的向量表示。
• Cheerio: 用于HTML解析，从而从网页中提取内容。
• Ollama（可选）: 用于流式推理和嵌入。
• Upstash Redis限流（可选）: 用于为应用程序设置限流。
• Upstash语义缓存（可选）: 用于缓存数据以加快响应速度。

开始使用

前提条件

• 从OpenAI、Groq、Brave Search和Serper获取API密钥。

非Docker安装的前提条件

• 确保您的机器上已安装Node.js和npm。

Docker安装的前提条件

• 确保您的机器上已安装Docker和docker compose。

获取API密钥

• OpenAI API密钥: 在此处生成您的OpenAI API密钥。
• Groq API密钥: 在此处获取您的Groq API密钥。
• Brave Search API密钥: 在此处获取您的Brave Search API密钥。
• Serper API密钥: 在此处获取您的Serper API密钥。

快速克隆并部署

简单、容易、快速且免费——部署到Vercel

请务必填写安装所需的所有API密钥。

安装

1. 克隆仓库：

   git clone https://github.com/developersdigest/llm-answer-engine.git
   

2. 进入目录

   cd llm-answer-engine
   

Docker安装

3. 编辑docker-compose.yml文件并添加您的API密钥

4. 启动服务器

要启动服务器，请执行：

docker compose up -d #for v2

或

docker-compose up -d #for v1

服务器将在指定端口上监听。

非Docker安装

3. 安装所需的依赖项：

   npm install
   

   或

   bun install
   

4. 在项目的根目录下创建.env文件，并添加您的API密钥：

   OPENAI_API_KEY=your_openai_api_key
   GROQ_API_KEY=your_groq_api_key
   BRAVE_SEARCH_API_KEY=your_brave_search_api_key
   SERPER_API=your_serper_api_key
   

5. 启动服务器

要启动服务器，请执行：

npm run dev

或

bun run dev

服务器将在指定端口上监听。

编辑配置

配置文件位于app/config.tsx文件中。您可以修改以下值：

• useOllamaInference: false,
• useOllamaEmbeddings: false,
• inferenceModel: 'mixtral-8x7b-32768',
• inferenceAPIKey: process.env.GROQ_API_KEY,
• embeddingsModel: 'text-embedding-3-small',
• textChunkSize: 800,
• textChunkOverlap: 200,
• numberOfSimilarityResults: 2,
• numberOfPagesToScan: 10,
• nonOllamaBaseURL: 'https://api.groq.com/openai/v1'
• useFunctionCalling: true
• useRateLimiting: false
• useSemanticCache: false
• usePortkey: false

函数调用支持（测试版）

目前，函数调用支持以下功能：

• 地图与位置（Serper Locations API）
• 购物（Serper Shopping API）
• TradingView 股票数据（免费小工具）
• Spotify（免费 API）
• 如果您希望在此处添加任何其他功能，请提交问题或拉取请求。
• 若要启用函数调用和条件流式 UI（当前处于测试阶段），请确保在配置文件中将 useFunctionCalling 设置为 true。

Ollama 支持（部分支持）

目前，Ollama 支持文本流式响应，但暂不支持后续问题。

嵌入功能已支持，不过在同时使用本地嵌入模型和用于流式推理的本地模型时，首个标记的生成时间可能会较长。建议减少 app/config.tsx 文件中指定的 RAG 相关参数值，以缩短使用 Ollama 时的首个标记生成时间。

要开始使用，请确保您的本地机器上已运行 Ollama 模型，并在配置中设置您希望使用的模型，同时将 useOllamaInference 和/或 useOllamaEmbeddings 设置为 true。

注意：当 'useOllamaInference' 设置为 true 时，该模型将用于文本生成，但在使用 Ollama 时会跳过后续问题的推理步骤。

更多信息：https://ollama.com/blog/openai-compatibility

路线图

• [] 添加文档上传 + RAG 功能，用于文档搜索和检索
• [] 添加设置组件，允许用户从 UI 中选择模型、嵌入模型及其他参数
• [] 在使用 Ollama 时增加对后续问题的支持
• [已完成] 添加扩散模型支持（首先支持 Fal.AI SD3），可通过 '@ 提及' 访问
• [已完成] 添加 AI 网关，以支持多种模型和嵌入服务。（OpenAI、Azure OpenAI、Anyscale、Google Gemini & Palm、Anthropic、Cohere、Together AI、Perplexity、Mistral、Nomic、AI21、Stability AI、DeepInfra、Ollama 等）

https://github.com/Portkey-AI/gateway

• [已完成] 添加语义缓存支持，以提升响应速度
• [已完成] 添加基于用户查询的动态和条件渲染 UI 组件支持

• [已完成] 根据用户的系统偏好添加暗模式支持

后端 + Node 仅 Express API

在此观看 Express 教程，获取有关设置和运行该项目的详细指南。 除了 Next.js 版本的项目外，还有一个仅后端的版本，使用 Node.js 和 Express 构建，位于 'express-api' 目录中。这是一个独立的项目版本，可作为构建类似 API 的参考。'express-api' 目录中还包含一个自述文件，说明如何运行后端版本。

Upstash Redis 速率限制

在此观看 Upstash Redis 速率限制教程，获取有关设置和运行该项目的详细指南。 Upstash Redis 速率限制是一项免费层级的服务，允许您为应用程序设置速率限制。它提供了一个简单易用的界面来配置和管理速率限制。借助 Upstash，您可以轻松地为每个用户、IP 地址或其他标准设置请求数量限制。这有助于防止滥用，并确保您的应用程序不会因过多请求而过载。

贡献

欢迎为该项目做出贡献。您可以随意 fork 仓库，进行修改并提交拉取请求。您也可以通过提交问题来提出改进建议或报告 bug。

许可证

本项目采用 MIT 许可证授权。

我是 Developers Digest 背后的开发者。如果您觉得我的工作有帮助，或者喜欢我的创作，请考虑支持我。以下是几种方式：

• Patreon：在 Patreon 上支持我：patreon.com/DevelopersDigest
• Buy Me A Coffee：您可以在 buymeacoffee.com/developersdigest 给我买杯咖啡
• 网站：访问我的网站：developersdigest.tech
• GitHub：在 GitHub 上关注我：github.com/developersdigest
• Twitter：在 Twitter 上关注我：twitter.com/dev__digest

llm-answer-engine 快速上手指南

本项目是一个受 Perplexity 启发的大语言模型（LLM）答案引擎，能够基于用户查询高效返回来源、答案、图片、视频及后续问题。它整合了 Groq、Mixtral、Langchain.JS、Brave Search 和 Serper API 等技术。

环境准备

系统要求

• 操作系统：Windows, macOS, 或 Linux
• 运行时：Node.js (推荐 v18+) 和 npm，或者 Bun
• 容器化（可选）：Docker 和 Docker Compose

前置依赖：获取 API Keys

在开始之前，你需要从以下平台获取 API 密钥：

• OpenAI: 获取密钥
• Groq: 获取密钥
• Brave Search: 获取密钥
• Serper: 获取密钥

注意：如果你仅使用 Groq 而不使用 OpenAI，在配置环境变量时可在 OPENAI_API_KEY 处填入任意随机字符串以避免构建报错。

安装步骤

你可以选择 一键部署到 Vercel 或 本地安装。

方式一：一键部署到 Vercel（推荐）

点击下方按钮即可快速克隆并部署，记得在部署过程中填写所有必需的 API Keys。

方式二：本地安装 (非 Docker)

1. 克隆仓库

   git clone https://github.com/developersdigest/llm-answer-engine.git
   cd llm-answer-engine
   

2. 安装依赖 使用 npm 或 bun：

   npm install
   # 或者
   bun install
   

3. 配置环境变量 在项目根目录创建 .env 文件，并填入你的 API Keys：

   OPENAI_API_KEY=your_openai_api_key
   GROQ_API_KEY=your_groq_api_key
   BRAVE_SEARCH_API_KEY=your_brave_search_api_key
   SERPER_API=your_serper_api_key
   

4. 启动服务

   npm run dev
   # 或者
   bun run dev
   

方式三：本地安装 (Docker)

1. 克隆仓库

   git clone https://github.com/developersdigest/llm-answer-engine.git
   cd llm-answer-engine
   

2. 配置 Docker 编辑 docker-compose.yml 文件，将你的 API Keys 填入对应位置。

3. 启动容器

   docker compose up -d
   # 如果是 Docker Compose v1，使用: docker-compose up -d
   

基本使用

启动成功后，服务器将在默认端口运行（通常为 http://localhost:3000）。

1. 访问界面：在浏览器中打开 http://localhost:3000。
2. 输入查询：在搜索框中输入自然语言问题（例如："最新的 AI 发展趋势是什么？"）。
3. 查看结果：系统将流式返回：
   • 答案：由 LLM 生成的详细回答。
   • 来源：引用网页链接。
   • 多媒体：相关的图片和视频结果。
   • 后续问题：推荐的追问方向。

高级配置（可选）

如需修改模型参数或启用本地 Ollama 支持，请编辑 app/config.tsx 文件：

• useOllamaInference: 设置为 true 以使用本地 Ollama 进行推理。
• inferenceModel: 指定使用的模型（默认 mixtral-8x7b-32768）。
• useFunctionCalling: 设置为 true 以启用地图、购物、股票等函数调用功能。

修改配置后需重启开发服务器生效。