该仓库于2023年3月22日登上Hacker News首页，讨论链接：点此查看。

将你的网站内容转化为聊天机器人/问答代理

将你的网站内容转化为一个能够引用你文档来源的问答机器人。

或者，以交互式聊天机器人的形式使用它。

这一切都可以通过名为 langchain 的工具来实现，而 langchain 又依赖于 OpenAI API。

这个简单的仓库展示了如何将其应用到你自己的网站内容上。

为此，有三个脚本：

• create_embeddings.py：这是主脚本，它会遍历你网站的 sitemap.xml 文件，为你的内容创建嵌入向量（表示数据语义的向量）。
• ask_question.py：在你生成了嵌入向量（即 faiss_store.pkl 文件）之后，你可以使用这个脚本直接提问。它会回答问题，并返回作为答案来源的你网站上的 URL 链接。
• start_chat_app.py：启动一个简单的聊天界面，你可以在其中提问并针对回答进行追问。如果机器人不确定答案，它会明确指出这一点。请注意，你可以在这个脚本中调整查询参数，使其更贴合你的内容。在我的例子中，我将其设置为专注于机器学习和技术主题。

要安装依赖项，只需运行 pip install -r requirements.txt。

创建你的嵌入向量

这是最重要的步骤，你需要获取 OpenAI 的 API 密钥才能使用它。

一旦你有了 $api_key，就可以在终端中运行 export OPENAI_API_KEY='$api_key'。

然后只需运行 python create_embeddings.py --sitemap https://path/to/your/sitemap.xml --filter https://path/to/your/blog/posts。

这将会把你的嵌入向量保存到名为 faiss_store.pkl 的文件中。你需要将你网站的 sitemap.xml 文件路径传递给脚本，并且可以通过 --filter 参数指定需要处理的 URL 前缀。如果你想包含你网站的所有页面，可以简单地设置为 --filter https://。

更多详细信息，请参阅 这篇博客文章。

回答问题并获取答案来源文档

嵌入向量准备好后，你可以这样提问：python ask_question.py "如何检测图像中的物体？"

答案：

图像中的目标检测可以使用 R-CNN、Fast R-CNN 等算法，以及平移、旋转、弹性变形和灰度值变化等数据增强技术来实现。

来源：

https://www.paepper.com/blog/posts/deep-learning-on-medical-images-with-u-net/
https://www.paepper.com/blog/posts/end-to-end-object-detection-with-transformers/

在你的内容上启动聊天机器人

嵌入向量准备好后，运行 python start_chat_app.py 即可启动聊天机器人。程序运行后，你就可以提出问题并进行追问了。

Zendesk 内容嵌入

该仓库对 LangChain 聊天机器人项目进行了扩展，新增了用于 Zendesk 的 create_embeddings 功能。此功能利用 Zendesk API 获取网站内容，并构建 Faiss 知识库，从而提升聊天机器人的响应质量。

工作原理

create_embeddings 脚本执行以下步骤：

1. Zendesk API 集成： 使用 Zendesk API 获取文章内容。
2. 文本清洗： 解析 HTML 内容，提取并清理文本以便进行嵌入处理。
3. 文本分割： 将内容拆分为较小的块，以便高效地进行嵌入计算。
4. 创建嵌入向量： 利用 OpenAI Embeddings 为文本块生成嵌入向量。
5. 构建 Faiss 知识库： 使用生成的嵌入向量构建 Faiss 存储，便于进行高效的相似性搜索。

使用方法

• Zendesk API 凭证： 若要从 Zendesk 内容中创建 Faiss 知识库，请先获取并配置你的 Zendesk API 凭证。

运行脚本

执行脚本： 运行 create_embeddings.py 脚本以生成 Faiss 知识库。

示例：

 python create_embeddings.py -m zendesk -z "https://your.zendesk.api/"   #请替换链接

content-chatbot 快速上手指南

将您的网站内容或 Zendesk 知识库转化为具备引用来源能力的智能问答机器人（Chatbot/Q&A Agent）。本项目基于 LangChain 和 OpenAI API，支持从 Sitemap 或 Zendesk 提取内容并构建向量索引。

环境准备

• 系统要求：Python 3.8+
• 前置依赖：
  • 有效的 OpenAI API Key（用于生成文本嵌入和调用大模型）。
  • （可选）若需集成 Zendesk，需准备 Zendesk API 凭证及子域名链接。
• 网络提示：由于依赖 OpenAI 服务，请确保您的开发环境能够正常访问外部 API。

安装步骤

1. 克隆项目代码到本地。

2. 进入项目目录，安装 Python 依赖包：

   pip install -r requirements.txt
   

   提示：国内用户如遇下载缓慢，可指定清华镜像源安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置 OpenAI API Key：

   • Linux/Mac:

     export OPENAI_API_KEY='sk-...'
     

   • Windows (PowerShell):

     $env:OPENAI_API_KEY="sk-..."
     

基本使用

本工具的核心流程分为两步：创建嵌入（索引） -> 提问/对话。

第一步：创建内容嵌入 (Create Embeddings)

根据您的数据来源选择以下任一方式运行脚本，这将生成 faiss_store.pkl 索引文件。

场景 A：基于网站 Sitemap

遍历网站 sitemap.xml 抓取内容并建立索引。

python create_embeddings.py --sitemap https://path/to/your/sitemap.xml --filter https://path/to/your/blog/posts

• --sitemap: 您的网站 sitemap 地址。
• --filter: URL 过滤前缀。若想包含全站，可设置为 --filter https://。

场景 B：基于 Zendesk 知识库

利用 Zendesk API 抓取帮助文档并建立索引。

python create_embeddings.py -m zendesk -z "https://your.zendesk.api/"

• -m zendesk: 指定模式为 Zendesk。
• -z: 您的 Zendesk API 基础链接。

第二步：开始问答或对话

索引构建完成后，您可以选择单次提问或启动交互式聊天。

方式 1：单次提问（带来源引用）

直接询问一个问题，系统将返回答案及参考的原始 URL。

python ask_question.py "How to detect objects in images?"

输出示例：

Answer: Object detection in images can be done using algorithms such as R-CNN... Sources: https://www.paepper.com/blog/posts/deep-learning-on-medical-images-with-u-net/

方式 2：启动交互式聊天机器人

启动一个简单的命令行聊天界面，支持多轮对话和追问。

python start_chat_app.py

• 启动后直接在终端输入问题即可。
• 若机器人不确定答案，会明确提示。
• 进阶：您可编辑 start_chat_app.py 中的 query 提示词，使其更贴合您的特定领域（如机器学习、技术支持等）。