ChatWeb

英文文档 中文文档

ChatWeb 可以抓取任意网页内容，或从 PDF、DOCX、TXT 文件中提取文本，并生成嵌入式摘要。它还能根据文本内容回答你的问题。该工具基于 gpt3.5 的 chatAPI 和 embeddingAPI 实现，并结合向量数据库来完成这些功能。

基本原理

其基本原理与现有的 chatPDF 和自动客服 AI 等项目类似：

1. 抓取网页内容
2. 提取文本内容
3. 使用 GPT3.5 的 embedding API 为每一段落生成向量
4. 计算每段落向量与全文向量之间的相似度得分，从而生成摘要
5. 将向量与文本的映射存储到向量数据库中
6. 从用户输入中生成关键词
7. 根据关键词生成向量
8. 利用向量数据库进行最近邻搜索，返回最相似的一组文本
9. 使用 GPT3.5 的 chat API 设计提示词，结合列表中最相似的文本回答用户的问题。

核心思想是从大量文本中提取相关内容，再基于这些内容回答问题，从而达到突破 token 限制的效果。此外，我们还改进了算法，不再直接使用用户的完整问题生成向量，而是基于关键词生成向量，这进一步提高了相关文本检索的准确性。

快速开始

手动安装：

• 安装 Python3
• 克隆本仓库：git clone https://github.com/SkywalkerDarren/chatWeb.git
• 进入目录：cd chatWeb
• 复制 config.example.json 为 config.json
• 编辑 config.json，将 open_ai_key 替换为你自己的 OpenAI API 密钥
• 安装依赖：pip3 install -r requirements.txt
• 启动应用：python3 main.py

使用 Docker：

你也可以通过 Docker 来运行该项目：

• 构建容器：docker-compose build（仅在你不打算为本项目贡献代码时需要执行一次）
• 将 config.example.json 复制为 config.json，并配置所需参数。示例配置已适用于 Docker 运行，无需修改；如果你的环境变量中没有 OPEN_AI_KEY，也可以在此处设置，或者稍后再设置。
• 启动容器：docker-compose up
• 在浏览器中打开应用：http://localhost:7860

设置语言

• 编辑 config.json，将 language 设置为 English 或其他语言。

模式选择

• 编辑 config.json，将 mode 设置为 console、api 或 webui，以选择启动模式。
• 在 console 模式下，输入 /help 查看可用命令。
• 在 api 模式下，可以对外提供 API 服务。可在 config.json 中设置 api_port 和 api_host。
• 在 webui 模式下，可提供 Web 用户界面服务。可在 config.json 中设置 webui_port，默认为 http://127.0.0.1:7860。

流式模式

• 编辑 config.json，将 use_stream 设置为 true。

调整温度

• 编辑 config.json，将 temperature 设置为 0 到 1 之间的值。
• 值越小，回复越保守稳定；值越大，回复可能更具创造性，但也更容易出现“幻觉”现象。

OpenAI 代理设置

• 编辑 config.json，添加 open_ai_proxy 配置代理地址，例如：

"open_ai_proxy": {
  "http": "socks5://127.0.0.1:1081",
  "https": "socks5://127.0.0.1:1081"
}

安装 PostgreSQL（可选）

• 编辑 config.json，将 use_postgres 设置为 true。
• 安装 PostgreSQL。
  • 默认的 SQL 地址为 postgresql://localhost:5432/mydb，也可在 config.json 中自定义。
• 安装 pgvector 插件。

编译并安装扩展（支持 Postgres 11 及以上版本）：

git clone --branch v0.4.0 https://github.com/pgvector/pgvector.git
cd pgvector
make
make install # 可能需要 sudo 权限

然后在你要使用的数据库中加载插件：

CREATE EXTENSION vector;

• 使用 pip 安装依赖：pip3 install psycopg2

示例

请输入文章链接或 PDF/TXT/DOCX 文件路径：https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html
请等待 10 秒钟，直到网页加载完成。
文章已成功获取，共分割成 663 段文本。
...
=====================================
查询片段使用了 7219 个 token，费用为 $0.0028876。
查询片段使用了 7250 个 token，费用为 $0.0029000000000000002。
查询片段使用了 7188 个 token，费用为 $0.0028752。
查询片段使用了 7177 个 token，费用为 $0.0028708。
查询片段使用了 2378 个 token，费用为 $0.0009512000000000001。
已完成 663 个文本片段的嵌入，总共使用了 31212 个 token，费用为 $0.0124848。
嵌入已保存完毕。
=====================================
请输入您的问题（输入 /help 查看命令）：

待办事项

• 支持 PDF/TXT/DOCX 文件
• 支持无数据库的内存存储（Faiss）
• 支持流式处理
• 支持 API
• 支持代理
• 添加 Colab 支持
• 添加多语言支持
• 支持温度调节
• 支持 Web UI
• 其他尚未想到的功能

星标历史

ChatWeb 快速上手指南

ChatWeb 是一款基于 GPT-3.5 的开源工具，支持爬取网页或提取 PDF/DOCX/TXT 文件内容，生成向量摘要并基于上下文回答用户问题。

环境准备

• 操作系统：Linux / macOS / Windows
• 运行环境：Python 3.x
• 前置依赖：
  • OpenAI API Key
  • Git
  • (可选) Docker & Docker Compose
  • (可选) PostgreSQL + pgvector 插件（用于持久化存储）

安装步骤

方式一：手动安装（推荐）

1. 克隆项目

   git clone https://github.com/SkywalkerDarren/chatWeb.git
   cd chatWeb
   

2. 配置密钥 复制示例配置文件并填入你的 OpenAI API Key：

   cp config.example.json config.json
   

   编辑 config.json，将 open_ai_key 修改为你的实际密钥。如需使用代理，可在此文件中配置 open_ai_proxy。

3. 安装依赖

   pip3 install -r requirements.txt
   

   提示：国内用户若下载缓慢，可使用清华源加速： pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 启动应用

   python3 main.py
   

方式二：Docker 部署

1. 构建并运行

   docker-compose build
   docker-compose up
   

   注：首次运行前请确保已复制 config.example.json 为 config.json 并配置好 Key（或在环境变量中设置 OPEN_AI_KEY）。

2. 访问界面 浏览器打开 http://localhost:7860

基本使用

启动成功后，根据 config.json 中的 mode 设置（默认为 webui 或 console），按以下方式操作：

1. 输入数据源

在控制台或 Web 界面提示处，输入目标网址或本地文件路径：

Please enter the link to the article or the file path of the PDF/TXT/DOCX document: https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html

系统将自动爬取内容、分段并向量化（耗时约 10 秒至数分钟，视文本长度而定）。

2. 发起提问

数据处理完成后，直接输入问题进行对话：

Please enter your query (/help to view commands): 老人最后钓到大鱼了吗？

3. 模式切换说明

如需更改运行模式，请编辑 config.json 中的 mode 字段：

• console: 命令行交互模式（输入 /help 查看指令）。
• webui: 网页图形界面模式（默认端口 7860）。
• api: 开启 API 服务供外部调用。

高级配置提示

• 流式输出：设置 "use_stream": true 可实现打字机效果。
• 温度控制：调整 "temperature" (0-1)，数值越低回答越严谨，越高越具创造性。
• 语言设置：修改 "language" 字段可改变系统交互语言。