BriefGPT

BriefGPT 是一款功能强大的本地运行工具，利用 OpenAI 的模型实现文档摘要和查询功能。您完全掌控自己的文档和 API 密钥，确保隐私与安全。

更新

现已支持完全本地使用！我们使用 Instructor 对文档进行嵌入，而大语言模型可以是 LlamaCpp 或 GPT4ALL，格式为 ggml。只需将您的模型文件放入 models 文件夹，设置好环境变量（指定模型类型和路径），然后运行 streamlit run local_app.py 即可开始使用。经测试的模型包括：Llama 和 GPT4ALL。

请注意，此功能目前仍处于实验阶段——运行速度会显著变慢，且效果可能有所波动。欢迎提交 Pull Request！

示例（以“AGI 的火花”论文为例，已加速）

设置步骤

1. 克隆仓库
2. 安装所有依赖项

   pip install -r requirements.txt
   

3. 在 test.env 文件中设置您的 API 密钥
4. 进入项目目录并运行

   streamlit run main.py
   

5. 将您的 PDF 或 .txt 文件添加到项目目录下的 documents 文件夹中
6. 如果使用 EPUB 文件，请确保已安装 Pandoc 并将其添加到系统 PATH 中

工作原理

聊天功能

1. 创建并保存嵌入——当您上传文件后，文件会被分割成多个块，并以 FAISS 索引的形式存储在 embeddings 文件夹中。下次再次将该文档加载到聊天界面时，这些嵌入将被直接使用。
2. 检索、排序与处理结果——系统会在索引中执行相似度搜索，获取前 n 个最相关的结果。随后，通过一个函数对这些结果重新排序：该函数会去除原始查询中的停用词，并采用模糊匹配技术计算查询与检索结果之间精确词语的相似度。这种方法比单纯进行相似度搜索的效果更好。
3. 输出——经过重新排序的结果连同用户查询一起输入大语言模型，最终生成回复并显示出来。

文档摘要

1. 输入——支持文档和 YouTube 视频链接两种形式：对于视频，系统会提取其字幕并基于字幕生成摘要；对于文档，则直接处理。
2. 处理与嵌入——在嵌入之前，文档会被清理掉可能导致错误的特殊标记。根据文档的整体大小，嵌入过程会采用不同大小的分块方式。
3. 聚类——完成嵌入后，系统会使用 K-means 算法将文档划分为若干簇。簇的数量可以预先设定为 10 个，也可以通过肘部法则自动确定最优数量。随后，系统会选取每个簇质心最近的嵌入作为代表——每个簇通常对应一个主题或核心思想，所选嵌入旨在最好地概括该主题或思想，至少这是我们的目标。
4. 摘要生成——摘要生成分为两个步骤：首先，将每个选定的嵌入与其对应的文本片段进行匹配；然后，将每个片段单独发送至 GPT-3.5 API 进行处理，这些请求会并行执行。待各片段的摘要收集齐备后，再将它们汇总并提交给 GPT-3.5 或 GPT-4 生成最终摘要。
5. 输出——最终摘要会显示在页面上，并保存为文本文件。

针对本地运行的大语言模型的支持正在进一步完善中。

本项目基于 Langchain 构建！这是一个纯粹出于兴趣开发的项目，可能存在诸多 bug，尚未完全优化。欢迎贡献代码或报告问题！

待办事项：将摘要保存在会话状态中；加载视频时保存字幕以便后续摘要生成。

BriefGPT 快速上手指南

BriefGPT 是一款强大的本地文档摘要与问答工具，支持使用 OpenAI 模型或完全本地运行的大语言模型（如 LlamaCpp、GPT4ALL）。它能确保您的文档数据和 API 密钥完全掌握在自己手中，保障隐私与安全。

环境准备

• 操作系统：Windows / macOS / Linux
• Python 版本：建议 Python 3.8 及以上
• 前置依赖：
  • pip 包管理工具
  • Pandoc（可选）：如果您需要处理 .epub 格式电子书，必须安装 Pandoc 并将其添加到系统环境变量 PATH 中。
  • 本地模型支持（可选）：若需完全离线运行，需准备 .bin 格式的 GGML 模型文件（如 Vicuna 或 GPT4ALL 模型）。

安装步骤

1. 克隆项目仓库

   git clone <repository_url>
   cd BriefGPT
   

   (注：请将 <repository_url> 替换为实际的项目地址，国内用户可使用镜像源加速克隆)

2. 安装依赖库 建议使用国内镜像源（如清华源）以加快下载速度：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置 API 密钥或本地模型

   • 使用 OpenAI 模式：在项目根目录创建或编辑 test.env 文件，填入您的 OpenAI API Key。
   • 使用完全本地模式：
     1. 将下载的 GGML 格式模型文件（如 ggml-vic13b-q5_1.bin）放入项目下的 models 文件夹。
     2. 设置环境变量指定模型类型和路径。

基本使用

1. 启动应用

• OpenAI 模式： 进入项目目录并运行主程序：

  streamlit run main.py
  

• 完全本地模式（实验性）： 运行本地专用脚本：

  streamlit run local_app.py
  

2. 添加文档

将您需要处理的 .pdf 或 .txt 文件放入项目目录下的 documents 文件夹中。如果是 .epub 文件，请确保已按“环境准备”要求安装好 Pandoc。

3. 功能体验

浏览器会自动打开应用界面（若未自动打开，请访问 http://localhost:8501）：

• 文档问答 (Chat)： 加载文档后，系统会自动将其分块并建立 FAISS 索引。您可以在聊天框中输入问题，系统将检索相关片段并经重排序后由 LLM 生成回答。

• 文档/视频摘要 (Summarization)： 选择文档或输入 YouTube 链接，系统将自动提取内容（视频将获取转录稿），通过 K-means 聚类提取核心主题，并生成结构化摘要。结果将在页面显示并保存为文本文件。

提示：首次加载大文档时，生成嵌入向量（Embeddings）可能需要少量时间，后续再次加载同一文档将直接使用缓存的索引，速度更快。