localGPT-Vision

观看 YouTube 视频

localGPT-Vision 是一个端到端的基于视觉的检索增强生成（RAG）系统。它允许用户上传并索引文档（PDF 和图片），针对内容提问，并获得包含相关文档片段的回答。检索过程使用 Colqwen 或 ColPali 模型完成，检索到的页面会传递给视觉语言模型（VLM）以生成响应。目前，该代码支持以下 VLM：

• Qwen2-VL-7B-Instruct
• LLAMA-3.2-11B-Vision
• Pixtral-12B-2409
• Molmo-7B-O-0924
• Google Gemini
• OpenAI GPT-4o
• LLAMA-3.2 与 Ollama

该项目构建于 Byaldi 库之上。

目录

• 功能
• 架构
• 先决条件
• 安装
• 使用
• 项目结构
• 系统工作流程
• 贡献

功能

• 端到端基于视觉的 RAG：结合视觉文档检索与语言模型，提供全面的答案。
• 文档上传与索引：上传 PDF 和图片，随后使用 ColPali 进行索引以便检索。
• 聊天界面：通过对话式界面询问上传文档的相关问题。
• 会话管理：创建、重命名、切换和删除聊天会话。
• 模型选择：可在不同视觉语言模型之间选择（Qwen2-VL-7B-Instruct、Google Gemini、OpenAI GPT-4 等）。
• 持久化索引：索引保存在磁盘上，应用重启时可加载。

架构

localGPT-Vision 构建为一个端到端的基于视觉的 RAG 系统。其架构主要包括两个主要组件：

1. 基于 Colqwen 和 ColPali 的视觉文档检索：

   • Colqwen 和 ColPali 是视觉编码器，专为仅利用文档页面的图像表示进行高效文档检索而设计。
   • 它直接对页面图像进行嵌入，利用布局、字体、图表和表格等视觉线索，无需依赖 OCR 或文本提取。
   • 在索引过程中，文档页面会被转换为图像嵌入并存储起来。
   • 查询时，用户查询会与这些嵌入进行匹配，以检索最相关的文档页面。

   

2. 使用视觉语言模型生成响应：

   • 检索到的文档图像会被传递到视觉语言模型（VLM）中。
   • 支持的模型包括 Qwen2-VL-7B-Instruct、LLAMA3.2、Pixtral、Molmo、Google Gemini 和 OpenAI GPT-4。
   • 这些模型通过理解文档的视觉和文本内容来生成回答。
   • 注意：回答的质量高度依赖于所使用的 VLM 以及文档图像的分辨率。

这种架构消除了对复杂文本提取管道的需求，并通过考虑文档的视觉元素提供了更全面的理解。您无需像传统 RAG 系统那样采用分块策略、选择嵌入模型或检索策略。

先决条件

• 您的系统上已安装 Anaconda 或 Miniconda
• Python 3.10 或更高版本
• Git（可选，用于克隆仓库）

安装

请按照以下步骤在您的本地机器上设置并运行应用程序。

1. 克隆仓库

   git clone https://github.com/PromtEngineer/localGPT-Vision.git
   cd localGPT-Vision
   

2. 创建 Conda 环境

   conda create -n localgpt-vision python=3.10
   conda activate localgpt-vision
   

3a. 安装依赖项

pip install -r requirements.txt

3b. 安装 HuggingFace 开发版 Transformers

 pip uninstall transformers
 pip install git+https://github.com/huggingface/transformers

4. 设置环境变量 设置您的 Google Gemini 和 OpenAI GPT-4 的 API 密钥：

   export GENAI_API_KEY='your_genai_api_key'
   export OPENAI_API_KEY='your_openai_api_key'
   export GROQ_API_KEY='your_groq_api_key'
   

   在 Windows 命令提示符中：

   set GENAI_API_KEY=your_genai_api_key
   set OPENAI_API_KEY=your_openai_api_key
   set GROQ_API_KEY='your_groq_api_key'
   

5. 运行应用程序

   python app.py
   

6. 访问应用程序 打开您的浏览器并导航至：

   http://localhost:5050/
   

调试

为了帮助调试 localGPT-Vision，需要在您的系统上安装一些额外的依赖项。请按照以下说明设置您的调试环境。

必需的软件包

使用以下命令安装必要的软件包：

在基于 Ubuntu/Debian 的系统上

1. 更新软件包列表

   sudo apt update
   

2. 安装 Poppler 库和工具

   这些库对于处理 PDF 文件至关重要。

   sudo apt install libpoppler-cpp-dev poppler-utils
   

3. 验证 pdftoppm 是否已安装

   检查版本以确保正确安装：

   pdftoppm -v
   

4. 安装额外的依赖项

   这些软件包是构建和管理库所必需的。

   sudo apt install cmake pkgconfig python3-poppler-qt5
   

   注意

   请确保您在机器上拥有运行 sudo 命令的适当权限。此设置专门针对基于 Ubuntu/Debian 的系统，如果您使用的是其他 Linux 发行版或 macOS，步骤可能会略有不同。

   ---

   如有需要，您可以根据其他操作系统的特定要求或说明修改本节内容。

使用方法

上传并索引文档

1. 点击“新建聊天”开始新的会话。
2. 在“上传并索引文档”部分，点击“选择文件”，然后选择您的 PDF 或图像文件。
3. 点击“上传并索引”。文档将使用 ColPali 进行索引，并准备好用于查询。

提问

1. 在“在此输入您的问题”文本框中，键入与已上传文档相关的问题。
2. 点击“发送”。系统将检索相关的文档页面，并使用选定的视觉语言模型生成回复。

管理会话

• 重命名会话：点击“编辑名称”，输入新名称，然后点击“保存名称”。
• 切换会话：单击侧边栏中的会话名称以切换到该会话。
• 删除会话：单击会话旁边的“删除”按钮以永久删除该会话。

设置

1. 单击导航栏中的“设置”。
2. 选择所需的语言模型和图像尺寸。
3. 点击“保存设置”。

项目结构

localGPT-Vision/
├── app.py
├── logger.py
├── models/
│   ├── indexer.py
│   ├── retriever.py
│   ├── responder.py
│   ├── model_loader.py
│   └── converters.py
├── sessions/
├── templates/
│   ├── base.html
│   ├── chat.html
│   ├── settings.html
│   └── index.html
├── static/
│   ├── css/
│   │   └── style.css
│   ├── js/
│   │   └── script.js
│   └── images/
├── uploaded_documents/
├── byaldi_indices/
├── requirements.txt
├── .gitignore
└── README.md

• app.py: 主 Flask 应用程序。
• logger.py: 配置应用程序日志记录。
• models/: 包含用于索引、检索和响应的模块。
• templates/: 用于渲染视图的 HTML 模板。
• static/: 静态文件，如 CSS 和 JavaScript。
• sessions/: 存储会话数据。
• uploaded_documents/: 存储上传的文档。
• .byaldi/: 存储 Byaldi 创建的索引。
• requirements.txt: Python 依赖项。
• .gitignore: Git 忽略的文件和目录。
• README.md: 项目文档。

系统工作流程

1. 用户交互：用户通过网页界面上传文档并提问。
2. 使用 ColPali 对文档进行索引：
   • 如果必要，上传的文档会被转换为 PDF。
   • 文档使用 ColPali 进行索引，该工具会根据文档页面的视觉内容创建嵌入向量。
   • 索引存储在 byaldi_indices/ 目录中。
3. 会话管理：
   • 每个聊天会话都有一个唯一的 ID，并存储自己的索引和聊天历史。
   • 会话数据会保存到磁盘，并在应用重启时加载。
4. 查询处理：
   • 用户的查询会被发送到后端。
   • 查询被嵌入并与文档页面的视觉嵌入向量进行匹配，以检索相关页面。
5. 使用视觉语言模型生成回复：
   • 检索到的文档图像和用户的查询会被传递给选定的视觉语言模型（Qwen、Gemini 或 GPT-4）。
   • 视觉语言模型通过理解文档的视觉和文本内容生成回复。
6. 显示结果：
   • 回复和相关的文档片段会在聊天界面中显示。

graph TD
    A[用户] -->|上传文档| B(Flask 应用)
    B -->|保存文件| C[uploaded_documents/]
    B -->|使用 ColPali 转换并索引| D[索引模块]
    D -->|创建视觉嵌入| E[byaldi_indices/]
    A -->|提问| B
    B -->|嵌入查询并检索页面| F[检索模块]
    F -->|检索相关页面| E
    F -->|将页面传递给| G[视觉语言模型]
    G -->|生成回复| B
    B -->|显示回复| A
    B -->|保存会话数据| H[sessions/]
    subgraph 后端
        B
        D
        F
        G
    end
    subgraph 存储
        C
        E
        H
    end

贡献

欢迎贡献！请按照以下步骤操作：

1. 分叉仓库。
2. 为您的功能创建一个新分支：git checkout -b feature-name。
3. 提交更改：git commit -am '添加新功能'。
4. 推送到分支：git push origin feature-name。
5. 提交拉取请求。

星标历史

localGPT-Vision 快速上手指南

localGPT-Vision 是一个端到端的基于视觉的检索增强生成（RAG）系统。它允许用户上传 PDF 或图片文档，利用 ColPali/Colqwen 模型进行视觉索引，并通过多模态大模型（如 Qwen2-VL、Llama 3.2、GPT-4o 等）直接基于文档图像内容回答问题，无需传统的 OCR 或文本提取步骤。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu/Debian), macOS, 或 Windows。
  • 注意：若在 Linux 上运行，需安装 PDF 处理依赖（见下方调试部分）。
• Python 版本：3.10 或更高。
• 包管理器：已安装 Anaconda 或 Miniconda。
• API Keys（可选）：如果您计划使用云端模型（Google Gemini, OpenAI GPT-4, Groq），需提前准备好对应的 API Key。本地模型（如 Qwen2-VL, Llama 3.2）无需 API Key，但需要足够的显存。

Linux 用户额外依赖

如果您使用的是 Ubuntu/Debian 系统，必须先安装 poppler 库以支持 PDF 处理：

sudo apt update
sudo apt install libpoppler-cpp-dev poppler-utils cmake pkgconfig python3-poppler-qt5
# 验证安装
pdftoppm -v

安装步骤

1. 克隆项目

git clone https://github.com/PromtEngineer/localGPT-Vision.git
cd localGPT-Vision

2. 创建并激活 Conda 环境

conda create -n localgpt-vision python=3.10
conda activate localgpt-vision

3. 安装依赖

首先安装基础依赖：

pip install -r requirements.txt

重要：该项目需要 Hugging Face transformers 的开发版本以支持最新的视觉模型。请执行以下命令覆盖安装：

pip uninstall transformers -y
pip install git+https://github.com/huggingface/transformers

国内加速提示：如果下载速度较慢，可配置国内镜像源（如清华源）： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple pip install git+https://github.com/huggingface/transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置环境变量

如果您打算使用云端模型，请设置相应的 API Key。

Linux/macOS:

export GENAI_API_KEY='your_genai_api_key'
export OPENAI_API_KEY='your_openai_api_key'
export GROQ_API_KEY='your_groq_api_key'

Windows (CMD):

set GENAI_API_KEY=your_genai_api_key
set OPENAI_API_KEY=your_openai_api_key
set GROQ_API_KEY=your_groq_api_key

(如果仅使用本地部署的开源模型，可跳过此步)

基本使用

1. 启动应用

在项目根目录下运行：

python app.py

2. 访问界面

打开浏览器，访问：

http://localhost:5050/

3. 操作流程

1. 新建会话：点击界面上的 "New Chat" 开始新对话。
2. 上传文档：
   • 在 "Upload and Index Documents" 区域点击 "Choose Files"。
   • 选择您的 PDF 文件或图片。
   • 点击 "Upload and Index"。系统将使用 ColPali 模型将文档页面转换为视觉嵌入并建立索引（首次运行会自动下载模型）。
3. 提问：
   • 在输入框中输入关于文档内容的问题。
   • 点击 "Send"。
   • 系统将检索相关页面图像，并将其发送给选定的视觉语言模型（VLM）生成回答。
4. 切换模型（可选）：
   • 点击导航栏的 "Settings"。
   • 在下拉菜单中选择您想要的模型（例如 Qwen2-VL-7B-Instruct 用于本地运行，或 OpenAI GPT-4o 用于云端调用）。
   • 点击 "Save Settings" 保存。

4. 会话管理

• 重命名：点击 "Edit Name" 修改会话名称。
• 切换：点击侧边栏中的会话名称即可切换上下文。
• 删除：点击会话旁的 "Delete" 永久移除会话。