🧠 IncarnaMind

👀 简而言之

IncarnaMind 使您能够使用大型语言模型（LLM，Large Language Model）如 GPT 与您的个人文档 📁（PDF, TXT）进行对话（架构概览）。虽然 OpenAI 最近推出了针对 GPT 模型的微调 API，但它无法让基础预训练模型学习新数据，且回复容易产生事实性幻觉。利用我们的 滑动窗口分块 机制和集成检索器（Ensemble Retriever），可以高效查询真实文档中的细粒度和粗粒度信息，以增强 LLM。

欢迎免费使用，我们欢迎任何反馈和新功能建议 🙌。

✨ 更新内容

开源和本地 LLM 支持

• 推荐模型： 我们主要测试了 Llama2 系列模型，推荐使用 llama2-70b-chat（完整版或 GGUF 版）以获得最佳性能。欢迎尝试其他 LLM。
• 系统要求： 运行 GGUF 量化版本需要超过 35GB 的 GPU 显存。

替代开源 LLM 选项

• 显存不足： 如果受限于 GPU 显存，请考虑使用 Together.ai API。它支持 llama2-70b-chat 和其他大多数开源 LLM。此外，您还能获得 25 美元的免费额度。
• 即将推出： 更小、更具成本效益的微调模型将在未来发布。

如何使用 GGUF 模型

• 关于获取和使用量化 GGUF LLM（类似于 GGML）的说明，请参阅此 视频（从 10:45 到 12:30）。

以下是我测试的不同模型对比表，仅供参考：

指标	GPT-4	GPT-3.5	Claude 2.0	Llama2-70b	Llama2-70b-gguf	Llama2-70b-api
推理能力	高	中	高	中	中	中
速度	中	高	中	非常低	低	中
GPU 显存	N/A	N/A	N/A	非常高	高	N/A
安全性	低	低	低	高	高	低

💻 演示

https://github.com/junruxiong/IncarnaMind/assets/44308338/89d479fb-de90-4f7c-b166-e54f7bc7344c

💡 解决的问题

• 固定分块：传统的 RAG（检索增强生成）工具依赖固定的分块大小，限制了其在处理不同数据复杂度和上下文时的适应性。

• 精度与语义：当前的检索方法通常侧重于语义理解或精确检索，但很少同时兼顾两者。

• 单文档限制：许多解决方案一次只能查询一个文档，限制了多文档信息检索。

• 稳定性：IncarnaMind 兼容 OpenAI GPT、Anthropic Claude、Llama2 和其他开源 LLM，确保解析稳定。

🎯 关键特性

• 自适应分块：我们的滑动窗口分块技术动态调整 RAG 的窗口大小和位置，根据数据复杂度和上下文平衡细粒度和粗粒度数据访问。

• 多文档对话问答：支持跨多个文档同时进行简单和多跳查询，打破单文档限制。

• 文件兼容性：支持 PDF 和 TXT 文件格式。

• LLM 模型兼容性：支持 OpenAI GPT、Anthropic Claude、Llama2 和其他开源 LLM。

🏗 架构

高层架构

滑动窗口分块

🚀 入门指南

1. 安装

安装很简单，只需运行几条命令即可。

1.0. 前置条件

• 3.8 ≤ Python < 3.11 以及 Conda
• OpenAI API 密钥、Anthropic Claude API 密钥、Together.ai API 密钥 或 Meta Llama 模型的 HuggingFace Token 中的任意一项/全部
• 当然，还有您自己的文档。

1.1. 克隆仓库

git clone https://github.com/junruxiong/IncarnaMind
cd IncarnaMind

1.2. 配置

创建 Conda 虚拟环境：

conda create -n IncarnaMind python=3.10

激活环境：

conda activate IncarnaMind

安装所有依赖：

pip install -r requirements.txt

如果您想运行量化的本地 LLM，请单独安装 llama-cpp：

• 对于 NVIDIA GPU 支持，请使用 cuBLAS

CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

• 对于 Apple Metal (M1/M2) 支持，请使用

CMAKE_ARGS="-DLLAMA_METAL=on"  FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

在 configparser.ini 文件中设置您的一个或多个 API 密钥：

[tokens]
OPENAI_API_KEY = (replace_me)
ANTHROPIC_API_KEY = (replace_me)
TOGETHER_API_KEY = (replace_me)
# 如果使用完整的 Meta-Llama 模型，您可能需要 Huggingface token 来访问。
HUGGINGFACE_TOKEN = (replace_me)

（可选）在 configparser.ini 文件中设置您的自定义参数：

[parameters]
PARAMETERS 1 = (replace_me)
PARAMETERS 2 = (replace_me)
...
PARAMETERS n = (replace_me)

2. 使用

2.1. 上传并处理文件

将所有文件（请正确命名每个文件以最大化性能）放入 /data 目录，并运行以下命令以导入所有数据： （您可以在运行命令之前删除 /data 目录中的示例文件）

python docs2db.py

2.2. 运行

为了开始对话，运行如下命令：

python main.py

2.3. 聊天并提出任何问题

等待脚本提示您输入，如下所示。

Human:

2.4. 其他

当您开始聊天时，系统将自动生成 IncarnaMind.log 文件。 如果您想编辑日志，请在 configparser.ini 文件中编辑。

[logging]
enabled = True
level = INFO
filename = IncarnaMind.log
format = %(asctime)s [%(levelname)s] %(name)s: %(message)s

🚫 局限性

• 当前版本不支持引用，但很快就会发布。
• 异步能力有限。

📝 计划中的功能

• 前端用户界面
• 微调的小尺寸开源 LLM
• OCR 支持
• 异步优化
• 支持更多文档格式

🙌 致谢

特别感谢 Langchain、Chroma DB、LocalGPT 和 Llama-cpp 对开源社区做出的宝贵贡献。它们的工作对于实现 IncarnaMind 项目起到了至关重要的作用。

🖋 引用

如果您希望引用我们的工作，请使用以下 BibTeX（参考文献格式）条目：

@misc{IncarnaMind2023,
  author = {Junru Xiong},
  title = {IncarnaMind},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub Repository},
  howpublished = {\url{https://github.com/junruxiong/IncarnaMind}}
}

📑 许可证

Apache 2.0 许可证

IncarnaMind 快速上手指南

IncarnaMind 是一款基于大语言模型（LLM）的个人文档对话工具，支持通过 PDF 和 TXT 文件与本地或云端模型进行交互。它采用滑动窗口分块（Sliding Window Chunking）机制，旨在提高检索精度并减少幻觉。

一、环境准备

系统要求

• Python 版本：3.8 ≤ Python < 3.11
• 包管理工具：推荐使用 Conda
• 硬件要求：
  • 若运行量化版本地 LLM (GGUF)，需 >35GB GPU 显存。
  • 若使用 API (如 OpenAI, Together.ai)，对本地显卡无特殊要求。

前置依赖

请准备好以下至少一种访问凭证：

• OpenAI API Key
• Anthropic Claude API Key
• Together.ai API KEY
• HuggingFace Token (用于 Meta Llama 模型)
• 您的个人文档文件 (PDF 或 TXT)

💡 提示：国内开发者在使用 pip 安装时，建议配置国内镜像源以加速下载。

二、安装步骤

1. 克隆仓库

git clone https://github.com/junruxiong/IncarnaMind
cd IncarnaMind

2. 创建虚拟环境

conda create -n IncarnaMind python=3.10
conda activate IncarnaMind

3. 安装依赖

pip install -r requirements.txt

4. 本地 LLM 支持 (可选)

如果您计划运行量化版本地 LLM (如 Llama2-GGUF)，需单独安装 llama-cpp-python：

• NVIDIA GPU (cuBLAS):

CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

• Apple Silicon (M1/M2 Metal):

CMAKE_ARGS="-DLLAMA_METAL=on"  FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

5. 配置文件设置

编辑项目根目录下的 configparser.ini 文件，填入您的 API Key：

[tokens]
OPENAI_API_KEY = (replace_me)
ANTHROPIC_API_KEY = (replace_me)
TOGETHER_API_KEY = (replace_me)
# 如果使用完整 Meta-Llama 模型，可能需要 Huggingface token
HUGGINGFACE_TOKEN = (replace_me)

三、基本使用

1. 上传文档

将需要处理的文件放入项目的 /data 目录下（建议删除原有的示例文件）。

2. 数据入库

运行以下命令处理文档数据：

python docs2db.py

3. 启动对话

运行主程序开始聊天：

python main.py

4. 交互示例

等待脚本输出提示后输入您的问题：

Human:
(在此输入您的问题)

---

注：启动对话后，系统会自动生成 IncarnaMind.log 日志文件。如需调整日志级别，请在 configparser.ini 的 [logging] 部分进行修改。