ChatDocs

使用人工智能 (AI) 离线与您的文档进行对话。数据不会流出您的系统。仅需在安装工具和下载 AI 模型时连接互联网。它基于 PrivateGPT，但具有更多功能。

目录

• 功能
• 安装
• 用法
• 配置
• GPU

功能

• 通过 CTransformers 支持 GGML/GGUF 模型
• 支持 🤗 Transformers (Hugging Face Transformers) 模型
• 支持 GPTQ 模型
• Web UI (Web 用户界面)
• GPU (图形处理器) 支持
• 可通过 chatdocs.yml 高度配置

显示支持的文档类型

扩展名	格式
.csv	CSV
.docx, .doc	Word 文档
.enex	EverNote
.eml	电子邮件
.epub	EPub
.html	HTML
.md	Markdown
.msg	Outlook 邮件
.odt	开放文档文本
.pdf	便携式文档格式 (PDF)
.pptx, .ppt	PowerPoint 文档
.txt	文本文件 (UTF-8)

安装

使用以下命令安装工具：

pip install chatdocs

使用以下命令下载 AI 模型：

chatdocs download

现在可以在无互联网连接的情况下运行。

用法

添加包含要对话的文档的目录：

chatdocs add /path/to/documents

处理的文档默认将存储在 db 目录中。

使用以下命令与文档对话：

chatdocs ui

在浏览器中打开 http://localhost:5000 以访问 Web UI。

它还拥有一个友好的命令行界面 (CLI)：

chatdocs chat

显示预览

配置

所有配置选项均可使用 chatdocs.yml 配置文件更改。在某些目录中创建一个 chatdocs.yml 文件，并从该目录运行所有命令。参考默认的 chatdocs.yml 文件。

您不必复制整个文件，只需添加想要更改的配置选项，因为它将与默认配置合并。例如，参见 tests/fixtures/chatdocs.yml，它仅更改部分配置选项。

嵌入 (Embeddings)

要更改嵌入模型，请在 chatdocs.yml 中添加并修改以下内容：

embeddings:
  model: hkunlp/instructor-large

注意： 当您更改嵌入模型时，请删除 db 目录并重新添加文档。

CTransformers

要更改 CTransformers (GGML/GGUF) 模型，请在 chatdocs.yml 中添加并修改以下内容：

ctransformers:
  model: TheBloke/Wizard-Vicuna-7B-Uncensored-GGML
  model_file: Wizard-Vicuna-7B-Uncensored.ggmlv3.q4_0.bin
  model_type: llama

注意： 首次添加新模型时，请先运行 chatdocs download 下载模型再使用。

您也可以使用现有的本地模型文件：

ctransformers:
  model: /path/to/ggml-model.bin
  model_type: llama

🤗 Transformers

要使用 🤗 Transformers 模型，请在 chatdocs.yml 中添加以下内容：

llm: huggingface

要更改 🤗 Transformers 模型，请在 chatdocs.yml 中添加并修改以下内容：

huggingface:
  model: TheBloke/Wizard-Vicuna-7B-Uncensored-HF

注意： 首次添加新模型时，请先运行 chatdocs download 下载模型再使用。

要在 🤗 Transformers 中使用 GPTQ 模型，请使用以下命令安装必要的包：

pip install chatdocs[gptq]

GPU

嵌入 (Embeddings)

要为嵌入模型启用 GPU (CUDA) 支持，请在 chatdocs.yml 中添加以下内容：

embeddings:
  model_kwargs:
    device: cuda

您可能需要按照 此处 的说明重新安装启用了 CUDA 的 PyTorch。

CTransformers

要为 CTransformers (GGML/GGUF) 模型启用 GPU (CUDA) 支持，请在 chatdocs.yml 中添加以下内容：

ctransformers:
  config:
    gpu_layers: 50

您可能需要使用以下命令安装 CUDA 库：

pip install ctransformers[cuda]

🤗 Transformers

要为 🤗 Transformers 模型启用 GPU (CUDA) 支持，请在 chatdocs.yml 中添加以下内容：

huggingface:
  device: 0

您可能需要按照 此处 的说明重新安装启用了 CUDA 的 PyTorch。

许可证

MIT

ChatDocs 快速上手指南

ChatDocs 是一款基于 AI 的本地离线文档聊天工具。它允许你在本地系统内与文档进行对话，数据不会离开你的设备（仅安装和下载模型时需要联网）。该工具基于 PrivateGPT 开发，支持多种文档格式及模型配置。

1. 环境准备

• 操作系统：支持 Linux、macOS、Windows。
• Python 环境：需要安装 Python 3.x 环境。
• 存储空间：需预留足够空间用于存储 AI 模型文件（通常数 GB 至数十 GB）。
• 网络要求：仅在首次安装工具和下载模型时需要互联网连接，后续可完全离线使用。
• 硬件建议：推荐使用 NVIDIA GPU 以获得更好的推理速度（可选）。

💡 提示：在中国大陆地区，建议使用国内镜像源加速 pip 安装过程（例如清华源或阿里源）。

2. 安装步骤

基础安装

使用 pip 安装 ChatDocs 核心包：

pip install chatdocs

下载 AI 模型

安装完成后，运行以下命令下载默认 AI 模型：

chatdocs download

执行完毕后，即可在无网络环境下使用。

高级功能（可选）

• 启用 GPTQ 模型支持：

  pip install chatdocs[gptq]
  

• 启用 GPU 加速（CTransformers）：

  pip install ctransformers[cuda]
  

3. 基本使用

添加文档

将包含文档的目录路径添加到 ChatDocs 中（默认处理后的数据库存储在 db 目录下）：

chatdocs add /path/to/documents

支持的文档类型包括：PDF, Word (.docx), Excel (.csv), Markdown (.md), EPub, HTML 等。

启动 Web 界面

在终端运行以下命令启动 Web UI：

chatdocs ui

随后在浏览器中打开地址访问界面：

http://localhost:5000

命令行交互

如果不使用 Web 界面，也可以直接在终端通过命令行与文档对话：

chatdocs chat

配置说明

如需自定义模型或参数，可在当前目录创建 chatdocs.yml 配置文件。修改后若涉及嵌入模型（Embeddings）变更，请删除 db 目录并重新添加文档。