文档搜索

与一本书（PDF）对话

完整演示请参见 推文。

---

文档: https://namuan.github.io/dr-doc-search

源代码: https://github.com/namuan/dr-doc-search

PyPI: https://pypi.org/project/dr-doc-search/

---

前置条件

• Tessaract OCR
• ImageMagick

注意： 如果您使用的是 Windows，请确保在 IMCONV 环境变量中设置 ImageMagick 可执行文件的路径。

# 例如，如果您将 ImageMagick 安装在 PROGRAMFILES\ImageMagick-7.1.0-Q16-HDRI
set IMCONV="%PROGRAMFILES%\ImageMagick-7.1.0-Q16-HDRI\magick"

安装

pip install dr-doc-search

示例用法

使用此应用程序分为两个步骤：

1. 首先，您需要为 PDF 文件创建索引并生成嵌入向量。这里我使用的是从该页面生成的 PDF 文件 货币经济寓言。

在运行之前，您需要设置 OpenAI API 密钥。您可以从 OpenAI 获取。

从版本 1.5.0 开始，您可以跳过 OpenAI，使用 HuggingFace 模型来生成嵌入和答案。

export OPENAI_API_KEY=<your-openai-api-key>

然后运行以下命令开始训练过程：

dr-doc-search --train -i ~/Downloads/parable-of-a-monetary-economy-heteconomist.pdf

使用 huggingface 生成嵌入：

dr-doc-search --train -i ~/Downloads/parable-of-a-monetary-economy-heteconomist.pdf --embedding huggingface

训练过程会在您的主目录下的 OutputDir/dr-doc-search/<pdf-name> 文件夹中生成一些临时文件。如下所示：

 ~/OutputDir/dr-doc-search/parable-of-a-monetary-economy-heteconomist
$ tree
.
├── images
│ ├── output-1.png
│ ├── output-10.png
│ ├── output-11.png
...
│ └── output-9.png
├── index
│ ├── docsearch.index
│ └── index.pkl
├── parable-of-a-monetary-economy-heteconomist.pdf
└── scanned
    ├── output-1.txt
    ...
    └── output-9.txt

注意： 您可以通过提供 --app-dir 参数来更改输出目录的基础路径。

2. 现在我们已经有了索引，就可以用它来开始提问了。

dr-doc-search -i ~/Downloads/parable-of-a-monetary-economy-heteconomist.pdf --input-question "尝试减少债务是如何导致就业下降的？"

或者您也可以打开一个 Web 界面（在端口 :5006 上）来提问：

dr-doc-search --web-app -i ~/Downloads/parable-of-a-monetary-economy-heteconomist.pdf

要使用 huggingface 模型，请提供 --llm 参数：

dr-doc-search --web-app -i ~/Downloads/parable-of-a-monetary-economy-heteconomist.pdf --llm huggingface

还有更多选项可以用来选择 PDF 文件的起始页和结束页。有关详细信息，请参阅帮助：

dr-doc-search --help

致谢

• anton/@abacaj 提出的想法
• LangChain
• HoloViz Panel
• OpenAI

开发

• 克隆此仓库

• 要求：

  • Python 3.7+
  • Poetry

• 创建虚拟环境并安装依赖项

poetry install

• 激活虚拟环境

poetry shell

验证构建

make build

发布流程

当使用 make bump 提升新版本时，会自动发布一个新版本。有关详细信息，请参阅 .github/workflows/build.yml。一旦发布完成，.github/workflows/publish.yml 将自动将其发布到 PyPI。

免责声明

本项目与 OpenAI 无关。试用期结束后，OpenAI API 和 GPT-3 语言模型将不再免费。

dr-doc-search 快速上手指南

dr-doc-search 是一个开源工具，允许你与 PDF 书籍（文档）进行对话。它通过提取文档内容、生成向量索引，并利用大语言模型（如 OpenAI 或 HuggingFace）来回答基于文档内容的问题。

环境准备

在开始之前，请确保你的系统已安装以下前置依赖：

1. Tesseract OCR：用于从 PDF 中提取文本（特别是扫描版）。
   • 安装参考：Tesseract GitHub
2. ImageMagick：用于图像处理。
   • 安装参考：ImageMagick 官网
   • Windows 用户特别注意：安装后需设置环境变量 IMCONV 指向 ImageMagick 的可执行文件路径。

     # 示例：如果安装在默认路径
     set IMCONV="%PROGRAMFILES%\ImageMagick-7.1.0-Q16-HDRI\magick"
     

安装步骤

使用 pip 直接安装：

pip install dr-doc-search

提示：国内用户若下载缓慢，可使用清华或阿里镜像源：

pip install dr-doc-search -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用该工具主要分为两个步骤：建立索引和提问。

第一步：配置 API 并建立索引

你需要准备一个 OpenAI API Key，或者选择使用免费的 HuggingFace 模型。

选项 A：使用 OpenAI (默认)

export OPENAI_API_KEY=<your-openai-api-key>

选项 B：使用 HuggingFace (无需 OpenAI Key) 从 v1.5.0 起支持直接使用本地模型。

运行以下命令对 PDF 进行训练并生成索引（以 example.pdf 为例）：

使用 OpenAI:

dr-doc-search --train -i example.pdf

使用 HuggingFace:

dr-doc-search --train -i example.pdf --embedding huggingface

执行后，程序会在当前用户目录下的 OutputDir/dr-doc-search/<pdf-name> 文件夹中生成临时文件、图片及索引文件。

第二步：提问

索引生成完毕后，你可以通过命令行直接提问，或启动 Web 界面。

方式 1：命令行单次提问

dr-doc-search -i example.pdf --input-question "你的问题内容"

方式 2：启动 Web 交互界面 这将启动一个本地网页服务（默认端口 5006），方便在浏览器中对话。

使用 OpenAI:

dr-doc-search --web-app -i example.pdf

使用 HuggingFace 模型:

dr-doc-search --web-app -i example.pdf --llm huggingface

启动后，在浏览器访问 http://localhost:5006 即可开始与文档对话。

更多参数（如指定页码范围、输出目录等）可通过 dr-doc-search --help 查看。