📚 AI阅读书籍：逐页PDF知识提取与摘要生成器

read_books.py 脚本对 PDF 书籍进行智能化的逐页分析，有条不紊地提取知识点，并按照指定的间隔生成逐步汇总。它逐页处理内容，既能深入理解每一页的具体信息，又能保持整本书的上下文连贯性。以下是该脚本工作原理的详细说明：

功能特性

• 📚 自动化 PDF 书籍分析与知识提取
• 🤖 基于 AI 的内容理解和摘要生成
• 📊 按间隔生成进度摘要
• 💾 持久化知识库存储
• 📝 Markdown 格式的摘要文件
• 🎨 彩色终端输出，便于查看
• 🔄 支持从现有知识库继续处理
• ⚙️ 可配置的分析间隔和测试模式
• 🚫 智能内容过滤（跳过目录、索引页等）
• 📂 输出文件结构清晰有序

❤️ 加入我的 AI 社区，获取 400+ 个 AI 项目及 1000x Cursor 课程

这仅是我收藏的 400 多个精彩项目之一！请在 Patreon 上支持我 [https://www.patreon.com/c/echohive42/membership]，即可获得：

• 🎯 访问 400+ 个 AI 项目（且每日更新！）
  • 包括高级项目，如 2 Agent 实时语音模板，支持轮流对话
• 📥 完整源代码及详细解释
• 📚 1000x Cursor 课程
• 🎓 实时编码直播与问答环节
• 💬 一对一咨询（高级会员专属）
• 🎁 AI 工具与平台的独家折扣（价值高达 $180）

使用方法

1. 设置

   # 克隆仓库
   git clone [repository-url]
   cd [repository-name]
   
   # 安装依赖
   pip install -r requirements.txt
   

2. 配置

   • 将您的 PDF 文件放置在项目根目录下
   • 打开 read_books.py，将 PDF_NAME 常量更新为您 PDF 文件的名称
   • （可选）调整其他常量，如 ANALYSIS_INTERVAL 或 TEST_PAGES

3. 运行

   python read_books.py
   

4. 输出 脚本将生成：

   • book_analysis/knowledge_bases/：包含提取知识的 JSON 文件
   • book_analysis/summaries/：包含分段及最终摘要的 Markdown 文件
   • book_analysis/pdfs/：您 PDF 文件的副本

5. 自定义选项

   • 将 ANALYSIS_INTERVAL 设置为 None，以跳过分段摘要
   • 将 TEST_PAGES 设置为 None，以处理整本书
   • 调整 MODEL 和 ANALYSIS_MODEL 以使用不同的 AI 模型

配置常量

• PDF_NAME：待分析的 PDF 文件名。
• BASE_DIR：分析的基础目录。
• PDF_DIR：PDF 文件存放的目录。
• KNOWLEDGE_DIR：知识库保存的目录。
• SUMMARIES_DIR：摘要文件保存的目录。
• PDF_PATH：PDF 文件的完整路径。
• OUTPUT_PATH：知识库 JSON 文件的路径。
• ANALYSIS_INTERVAL：每处理完指定页数后生成一次分段分析。设置为 None 则跳过分段分析。
• MODEL：用于处理页面的模型。
• ANALYSIS_MODEL：用于生成分析结果的模型。
• TEST_PAGES：用于测试的页数。设置为 None 则处理整本书。

类与函数

PageContent 类

一个 Pydantic 模型，用于表示 OpenAI API 对页面内容分析的响应结构。它包含两个字段：

• has_content：布尔值，指示该页是否包含相关内容。
• knowledge：从该页提取的知识点列表。

load_or_create_knowledge_base() -> Dict[str, Any]

如果存在现有的知识库 JSON 文件，则加载该文件；否则返回空字典。

save_knowledge_base(knowledge_base: list[str])

将知识基底保存到 JSON 文件中，并打印已保存条目的数量。

process_page(client: OpenAI, page_text: str, current_knowledge: list[str], page_num: int) -> list[str]

处理 PDF 中的单个页面。将页面文本发送至 OpenAI API 进行分析，并将提取的知识点更新到知识库中。同时，将更新后的知识库保存到 JSON 文件。

load_existing_knowledge() -> list[str]

如果存在现有的知识库 JSON 文件，则加载该文件；否则返回空列表。

analyze_knowledge_base(client: OpenAI, knowledge_base: list[str]) -> str

利用 OpenAI API 生成整个知识库的综合摘要，以 Markdown 格式返回。

setup_directories()

设置分析所需的目录结构。清除之前生成的任何文件，并确保 PDF 文件位于正确位置。

save_summary(summary: str, is_final: bool = False)

将生成的摘要保存为 Markdown 文件。根据是最终摘要还是分段摘要，按规范命名文件。

print_instructions()

打印脚本使用说明，解释配置选项及运行方式。

main()

主函数，负责协调整个流程。包括设置目录、加载知识库、逐页处理 PDF、生成分段及最终摘要，并将其保存。

工作流程

1. 设置：脚本设置必要的目录结构，并确保 PDF 文件位于正确位置。
2. 加载知识库：如果存在现有知识库，则将其加载。
3. 处理页面：逐页处理 PDF，提取知识点并更新知识库。
4. 生成摘要：根据 ANALYSIS_INTERVAL 生成分段摘要，并在处理完所有页面后生成最终摘要。
5. 保存结果：将知识库和摘要分别保存到对应的文件中。

运行脚本

1. 将您的 PDF 文件放在与脚本相同的目录下。
2. 更新 PDF_NAME 常量，填入您的 PDF 文件名。
3. 运行脚本。它将处理整本书，提取知识点，并生成摘要。

示例用法

AI-reads-books-page-by-page 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：Python 3.8 或更高版本
• 前置依赖：
  • pip (Python 包管理工具)
  • OpenAI API Key (需在代码中配置)
  • 待分析的 PDF 书籍文件

安装步骤

1. 克隆项目仓库

   git clone [repository-url]
   cd [repository-name]
   

2. 安装依赖库 推荐使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

以下是运行该工具提取书籍知识的最简流程：

1. 准备文件 将您需要分析的 PDF 书籍文件放置在项目根目录下。

2. 配置脚本 打开 read_books.py 文件，找到并修改以下常量：

   • 将 PDF_NAME 修改为您的 PDF 文件名。
   • （可选）如需测试，可设置 TEST_PAGES 为具体页数；若要处理全书，设为 None。
   • 确保已填入有效的 OpenAI API Key（通常在脚本顶部或环境变量中配置）。

3. 运行脚本 在终端执行以下命令启动分析：

   python read_books.py
   

4. 查看结果 脚本运行完成后，生成的文件将保存在 book_analysis 目录中：

   • knowledge_bases/：包含提取的知识点 JSON 文件。
   • summaries/：包含阶段性总结和最终总结的 Markdown 文件。
   • pdfs/：自动备份的原始 PDF 文件。