ollama-ebook-summary
ollama-ebook-summary 是一个基于大语言模型的工具，用于自动生成书籍或其他长文本的要点式摘要，尤其适用于 EPUB 和 PDF 格式的电子书。它能够自动提取书籍目录，将内容分割为适合模型处理的片段（约 2000 个 token），并生成结构清晰、易于理解的笔记式总结。
这个工具解决了传统阅读和摘要方式效率低、难以抓住重点的问题，特别适合需要快速掌握书籍核心内容的用户。通过将文档拆分成多个部分，并对每个部分进行提问，它能更全面地提取信息，避免遗漏关键点。
它适合研究人员、学生、知识工作者以及任何需要高效处理大量文本的用户使用。对于开发者来说，它也提供了灵活的配置选项和模型支持，如 Ollama 和 HuggingFace 模型。
其独特之处在于采用了一种不同于 RAG 的方法，通过对文档所有部分提出相同问题，从而更充分地利用大语言模型的能力，无需依赖多个第三方应用。
使用场景
某高校图书馆管理员正在处理一批来自不同学科的电子书，需要为这些书籍生成简洁、结构化的摘要，以便学生和研究人员快速获取核心内容。由于书籍数量庞大且格式多样，手动整理效率低下。
没有 ollama-ebook-summary 时
- 需要手动逐章阅读并提炼内容，耗时费力，难以保证一致性
- 处理长文档时，模型输入长度受限，无法完整理解上下文，导致摘要不准确
- 缺乏自动化流程，每次生成摘要都需要重新配置模型和参数，操作复杂
- 不同书籍的章节划分不统一，需额外处理元数据，增加工作量
- 无法批量处理多个文件，效率极低
使用 ollama-ebook-summary 后
- 自动识别书籍目录并按章节拆分文本，支持 epub 和 pdf 格式，无需人工干预
- 将文档分割为约 2000 token 的块，确保模型能充分理解上下文，提升摘要质量
- 提供预配置模型和清晰的配置文件，简化部署与使用流程
- 支持批量处理多本书籍，显著提高工作效率
- 可自定义摘要风格（如项目符号形式），满足不同用户需求
ollama-ebook-summary 让大规模电子书摘要生成变得高效、精准且易于管理。
运行环境要求
- Linux
- macOS
- Windows
未说明
未说明
快速开始
项目简介：书本摘要的要点笔记
使用 Python 3.11.9 构建
引言
本项目旨在为书籍及其他长篇文本生成要点式摘要，尤其适用于包含目录元数据的 EPUB 和 PDF 文件。
当电子书具备合适的元数据时，我们能够轻松实现对大多数书籍章节的自动化提取，并将其拆分为约 2000 个 token 的小块；同时，若无法获取文档大纲，则提供备用方案。
为何选择 2000 个 token？
同一任务、更多 token：输入长度对大型语言模型推理性能的影响（2024 年 2 月 19 日；Mosh Levy、Alon Jacoby、Yoav Goldberg）指出，从 250 个 token 到 1000 个 token，模型的推理能力会急剧下降；而当 token 数量达到 2000–3000 个时，这种下降趋势则趋于平缓。
这一结论也与我在使用本地大语言模型总结大量长文档时的个人经验相符。
您可以在 已弃用的使用指南与排名 中查看我如何得出这些结论的更多背景信息。
与 RAG 的比较
与检索增强生成（RAG）类似，我们也将文档拆分成多个部分，以便其内容能够适配上下文。不同之处在于，RAG 系统会尝试判断哪一部分最适合回答用户的问题；而我们的方法则是将相同的问题向 文档的每一部分 提出。
这一点对于在不依赖众多第三方应用的情况下充分发挥大语言模型的能力至关重要。
目录
设置
Python 环境
在开始之前，请确保已安装 Python 3.11.9。若未安装，您可以使用 Conda 或 Pyenv 来管理 Python 版本：
使用 Conda：
- 从 https://www.anaconda.com/download/success 下载并安装 Anaconda。
- 创建新环境：
conda create -n book_summary python=3.11.9 - 激活环境：
conda activate book_summary
使用 Pyenv：
- 安装 Pyenv：https://github.com/pyenv/pyenv#installation
- 安装 Python 3.11.9：
pyenv install 3.11.9 - 设置本地版本：
pyenv local 3.11.9
安装依赖
pip install -r requirements.txt
下载模型
1. 下载 Mistral Instruct v0.2 要点笔记微调版
ollama pull cognitivetech/obook_summary:q6_k
2. 下载标题生成模型
a) 下载预配置模型
ollama pull cognitivetech/obook_title:q4_k_m
为方便起见，Mistral 7b 0.3 已打包了用于标题生成的必要消息历史。
或
b) 将此消息历史 附加到您选择的模型文件中
3. 下载通用模型
ollama pull gemma2
更新配置文件 _config.yaml
请确保默认设置已正确配置！
此处可能存在变动，与文档描述有所不同。请务必按照当前 _config.yaml 中
summary、general和title部分的说明，在您的系统上安装相应模型。 我正在清理代码中的这一部分，但仍在进行中。
defaults:
prompt: bnotes
summary: cognitivetech/obook_summary:q6_k # 默认摘要模型
general: gemma2 # 默认基础摘要模型
title: cognitivetech/obook_title:q4_k_m # 默认标题生成模型
prompts:
bnotes: # 默认提示
prompt: 编写全面的要点笔记，概括所提供的文本，使用加粗的标题和术语。
research: # 也可用于摘要模型
prompt: 这段文字是否提出了任何论点？如果是，请在此列出。
clean: # 以下提示应与通用模型配合使用。
prompt: 原封不动地复述这段文字，仅删除那些不影响文本流畅性的无用字符。只输出主要文本内容，浓缩成一行。如果遇到章节边界或子标题，就在其标题前另起一行。
concise:
prompt: 复述所提供的段落，要求简洁明了。
md:
prompt: “以规范的 Markdown 格式打印这些笔记，用双星号标记加粗的标题和术语，用短横线表示项目符号。严格按照原文逐字打印，不得扩展，也不得添加以 # 开头的标题。”
sum: # 基础
prompt: 包含加粗标题和术语的全面要点笔记。
teacher:
prompt: “编写一份问题清单，供三年级学生阅读所提供的文本时作答。我们关注的主题包括：主旨、支持细节、观点、主题、顺序以及小说要素（背景、人物、BME）。”
quotes:
prompt: “根据所提供的文本，撰写几十条受启发的引语。”
title_generation:
prompt: 写一个不超过 11 个单词的标题，简明扼要地描述这一选段。
使用
将电子书转换为分块的 CSV 或 TXT
1. 使用自动化脚本拆分您的 pdf 或 epub 文件。
python3 book2text.py ebook-name.epub # 或 ebook-name.pdf（优先推荐 EPUB）
这一步会产生两个输出：
out/ebook-name.csv（按章节或部分拆分）out/ebook-name_processed.csv（分块处理后的文件）
或
2. 删除或转义每个分块内的所有换行符，以便它们可以逐行放置在文本文件中，每行都用双引号括起来。
*请注意，务必正确转义或替换每个分块中的双引号。
生成摘要
$ python3 sum.py --help
用法：python sum.py [选项] 输入文件
选项：
-c, --csv 处理 CSV 文件。预期列：标题、文本
-t, --txt 处理文本文件。每行应为一个独立的文本片段。
-m, --model 用于生成的模型名称（默认从配置中获取）
-p, --prompt 配置中指定的提示别名（默认从配置中获取）
-v, --verbose 在终端输出基础上额外打印 Markdown 格式的结果
--help 显示此帮助信息并退出。
对于 CSV 输入：
- 确保您的 CSV 文件包含“标题”和“文本”两列。
对于文本输入：
- 每行应为一段用双引号括起的文本。
输出的 CSV 将包含：
- 标题：最终选定或生成的标题
- Gen：布尔值，表示该标题是否为生成结果
- 文本：原始输入文本
- model_name：生成的输出
- Time：处理时间，单位为秒
- Len：输出长度
如果您已设置好默认参数，则只需指定输入类型——手动的 text 还是自动化的 csv 即可。
python3 sum.py -c ebook-name_processed.csv
半手动与原型方法
在本示例中，我使用了一个原型脚本 split_pdf.py 来不仅按章节，还按小节拆分 PDF 文件（生成 ebook-name_extracted.csv），随后手动处理该输出（使用 vscode），将每个文本片段单独放在一行，并用双引号括起来（见 notes/depreciated/summarize.txt）。
尽管最终这一过程会实现自动化，但目前仍存在一些挑战，这些挑战也导致我尚未完成该工具的开发。
拆分：
tools-prototype/split_pdf.py ebook-name.pdf # 生成 ebook-name_extracted.csv
处理：
python3 sum.py -t ebook-name_extracted.csv
这一步会生成两个输出：
ebook-name_extracted_processed_sum.md（渲染后的 Markdown 文件）ebook-name_extracted_processed_sum.csv（包含：输入文本、展平后的 Markdown 输出、生成时间、输出长度的 CSV 文件）
模型
可从以下两个来源下载：
Ollama
您可以直接从 Ollama 获取任意模型，模板齐全。
例如：ollama pull obook_summary:q5_k_m
- obook_summary - 在 Ollama.com 上
latest• 7.7GB • Q_8q3_k_m• 3.5GBq4_k_m• 4.4GBq5_k_m• 5.1GBq6_k• 5.9GB（推荐）
- obook_title - 在 Ollama.com 上
latest• 7.7GB • Q_8q3_k_m• 3.5GBq4_k_m• 4.4GBq5_k_m• 5.1GBq6_k• 5.9GB（推荐）
HuggingFace
HuggingFace 上也有完整的权重、LoRA 和 GGGUF 模型。
- Mistral Instruct Bulleted Notes - HuggingFace 上的集合
检查您的电子书是否有文档大纲
此处展示了如何检查您的电子书是否具有正确的格式化。对于 ePub 格式，应能优雅地失败。
* 在极少数情况下，即使有可点击的目录，脚本也可能无法找到它。
Firefox
Brave
免责声明
您有责任确保摘要工具生成的摘要准确无误。多种因素都可能影响摘要的质量，若您不够留意，这些因素很可能被忽略。
1. 引用：
就我个人而言，未经人工核实，我不信任由微调模型生成的引用。也许在较新的模型中这一问题已得到解决，但在我的测试阶段，我发现所使用的 7B 模型有时会出现错误引用。我从未专门测试过该应用在引用方面的表现，因此个人建议在进行摘要之前先移除所有较长的引用部分，再单独处理这些内容。我认为这并非不可逾越的障碍，只是目前我尚未完全掌握或理解的领域而已。
2. 其他：
还有几点需要注意。
我之所以在 CSV 中保留输入与输出的长度信息，是因为这样可以方便地检查摘要是否比输入更长，而这种情况通常是一个警示信号。
此外，如果摘要的结构与其他摘要差异过大，也可能表明摘要存在问题。这些问题可能与特殊字符有关，或者是因为输入内容过长，导致 AI 无法完全理解。
灵感
开发这款应用的灵感源于我打算手动总结十几本书的内容，以便将书中讨论的心理学理论与实践结合起来，并基于这些信息形成一个连贯的论点。
我已经把这几本书读了好几遍，但现在需要更便捷地获取其中的信息，以便能够以一种连贯的方式与他人分享。
起初，我曾尝试手动完成这个项目，持续了一周，却只完成了第一本书的几章内容，这才意识到这项工作耗时太长。
随后的六个月里，我开始学习如何使用大语言模型，探索哪些模型最适合我的任务，并通过微调来确保生成结果具备生产级的一致性。
如今借助这款工具，我可以更快地审阅更多材料。这是一款内容策展工具，不仅帮助我更好地学习知识，还能更轻松地分享这些知识，而无需花费大量时间去创作高质量的内容。
此外，它还可以根据您提供的任何源材料创建自定义数据集。
资源
- Summarizing Books OpenAI
排行榜
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。