教材质量

该项目生成非常长、具备教材质量的预训练数据。这里提供了一个7000万标记的例子。它可以并行运行生成任务，调用OpenAI或其他您自己的API。它可以从头开始生成主题，也可以使用您提供的种子集。

生成器利用检索来提升质量。默认情况下，它会使用Serply进行检索，但您也可以选择SerpAPI，或者直接禁用检索功能。

该核心具有可扩展性，因此您可以添加自定义适配器，以连接新的API和检索后端。

安装

前置条件

• Python 3.9及以上版本（推荐3.11）
• 您需要安装PostgreSQL。在Mac上，可以通过brew install postgres命令进行安装。

设置步骤

• psql postgres -c "create database textbook;"
• git clone https://github.com/VikParuchuri/textbook_quality.git
• cd textbook_quality
• poetry install
• invoke migrate-dev

配置

首先，在仓库根目录下创建一个local.env文件，用于存储您的密钥。此外，您也可以将以下任何配置项设置为环境变量。

所有可用的配置选项均可在app/settings.py中查看。

使用OpenAI及检索功能（最高质量）

• 添加您的OpenAI密钥，例如OPENAI_KEY=sk-xxxxxx
• 添加您的Serply密钥（SERPLY_KEY="..."）或SerpAPI密钥（SERPAPI_KEY="..."）。
• 设置SEARCH_BACKEND=serply或SEARCH_BACKEND=serpapi以使用相应的后端。

默认情况下，此配置将使用gpt-3.5模型。若要使用gpt-4，请将环境变量LLM_TYPE和LLM_INSTRUCT_TYPE设置为gpt-4。您可能还可以将LLM_EXTENDED_TYPE设置为gpt-4，但可能需要超过8k的上下文长度。

使用vllm或其他兼容OpenAI的API，并结合检索功能

• 将OPENAI_KEY设置为您API的密钥值，或一个占位符。
• 将OPENAI_BASE_URL设置为您API的URL（如https://vllm-api.com/v1）。
• 将LLM_TYPE、LLM_INSTRUCT_TYPE和LLM_EXTENDED_TYPE设置为您所使用的模型名称（如llama）。
• 在LLM_TYPES设置中指定模型名称和最大标记数。
• 按照上述检索设置的说明进行操作。

生成器理想情况下需要最多16k的上下文长度，但如果必要，也可以使用12k。如果您已基于本仓库中缓存的提示微调了自己的模型用于教材生成，则可以使用FINETUNED和INCLUDE_EXAMPLES设置来减少标记用量。

不使用检索功能

• 将SEARCH_BACKEND=none。

使用方法

仓库中有三个主要脚本。您可以依次运行这些脚本，每个脚本的输出将成为下一个脚本的输入。所有输出默认会保存在app/data目录下，这也是设置中指定的DATA_DIR。

从零开始生成主题

您需要输入一个主题、一个用于保存主题的文件名以及迭代次数。生成的主题将会被去重。

使用示例：

python topic_generator.py "计算机科学与Python" python_cs_titles.json --iterations 50

基于种子扩充主题

传入一个包含现有种子的文件（以扁平化的JSON列表形式），并对其进行扩充。您可以将主题生成器的输出文件作为种子文件，也可以使用您自己的种子。domain是一个可选参数，用于将主题限定在特定领域内。

此过程还会对主题进行语义上的去重。

使用示例：

python topic_augmentor.py python_titles.json python_topics.json --domain python

生成教材

根据标题生成

此脚本会读取一个包含扁平化JSON列表的主题文件，并为每个主题生成一本教材。workers参数控制并行生成的数量。如果遇到速率限制，请降低该值。

使用示例：

python book_generator.py topics.json books.jsonl --workers 5

您也可以通过环境变量覆盖设置（而不是使用local.env）。以下示例将使用vllm API而非OpenAI：

LLM_TYPE=llama LLM_INSTRUCT_TYPE=llama LLM_EXTENDED_TYPE=llama OPENAI_KEY="llama" OPENAI_BASE_URL="https://vllm-api.com/v1" python book_generator.py topics.json books.jsonl --workers 10

运行python book_generator.py --help即可查看所有选项。

请注意，默认会缓存课程内容，因此如果使用相同的课程名称重新生成两次，不会再次调用API。缓存是针对每个模型和每个主题单独存储的。您可以通过使用--revision选项指定课程的修订号来跳过缓存。

根据提纲生成

您也可以通过创建一个包含以下字段的JSONL文件来根据现有提纲生成书籍：

• topic - 书籍的主题/标题
• outline - 书籍的提纲，以扁平化的JSON列表形式呈现。格式需符合特定要求，详见下方“清理目录”部分。
• queries - 最多2个用于检索的搜索查询。如果您不想使用检索功能，可将其设置为空列表。

清理目录

此脚本会读取一个包含现有目录和标题的JSONL文件，并将其处理成适合书籍生成的正确格式。

使用示例：

python toc_cleaner.py toc.jsonl clean_toc.jsonl

toc.jsonl中的每一行应包含以下字段：

• title - 书籍的标题
• toc - 包含目录内容的字符串。该内容可能格式混乱。

扩展

您可以扩展此项目，添加新的LLM适配器、检索方法或任务。欢迎提交PR。

• LLM适配器位于app/llm/adaptors
• 检索方法位于app/services/adaptors。您可能还需要调整services/generators/pdf.py中的设置。
• 任务位于app/llm/generators。

调试

默认情况下，许多异常会被隐藏以避免控制台信息过于冗杂。您可以使用DEBUG=true来显示这些异常，例如：

DEBUG=true python book_generator.py python_topics.json books.jsonl --max 5 --workers 5

textbook_quality 快速上手指南

textbook_quality 是一个用于生成高质量、长篇幅教科书级预训练数据的开源工具。它支持并行生成，可对接 OpenAI API 或本地兼容接口（如 vllm），并内置检索增强（RAG）机制以提升内容质量。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）
• Python 版本：3.9+（推荐 3.11）
• 数据库：必须安装 PostgreSQL
  • macOS 安装命令：brew install postgres
  • Linux (Ubuntu/Debian) 安装命令：sudo apt-get install postgresql postgresql-contrib
• 包管理工具：需安装 poetry 和 invoke
  • 安装 Poetry: curl -sSL https://install.python-poetry.org | python3 -
  • 安装 Invoke: pip install invoke

提示：国内开发者若遇到 pip 或 poetry 下载慢的问题，可配置清华源或阿里源加速。

安装步骤

1. 初始化数据库 创建一个名为 textbook 的数据库：

   psql postgres -c "create database textbook;"
   

2. 克隆项目代码

   git clone https://github.com/VikParuchuri/textbook_quality.git
   cd textbook_quality
   

3. 安装依赖 使用 Poetry 安装项目所需依赖：

   poetry install
   

4. 执行数据库迁移 初始化开发环境数据库结构：

   invoke migrate-dev
   

5. 配置密钥 在项目根目录创建 local.env 文件，填入必要的 API 密钥。

   示例配置（使用 OpenAI + Serply 检索）：

   OPENAI_KEY=sk-xxxxxx
   SERPLY_KEY="your_serply_key"
   SEARCH_BACKEND=serply
   

   若使用国内大模型或本地部署（如 vllm），请参考 README 中的 "With vllm" 部分配置 OPENAI_BASE_URL 和模型名称。

基本使用

该工具包含三个核心脚本，通常按顺序执行：生成主题 -> 扩充主题 -> 生成教材。所有输出默认保存在 app/data 目录。

1. 从零生成主题

输入一个学科领域，自动生成去重后的主题列表。

python topic_generator.py "computer science with python" python_cs_titles.json --iterations 50

• "computer science with python"：目标学科。
• python_cs_titles.json：输出的主题文件。
• --iterations 50：生成迭代次数。

2. 基于种子扩充主题

利用现有种子文件进一步扩充主题，并进行语义去重。

python topic_augmentor.py python_cs_titles.json python_topics.json --domain python

• python_cs_titles.json：上一步生成的文件或自定义种子。
• python_topics.json：扩充后的输出文件。
• --domain python：可选，限制主题在特定领域内。

3. 生成教科书

根据主题列表并行生成教材内容。

python book_generator.py python_topics.json books.jsonl --workers 5

• python_topics.json：主题输入文件。
• books.jsonl：生成的教材数据（JSONL 格式）。
• --workers 5：并行工作线程数（若触发频率限制请调小此值）。

注意：默认情况下课程生成结果会被缓存。若需强制重新生成，可添加 --revision 参数指定版本号。