构建一个推理模型（从零开始）

本仓库包含开发 LLM 推理模型的代码，也是书籍 构建一个推理模型（从零开始） 的官方代码库。

（彩色印刷。）

在 构建一个推理模型（从零开始） 中，你将学习并理解推理型大语言模型（LLM）的工作原理。

推理是近年来提升 LLM 性能最令人兴奋且最重要的进展之一，但如果你只是听过“推理”这个词并在理论上读到相关介绍，也最容易产生误解。因此，本书采取了动手实践的方式。我们将从一个预训练的基础 LLM 开始，然后一步步通过代码为其添加推理能力，让你能够清楚地看到其具体实现过程。

本书中介绍的方法会引导你完成一个小型但功能完整的推理模型的开发，用于教学目的。它与 DeepSeek R1、GPT-5 Thinking 等大规模推理模型的构建方法相呼应。此外，本书还包含了加载现有预训练模型权重的代码。

• 官方源代码仓库链接
• Manning 出版社官网上的书籍链接
• 亚马逊美国网站上的图书页面链接（待定）
• ISBN 9781633434677

要下载本仓库的副本，请点击 Download ZIP 按钮，或在终端中执行以下命令：

git clone --depth 1 https://github.com/rasbt/reasoning-from-scratch.git

提示： 第 2 章提供了关于安装 Python、管理 Python 包以及搭建编程环境的更多建议。

目录（持续更新中）

• 故障排除指南

章节标题	主要代码
第 1 章：理解推理模型	无代码
第 2 章：使用预训练 LLM 生成文本	- ch02_main.ipynb - ch02_exercise-solutions.ipynb
第 3 章：评估推理模型	- ch03_main.ipynb - ch03_exercise-solutions.ipynb
第 4 章：通过推理时缩放提升推理能力	- ch04_main.ipynb - ch04_exercise-solutions.ipynb
第 5 章：通过自我精炼进行推理时缩放	- ch05_main.ipynb - ch05_exercise-solutions.ipynb
第 6 章：用强化学习训练推理模型	- ch06_main.ipynb - ch06_exercise-solutions.ipynb
第 7 章：改进强化学习中的 GRPO	- ch07_main.ipynb - ch07_exercise-solutions.ipynb
第 8 章：蒸馏推理模型以实现高效推理	- ch08_main.ipynb - ch08_exercise-solutions.ipynb
附录 A：参考文献及延伸阅读	无代码
附录 B：习题解答	每章子文件夹中均包含代码和解答
附录 C：Qwen3 LLM 源代码	- chC_main.ipynb
附录 D：使用更大的 LLM	- chD_main.ipynb
附录 E：批处理与吞吐量导向的执行	- chE_main.ipynb
附录 F：LLM 评估的常见方法	- chF_main.ipynb
附录 G：构建聊天界面	- chG

 

下图总结了本书涵盖的主要技术。

 

配套书籍

请注意，《构建一个推理模型（从零开始）》是一本独立的书籍，专注于提升 LLM 推理能力的方法。

在本书中，我们基于一个预训练的开源基础 LLM（Qwen3），从零开始编写代码来应用各种推理方法，包括推理时缩放、强化学习和模型蒸馏等。

然而，如果你对传统基础 LLM 的实现方式感兴趣，可能会喜欢我的另一本书《构建一个大语言模型（从零开始）》（Build a Large Language Model (From Scratch)）。

• 亚马逊链接
• Manning 出版社链接
• GitHub 仓库

 

硬件要求

本书主要章节中的代码设计为在消费级硬件上以合理的时间范围内运行为主，无需专门的服务器硬件。这种做法确保了广泛的读者群体能够参与学习和实践。此外，如果系统中存在 GPU，代码会自动利用 GPU 进行加速。不过，第 2 至 4 章在 CPU 和 GPU 上均可良好运行。而对于第 5 和第 6 章，若希望复现书中结果，建议使用 GPU。

（更多建议请参阅 setup_tips 文档。）

 

练习题

本书每章都包含若干练习题。答案汇总于附录 B，相应的代码笔记本则位于本仓库各主章节文件夹中（例如，ch02/01_main-chapter-code/ch02_exercise-solutions.ipynb）。

 

附加资料

多个文件夹中包含了供感兴趣读者参考的可选材料：

• 第 2 章：使用预训练 LLM 生成文本
  • 可选 Python 环境配置及云端 GPU 推荐
  • 使用 GPU 优化版 LLM
  • 在 Windows 上使用 torch.compile()
  • 运行推理并与模型对话
• 第 3 章：评估 LLM
  • MATH-500 验证脚本
  • 高级解析器（混合式 LaTeX 解析器）
• 第 4 章：通过推理时缩放提升推理能力
  • MATH-500 上的推理缩放（思维链提示、自洽性）
• 第 5 章：基于自我精炼的推理时缩放
  • MATH-500 上的更多推理缩放（Best-of-N、自我精炼）
• 第 6 章：使用强化学习训练推理模型
  • GRPO 脚本，支持批处理模式
• 第 7 章：改进 GRPO 强化学习方法
  • 高级 GRPO 脚本（包括 DeepSeek-V3.2、Olmo3 及 GDPO 风格的训练）
  • 下载训练检查点（如何下载并使用第 6、7 章的 GRPO 检查点）
• 第 8 章：蒸馏推理模型以实现高效推理
  • 生成蒸馏数据（通过 Ollama 或 OpenRouter 生成教师输出）
  • 使用蒸馏进行训练（包括单样本和批处理蒸馏脚本）
  • 下载训练检查点（如何下载并使用第 8 章的蒸馏检查点）
  • 在 Hugging Face 中使用 Qwen3（如何将基础模型与第 6–8 章的检查点结合使用 transformers 库）
• 附录 F：LLM 评估的常用方法
  • MMLU 评估方法
  • LLM 排行榜
  • LLM 作为评判者
• 附录 G：构建聊天界面
  • 聊天界面代码

 

问题、反馈及对本仓库的贡献

如遇常见问题，请参阅 故障排除指南。

我欢迎各种形式的反馈，最佳方式是通过 Manning 讨论论坛 或 GitHub Discussions 提交。同样地，如果您有任何疑问或只是想与其他读者交流想法，也请随时在论坛中发帖。

请注意，由于本仓库包含与纸质书对应的代码，目前我无法接受任何会扩展主章节代码内容的贡献，因为这会导致与实体书的内容产生偏差。保持一致性有助于为所有用户提供顺畅的学习体验。

 

引用

如果您在研究中发现本书或其中的代码有所帮助，请考虑引用它。

芝加哥格式引用：

Raschka, Sebastian. 从零开始构建推理模型. Manning 出版社，2025 年。ISBN：9781633434677。

BibTeX 条目：

@book{build-llms-from-scratch-book,
  author       = {Sebastian Raschka},
  title        = {从零开始构建推理模型},
  publisher    = {Manning},
  year         = {2025},
  isbn         = {9781633434677},
  url          = {https://mng.bz/lZ5B},
  github       = {https://github.com/rasbt/reasoning-from-scratch}
}

reasoning-from-scratch 快速上手指南

本指南基于 Sebastian Raschka 的开源项目 reasoning-from-scratch，旨在帮助开发者从零开始构建和理解大语言模型（LLM）的推理能力。该项目配套书籍《Build a Reasoning Model (From Scratch)》，通过代码实战演示如何在一个预训练基座模型（如 Qwen3）上添加推理、强化学习及蒸馏能力。

环境准备

系统要求

• 操作系统：Linux, macOS, 或 Windows。
• 硬件建议：
  • 第 2-4 章（基础文本生成、评估、推理缩放）：可在 CPU 或普通 GPU 上运行。
  • 第 5-6 章（自优化、强化学习训练）：强烈建议使用 GPU 以在合理时间内复现结果。
  • 代码会自动检测并利用可用的 GPU 资源。
• Python 版本：建议 Python 3.8+（具体版本管理参考书中第 2 章提示）。

前置依赖

确保已安装 Git 和 Python 包管理工具（pip 或 conda）。本项目主要依赖 PyTorch 及相关深度学习库。

安装步骤

1. 克隆仓库

使用以下命令下载项目代码：

git clone --depth 1 https://github.com/rasbt/reasoning-from-scratch.git

或者点击仓库页面的 Download ZIP 按钮手动下载并解压。

2. 进入项目目录

cd reasoning-from-scratch

3. 安装依赖

虽然 README 未直接列出 requirements.txt，但根据项目结构（Jupyter Notebooks），通常需要在运行具体章节代码前安装相关库。建议参考 ch02 中的设置指南或直接在 Notebook 中运行安装单元格。

若需手动安装基础环境，可尝试：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate datasets matplotlib jupyterlab

(注：具体依赖请以各章节 Notebook 开头的安装指令为准)

提示：国内用户若下载 PyTorch 或 HuggingFace 模型较慢，可配置国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

并在代码中设置 HF_ENDPOINT:

export HF_ENDPOINT=https://hf-mirror.com

基本使用

本项目主要通过 Jupyter Notebook 进行教学和实践。每个章节对应一个主要的代码文件。

1. 启动 Jupyter Lab

在项目根目录下运行：

jupyter lab

2. 运行示例：生成文本 (第 2 章)

这是最基础的入门示例，展示如何使用预训练 LLM 生成文本。

1. 在浏览器中打开 ch02/01_main-chapter-code/ch02_main.ipynb。
2. 依次执行单元格。
3. 核心代码逻辑如下（简化版示意）：

# 导入必要的库
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型 (例如 Qwen3 或其他指定基座)
model_name = "Qwen/Qwen3-0.6B" # 示例模型名称，具体以 notebook 为准
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 准备输入提示
prompt = "Please reason step by step to solve this math problem: 2 + 2 = ?"
inputs = tokenizer(prompt, return_tensors="pt")

# 生成推理过程
with torch.no_grad():
    outputs = model.generate(
        inputs.input_ids, 
        max_new_tokens=100, 
        do_sample=True, 
        temperature=0.7
    )

# 解码并打印结果
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

3. 进阶实践

完成基础章节后，可按顺序探索以下核心功能：

• 推理评估 (ch03_main.ipynb)：学习如何量化模型的推理能力。
• 推理时缩放 (ch04_main.ipynb)：实现思维链（CoT）和自我一致性策略。
• 强化学习训练 (ch06_main.ipynb & ch07_main.ipynb)：使用 GRPO 算法微调模型以提升推理性能。
• 模型蒸馏 (ch08_main.ipynb)：将大模型的推理能力蒸馏到小模型中。

所有练习的参考答案位于各章节文件夹下的 *_exercise-solutions.ipynb 文件中。