# 动手实践大型语言模型

欢迎！在这个仓库中，您将找到由 Jay Alammar 和 Maarten Grootendorst 撰写的书籍《动手实践大型语言模型》（Amazon链接）中所有示例的代码。我们戏称这本书为：

“图解LLM书”

通过本书直观易懂的内容和近300幅原创插图，您将学习到当今使用大型语言模型所需的实用工具和核心概念！

本书现已在以下平台发售：

• 亚马逊
• Shroff Publishers（印度）
• O'Reilly
• Kindle
• Barnes & Noble
• Goodreads

目录

我们建议通过 Google Colab 运行所有示例，以获得最简单的设置。Google Colab 允许您免费使用配备 16GB 显存的 T4 GPU。所有示例主要是在 Google Colab 中构建和测试的，因此它应该是最稳定的平台。不过，任何其他云服务提供商也应该可以正常工作。

章节	笔记本
第1章：语言模型简介
第2章：标记与嵌入
第3章：深入Transformer LLM内部
第4章：文本分类
第5章：文本聚类与主题建模
第6章：提示工程
第7章：高级文本生成技术与工具
第8章：语义搜索与检索增强生成
第9章：多模态大型语言模型
第10章：创建文本嵌入模型
第11章：为分类任务微调表示模型
第12章：微调生成模型

[!提示] 您可以查看 [.setup/] 文件夹中的快速入门指南，以在本地安装所有软件包；也可以查看 [.setup/conda/] 文件夹中的完整环境搭建指南，包括 Conda 和 PyTorch 的安装。 请注意，根据您的操作系统、Python 版本以及依赖项的不同，结果可能会略有差异。不过，这些结果应与书中的示例相似。

评论

“杰伊和马尔滕延续了他们一贯的传统，在新书中以精美插图和深刻见解阐释复杂主题。书中配有可运行的代码、时间线以及关键论文的引用，对于任何希望理解大型语言模型构建核心技术的人来说，都是一份宝贵的资源。”

吴恩达 - DeepLearning.AI 创始人

---

“这是一本关于语言模型及其工业应用的卓越指南。它以高度可视化的方式涵盖了语言模型的生成式、表示性和检索式应用，使读者能够快速理解、使用并优化大型语言模型。强烈推荐！”

尼尔斯·赖默斯 - Cohere 公司机器学习总监 | sentence-transformers 的创建者

---

“我想不到还有哪本书比这本书更值得现在阅读。在每一页上，我都学到了在这个语言模型时代取得成功至关重要的知识。”

乔什·斯塔默 - StatQuest

---

“如果你想要全面了解大型语言模型的相关知识，那就无需再寻找了！在这本精彩的书中，杰伊和马尔滕将带你从零开始，逐步掌握大型语言模型的历史与最新进展。凭借直观易懂的讲解、丰富的实际案例、清晰的图表以及全面的代码实验，这本书揭开了变压器模型、分词器、语义搜索、RAG 等前沿技术的神秘面纱。对于任何对最新人工智能技术感兴趣的人来说，这都是一本必读之作！”

路易斯·塞拉诺博士 - Serrano Academy 创始人兼首席执行官

---

“《动手实践大型语言模型》用清晰的解释和实用的例子，帮助人们拨开人工智能领域的炒作迷雾。书中提供了大量优秀的图表和视觉辅助工具，很好地补充了清晰的说明。精心设计的示例和代码让其他书籍中抽象的概念变得具体而生动。本书从简单的入门内容开始，逐步深入，到最后一章时，你将能够自信地微调并构建属于自己的大型语言模型。”

利兰·麦金尼斯 - 图特数学与计算研究所研究员 | UMAP 和 HDBSCAN 的创建者

---

附加内容！

我们尽力在不使内容显得过于繁重的情况下，将尽可能多的信息融入本书。然而，即便是一本400页的书，仍然有许多值得探索的内容！

我们仍在持续创作更多与本书相辅相成、并深入探讨全新且令人兴奋的主题的指南：

Mamba 的可视化指南	量化技术的可视化指南	图解 Stable Diffusion
专家混合模型的可视化指南	推理型大语言模型的可视化指南	图解 DeepSeek-R1

引用

如果您认为本书对您的研究有所帮助，请考虑引用它：

@book{hands-on-llms-book,
  author       = {Jay Alammar 和 Maarten Grootendorst},
  title        = {动手实践大型语言模型},
  publisher    = {O'Reilly},
  year         = {2024},
  isbn         = {978-1098150969},
  url          = {https://www.oreilly.com/library/view/hands-on-large-language/9781098150952/},
  github       = {https://github.com/HandsOnLLM/Hands-On-Large-Language-Models}
}

Hands-On Large Language Models 快速上手指南

本指南基于 Jay Alammar 和 Maarten Grootendorst 所著的《Hands-On Large Language Models》（图解大语言模型）配套代码库，帮助开发者快速运行书中的示例代码。

环境准备

本项目主要设计为在 Google Colab 上运行，这是最稳定且配置最简单的平台（免费提供 T4 GPU，16GB 显存）。如果您希望在本地运行，请确保满足以下要求：

• 操作系统: Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本: 3.8 或更高版本
• 硬件要求: 建议配备 NVIDIA GPU (至少 8GB 显存，部分章节如微调需要 16GB+)
• 前置依赖:
  • git
  • pip 或 conda (推荐使用 conda 管理环境)
  • PyTorch (需匹配您的 CUDA 版本)

提示: 由于部分大模型文件较大，国内用户建议在下载模型权重时使用国内镜像源或加速工具，或在代码中指定 mirror 参数（如果库支持）。

安装步骤

方案 A：使用 Google Colab（推荐）

无需本地安装，直接点击仓库 README 中对应章节的 "Open In Colab" 按钮即可在云端运行。这是官方测试的主要环境。

方案 B：本地安装

1. 克隆仓库

   git clone https://github.com/HandsOnLLM/Hands-On-Large-Language-Models.git
   cd Hands-On-Large-Language-Models
   

2. 创建 Conda 环境 推荐使用官方提供的 .setup/conda/ 目录下的配置文件（如果有），或手动创建：

   conda create -n llm-handson python=3.9
   conda activate llm-handson
   

3. 安装 PyTorch 请访问 PyTorch 官网 获取适合您系统的安装命令。例如对于 CUDA 11.8：

   pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   

   (国内用户可使用清华源加速：pip3 install torch ... -i https://pypi.tuna.tsinghua.edu.cn/simple)

4. 安装项目依赖 进入 .setup 文件夹查看具体的 requirements.txt 或直接安装核心库（书中示例主要依赖 transformers, datasets, sentence-transformers, scikit-learn 等）：

   pip install -r requirements.txt
   

   注：如果根目录没有统一的 requirements.txt，请参考各章节 Notebook 开头的安装单元格，通常包含如下命令：

   pip install transformers datasets accelerate sentence-transformers scikit-learn matplotlib seaborn plotly
   

基本使用

本书每个章节对应一个 Jupyter Notebook。以下以 Chapter 1: Introduction to Language Models 为例演示如何运行。

1. 启动 Jupyter Lab

在项目根目录下启动服务：

jupyter lab

2. 打开示例 Notebook

在浏览器中导航至 chapter01/Chapter 1 - Introduction to Language Models.ipynb 并打开。

3. 运行代码示例

Notebook 中的代码是循序渐进的。最简单的使用示例通常涉及加载预训练模型并进行推理。以下是书中典型的代码模式（直接从 Notebook 中提取）：

from transformers import pipeline

# 加载一个预训练的文本生成管道
generator = pipeline("text-generation", model="distilgpt2")

# 进行简单的文本生成
result = generator("Hello, I am a large language model and", max_length=50, num_return_sequences=1)

print(result[0]['generated_text'])

4. 探索其他章节

按照目录顺序依次运行后续 Notebook，涵盖主题包括：

• Chapter 2: Tokens and Embeddings (分词与嵌入)
• Chapter 3: Looking Inside Transformer LLMs (Transformer 内部结构)
• Chapter 6: Prompt Engineering (提示工程)
• Chapter 8: Semantic Search and RAG (语义搜索与检索增强生成)
• Chapter 11-12: Fine-tuning (模型微调)

注意: 运行微调（Fine-tuning）或大模型（LLM）相关章节时，请确保您的环境已正确连接 GPU，否则运行速度会极慢或导致内存溢出。