# 动手学大模型 CN(ZH) -- 动手学大模型

本书（Hands-On Large Language Models）的原作者是 Jay Alammar 和 Maarten Grootendorst。英语较好的同学强烈推荐支持原书，访问 原书地址。

这是中文版本的 hands-on LLMs，推荐大家访问原书。

也非常欢迎大家感兴趣可以关注公众号【chaofa用代码打点酱油】获得文字更新推送~ 或者加群来吹水聊天（🤣）

中文版有什么特点

• 对代码进行了更详细的注释，并且在部分内容加上自己的理解。
• 有更适合国内网络环境使用的 Notebook 版本，不需要翻墙可以使用（主要是更快）
  • 这里我也是为了免费用了 openbayes 的 GPU，注册可以送 5 小时 CPU 和 3 小时 4090 GPU，如果用我的链接注册，我们都能多一个小时。能薅一点牛毛是一点是一点，目标是免费录完这次教程。
  • 如果你不太喜欢 notebook 类型，更喜欢实验室这种 Linux 类型的环境，那么推荐你使用 AIStackDC 算力平台，可以直接 ssh，配置好之后就是一个独立的开发机，如果使用我的邀请链接，可以额外获得 2 张 1 折优惠券（5 小时）和 3 张 5 折优惠券（36 小时），这样前一百个小时基本免费吧。
• 配套的中文视频讲解。
  • YouTube 视频
  • B站视频-chaofa用代码打点酱油

目录

建议海外用户通过 Google Colab 运行所有示例，以获得最简单的设置。Google Colab 允许您免费使用具有 16GB 显存的 T4 GPU。所有示例主要使用 Google Colab 构建和测试，因此它应该是更稳定的平台。然而，任何其他云提供商都应该可以工作。

国内用户如果想要运行，最好还是用中文可运行 Notebook，你可以复制我的容器直接运行这些代码，注册链接，这样不需要翻墙，国内网络环境访问 Google Colab 可能比较慢。

章节	Google Colab	中文 Notebook 复制后可直接运行	视频讲解 (可点击)
第一章: 介绍大模型
第二章: Tokens and Embeddings
第三章: Looking Inside Transformer LLMs
第四章: Text Classification
第五章: Text Clustering and Topic Modeling
第六章: Prompt Engineering
第七章: Advanced Text Generation Techniques and Tools
第八章: Semantic Search and Retrieval-Augmented Generation	RAG 进化之路：传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG
第九章: Multimodal Large Language Models			在录了~
第十章: Creating Text Embedding Models			在录了~
第十一章: Fine-tuning Representation Models for Classification			在录了~
第 12.1 章: 大模型 SFT
bonous1 - 动手实现 LoRA（非import peft）	LoRA 原理和 PyTorch 代码实现
bonus2 从零实现 GRPO (Agent RL），用于 Agentic RAG 训练	RAG 进化之路：传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG

[!TIP] You can check the setup folder for a quick-start guide to install all packages locally and you can check the conda folder for a complete guide on how to setup your environment, including conda and PyTorch installation. Note that the depending on your OS, Python version, and dependencies your results might be slightly differ. However, they should this be similar to the examples in the book.

其他资源

我们尽力在书中尽可能多地包含信息，同时又避免内容过于冗杂。然而，即便是一本400页的书，仍然有许多值得探索的内容！如果您对我们创作的类似图文并茂的视觉指南感兴趣，以下几本可能会吸引您：

Mamba 的视觉指南	量化技术的视觉指南	稳定扩散的图解

引用

如果您认为本书对您的研究有所帮助，请考虑引用它：

@book{hands-on-llms-book,
  author       = {Jay Alammar 和 Maarten Grootendorst},
  title        = {动手实践大型语言模型},
  publisher    = {O'Reilly},
  year         = {2024},
  isbn         = {978-1098150969},
  url          = {https://www.oreilly.com/library/view/hands-on-large-language/9781098150952/},
  github       = {https://github.com/HandsOnLLM/Hands-On-Large-Language-Models}
}

Hands-On-Large-Language-Models-CN 快速上手指南

本指南旨在帮助中国开发者快速运行《动手学大模型》中文版的代码示例。本项目针对国内网络环境进行了优化，提供了可直接运行的 Notebook 环境和详细的中文视频讲解。

1. 环境准备

系统要求

• 操作系统：Linux, macOS, 或 Windows (WSL2 推荐)
• GPU：推荐拥有至少 16GB 显存的 GPU（如 NVIDIA T4, A10, 4090 等）以流畅运行大部分示例。部分轻量级示例可在 CPU 上运行。
• Python：版本 3.8 或更高

前置依赖

核心依赖包括 PyTorch, Transformers, Datasets, Accelerate 等深度学习库。

💡 国内开发者特别推荐方案

为避免配置环境和下载模型的繁琐过程，以及解决 Google Colab 在国内访问慢的问题，强烈建议直接使用云端算力平台：

• OpenBayes (贝式计算)：项目作者已预置好所有环境和代码容器。
  • 优势：无需本地安装，注册即送免费 GPU 时长，一键复制容器即可运行。
  • 入口：点击此处注册并获取免费时长
• AIStackDC：适合偏好独立 Linux 开发机（SSH 连接）的用户。
  • 优势：提供专属开发机环境，通过邀请码可获得大量免费试用时长。

如果你坚持在本地环境部署，请继续阅读下方的安装步骤。

2. 安装步骤

方案 A：使用 Conda 推荐环境（本地部署）

项目提供了完整的 Conda 环境配置脚本，位于 .setup/conda/ 目录下。

1. 克隆项目代码

   git clone https://github.com/bbruceyuan/Hands-On-Large-Language-Models-CN.git
   cd Hands-On-Large-Language-Models-CN
   

2. 创建并激活 Conda 环境 进入设置目录并执行安装脚本（确保已安装 Miniconda 或 Anaconda）：

   cd .setup/conda
   bash create_env.sh
   

   注：若脚本执行失败，可手动创建环境：

   conda create -n hands-on-llm python=3.10 -y
   conda activate hands-on-llm
   

3. 安装 PyTorch 和依赖 建议使用国内镜像源加速下载。以下命令基于 PyTorch 官方推荐的 CUDA 11.8 版本，并使用清华源加速：

   # 安装 PyTorch (使用清华镜像)
   pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 安装项目核心依赖
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如果根目录下没有 requirements.txt，请安装以下核心库：

   pip install transformers datasets accelerate sentencepiece protobuf scikit-learn matplotlib seaborn -i https://pypi.tuna.tsinghua.edu.cn/simple
   

方案 B：直接使用 Docker (可选)

如果本地有 Docker 环境，可以构建包含所有依赖的镜像：

docker build -t hands-on-llm-cn .
docker run --gpus all -it -v $(pwd):/workspace hands-on-llm-cn

3. 基本使用

本项目按章节组织，每一章对应一个独立的 Jupyter Notebook。

启动 Jupyter Lab

在激活环境后，启动交互式编程环境：

jupyter lab

运行第一个示例

1. 在浏览器中打开 chapter01 文件夹。
2. 选择对应的 Notebook 文件，例如：
   • Chapter 1 - Introduction to Language Models.ipynb
3. 点击单元格依次运行代码。

最简单的代码示例（测试环境）： 你可以在任意 Python 环境中运行以下代码验证基础库是否安装成功：

from transformers import pipeline

# 加载一个小型的中文文本生成模型进行测试
generator = pipeline('text-generation', model='distilgpt2')

# 简单的生成测试
result = generator("你好，我是人工智能，", max_length=20, num_return_sequences=1)
print(result[0]['generated_text'])

进阶学习路径

建议按照目录顺序学习，配合 B 站或 YouTube 的视频讲解：

章节	主题	快速入口 (OpenBayes 容器)
第一章	介绍大模型	直接运行容器
第二章	Tokens and Embeddings	直接运行容器
第三章	深入 Transformer 内部	直接运行容器
...	...	...
Bonus	动手实现 LoRA	直接运行容器

提示：运行涉及大模型下载的代码时，国内用户建议在代码开头设置 Hugging Face 镜像，以避免下载超时：

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'