Transformer 食谱

$$\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V$$

Transformer 模型加速了自然语言处理（NLP）任务中新技术和新模型的发展。尽管它最初主要用于 NLP 任务，但如今在计算机视觉和强化学习等领域也得到了广泛应用。这使得 Transformer 成为现代机器学习中最为重要且值得深入理解和应用的概念之一。

我深知许多机器学习和 NLP 的学生及从业者都渴望学习 Transformer。因此，我整理了一份学习指南，以资源和学习材料清单的形式，帮助对 Transformer 领域感兴趣的同学更好地入门。

首先，我准备了几条链接，指向我用来更好地理解并从头实现 Transformer 模型的资料。

高层次介绍

首先，尝试获取关于 Transformer 的高层次概述。以下是一些值得参考的资料：

🔗 Transformer 简介 - 讲义笔记（Elvis Saravia）

🔗 从零开始构建 Transformer（Brandon Rohrer）

🔗 深度学习与 NLP 中的 Transformer：直观入门（AI Summer）

🔗 斯坦福 CS25 - Transformer 合集

🔗 面向语言理解的深度学习（DeepMind）

🔗 Transformer 模型：简介与分类（Xavier Amatriain）

Transformer 原理解析

Jay Alammar 的图解说明非常出色。当你对 Transformer 有了高层次的理解后，可以进一步阅读这篇广受欢迎、内容详尽且配有插图的解析文章：

🔗 图解 Transformer

接下来的这篇文章也将 Transformer 分解为其各个组成部分，并详细解释和图示每个部分的功能：

🔗 剖析 Transformer

技术概要

此时，你可能希望找到一份关于 Transformer 的技术性总结和概述。Lilian Weng 的博客文章堪称珍品，提供了简洁而专业的技术性解释和总结：

🔗 Transformer 家族

🔗 Transformer 家族 2.0 版

实现

理论学习之后，动手实践同样重要。我个人更倾向于深入理解细节，因此喜欢从头开始实现算法。对于实现 Transformer，我主要参考了以下教程：

🔗 注释版 Transformer | (Google Colab | GitHub)

🔗 使用 nn.Transformer 和 TorchText 进行语言建模

如果你希望深入了解一些最新 Transformer 模型的实现细节，还可以参考 Papers with Code 上的 Transformer 方法合集，或许会有所帮助。

“注意力就是一切”

Vaswani 等人发表的这篇论文首次提出了 Transformer 架构。建议你在对 Transformer 有了高层次的理解后，再深入阅读原文，并关注论文中引用的其他文献，以便进一步钻研。

🔗 “注意力就是一切”

Transformer 的应用

经过一段时间的学习和理论理解后，你可能会希望将 Transformer 应用于不同的 NLP 项目或研究中。此时，Hugging Face 提供的 Transformers 库将是最佳选择。

🔗 Transformers

此外，Hugging Face 团队还出版了一本关于使用 Transformer 进行 NLP 的新书，你可以在此处查看：自然语言处理。

大型语言模型阅读清单

作为附加内容，这里提供 Sebastian Raschka 整理的一份关于大型语言模型的优秀阅读清单：

🔗 理解大型语言模型——变革性的阅读清单

---

欢迎大家分享学习资料！在下一次更新中，我计划添加更加全面的 Transformer 应用案例和相关论文集。同时，还会推出便于实验的代码实现。敬请期待！

如需定期获取新的机器学习和 NLP 资源更新，请在 Twitter 上关注我。

Transformers-Recipe 快速上手指南

Transformers-Recipe 并非一个可直接安装的软件库，而是一份精心整理的Transformer 模型学习路线图与资源清单。本指南将帮助你利用该路线图中的核心资源，快速搭建环境并运行第一个 Transformer 示例。

环境准备

在开始学习与实践前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：3.8 或更高版本
• 硬件建议：如需训练模型或运行大型推理，建议配备 NVIDIA GPU 及 CUDA 驱动；仅学习理论或使用小模型时，CPU 即可。
• 前置知识：具备基础的 Python 编程能力及深度学习概念（如神经网络、反向传播）。

安装步骤

根据路线图中"Applying Transformers"部分的推荐，我们将使用业界标准的 Hugging Face Transformers 库进行实践。

1. 创建虚拟环境（推荐）：

   python -m venv transformer-env
   source transformer-env/bin/activate  # Windows 用户请使用: transformer-env\Scripts\activate
   

2. 安装核心依赖： 为了加速下载，推荐使用国内镜像源（如清华大学源）安装 PyTorch 和 Transformers。

   • 安装 PyTorch (请访问 pytorch.org 获取适合你 CUDA 版本的具体命令，以下为 CPU 版本示例):

     pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
     

   • 安装 Transformers 及相关工具 (使用清华镜像):

     pip install transformers datasets accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple
     

3. 验证安装： 在 Python 交互环境中运行以下代码，若无报错则安装成功：

   from transformers import pipeline
   print("Transformers 安装成功！")
   

基本使用

完成环境配置后，你可以利用 Hugging Face 的 pipeline API 轻松调用预训练的 Transformer 模型。以下是基于路线图中提到的资源进行的情感分析最小化示例：

from transformers import pipeline

# 初始化一个情感分析管道 (自动下载并加载预训练模型)
classifier = pipeline("sentiment-analysis")

# 运行推理
result = classifier("I love learning about Transformers!")[0]

# 输出结果
print(f"标签：{result['label']}")
print(f"置信度：{result['score']:.4f}")

进阶实践建议： 若你想深入理解原理（如路线图中"Implementation"部分所述），建议参考 The Annotated Transformer 教程，尝试从零实现 Attention 机制：

• 教程地址：The Annotated Transformer
• Colab 实战：Google Colab Notebook