烹饪书

面向初学者的深度学习，作者：Quentin Anthony、Jacob Hatef、Hailey Schoelkopf 和 Stella Biderman

包含处理真实模型所需的所有实用细节和工具！如果你刚刚入门，建议直接跳转到基础，那里有一些关于 Transformer 的入门资源。

目录

• 烹饪书
  • 实用工具
    • 计算
    • 基准测试
  • 阅读清单
    • 基础
    • 如何进行 LLM 计算
    • 分布式深度学习
    • 最佳实践
    • 数据/模型目录
  • 用于教育目的的极简仓库
  • 贡献

实用工具

计算

用于训练/推理相关的计算（例如 FLOPs、内存开销和参数量）

• calc

一些有用的外部计算器包括：

Cerebras Model Lab。一个用户友好的工具，可用于应用 Chinchilla 缩放法则。

Transformer 训练与推理 VRAM 估算器，由 Alexander Smirnov 开发。这是一个易于使用的工具，用于估算 VRAM 开销。

基准测试

通信基准测试

• benchmarks/communication

Transformer 尺寸选择及 GEMM 基准测试

• benchmarks/sizing

阅读清单

基础

LLM 可视化。清晰的 LLM 可视化和动画，帮助理解基本的 Transformer 结构。

PyTorch 论文注释实现

Jay Alammar 的博客 包含许多适合不同背景读者的文章。我们特别推荐他的文章《图解 Transformer》(https://jalammar.github.io/illustrated-transformer/) 和《图解 GPT-2》(https://jalammar.github.io/illustrated-gpt2/)。

注释版 Transformer，由 Sasha Rush、Austin Huang、Suraj Subramanian、Jonathan Sum、Khalid Almubarak 和 Stella Biderman 共同编写。该资源详细解读了经典论文《Attention is All You Need》，并附带 PyTorch 中的代码实现。

Transformer 解释器，由 Aeree Cho、Grace C. Kim、Alexander Karpekov、Alec Helbling、Jay Wang、Seongmin Lee、Benjamin Hoover 和 Polo Chau 共同开发。它可以在你的浏览器中实时运行一个 gpt-2 模型，并提供可视化和自定义选项。

如何进行 LLM 计算

Transformer 数学入门。EleutherAI 发布的一篇博客文章，介绍了训练/推理中的内存估算、并行性、FLOP 计算以及深度学习的数据类型。

Transformer 推理中的算术，由 Carol Chen 撰写。详细分析了 Transformer 推理过程中的内存开销、FLOPs 和延迟。

LLM 微调的内存需求，由 Alex Birch 撰写。这是一份关于微调模型内存开销的实用指南。

分布式深度学习

关于分布式训练和高效微调的一切，由 Sumanth R Hegde 撰写。提供了关于并行性和高效微调的高层次描述及相关链接。

多 GPU 上的高效训练，由 Hugging Face 提供。其中详细介绍了模型并行、张量并行和数据并行技术，以及 ZeRO 优化器的使用。

论文：

• 使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型
• 揭秘并行与分布式深度学习：深入的并发分析
• ZeRO：面向万亿参数模型训练的内存优化
• PyTorch FSDP：全切片数据并行扩展经验
• PyTorch 分布式：加速数据并行训练的经验

最佳实践

ML-Engineering 仓库。由 Stas Bekman 主导，包含了社区分享的深度学习训练相关笔记和实用细节。

常见超参数设置，由 Stella Biderman 整理。记录了模型训练中超参数的常用设置，以及她目前对新模型训练的建议。

muP 实践指南 是 Cerebras 和 EleutherAI 联合推出的一个项目。它清晰地介绍了 muP 的基础知识，并附带了一个基于 nanoGPT 的简单实现。

数据和模型目录

LLM 目录，由 Stella Biderman 整理。记录了已训练 LLM 的详细信息，包括许可证、架构类型和数据集。

数据溯源探索器。一个用于追踪和筛选最受欢迎的开源微调数据集来源的工具。

用于教育目的的极简仓库

大型语言模型通常使用非常复杂的代码库进行训练，因为需要优化以支持大规模运行和多种可配置选项。这使得它们作为教学工具时效果不佳。因此，一些人开发了精简版的“极简实现”，这些实现足以应对小规模任务，且更适合作为教学工具。

GPT 推理

• https://github.com/pytorch-labs/gpt-fast/tree/main

GPT 训练

• https://github.com/karpathy/minGPT

特定架构示例：

• https://github.com/zphang/minimal-gpt-neox-20b
• https://github.com/zphang/minimal-llama
• https://github.com/zphang/minimal-opt

RWKV

• https://github.com/Hannibal046/nanoRWKV/tree/main

贡献

如果你发现了 bug、错别字，或者想提出改进建议，请随时打开一个 Issue 或提交一个 PR。

引用方式

如果你觉得这个仓库对你有帮助，请考虑使用以下格式引用：

@misc{anthony2024cookbook,
    title = {{The EleutherAI Model Training Cookbook}},
    author = {Anthony, Quentin and Hatef, Jacob and Schoelkopf, Hailey and Biderman, Stella},
    howpublished = {GitHub Repo},
    url = {https://github.com/EleutherAI/cookbook},
    year = {2024}
}

Cookbook 快速上手指南

Cookbook 是由 EleutherAI 社区维护的深度学习实用资源库，专注于大语言模型（LLM）训练与推理中的实际计算、基准测试及最佳实践。它并非一个需要编译安装的软件包，而是一个包含计算工具、阅读清单和最小化代码示例的资源集合。

环境准备

本项目主要作为文档和资源索引使用，部分子模块（如 calc 或 benchmarks）可能需要基础的 Python 环境。

• 系统要求：Linux / macOS / Windows (WSL 推荐)
• 前置依赖：
  • Python 3.8+
  • Git
  • PyTorch (用于运行部分计算脚本和基准测试)
  • NVIDIA GPU (可选，用于运行通信基准测试或本地推理演示)

安装步骤

由于 Cookbook 是资源集合，推荐使用 git clone 获取完整内容，以便访问本地的计算工具和基准测试代码。

1. 克隆仓库

   git clone https://github.com/EleutherAI/cookbook.git
   cd cookbook
   

2. 安装 Python 依赖（可选） 如果您计划运行 calc/ 目录下的计算脚本或 benchmarks/ 中的基准测试，建议安装基础深度学习依赖。国内用户可使用清华源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若根目录无 requirements.txt，请根据具体子模块需求安装 torch, numpy 等)

3. 验证安装 进入计算工具目录查看可用脚本：

   ls calc/
   

基本使用

Cookbook 的核心价值在于其提供的计算工具、学习路径和极简代码实现。以下是三种最常用的场景：

1. 使用本地计算工具 (Calculations)

用于估算训练/推理所需的 FLOPs、显存占用及参数量。

进入 calc 目录运行相关脚本（示例）：

cd calc
python calculate_memory.py --model-size 7b --batch-size 4

提示：若不想运行本地脚本，可直接访问 README 中推荐的在线工具，如 Cerebras Model Lab 或 VRAM Estimator。

2. 运行基准测试 (Benchmarks)

用于测试通信效率或 Transformer 算子性能。

运行通信基准测试：

cd benchmarks/communication
python run_benchmark.py

运行模型尺寸与 GEMM 基准测试：

cd benchmarks/sizing
python benchmark_gemm.py

3. 参考极简代码进行教学 (Minimal Repositories)

对于希望从零理解 LLM 架构的开发者，直接参考 Minimal Repositories 章节中链接的轻量级仓库是最佳起点。例如，学习 GPT 训练逻辑：

# 克隆 karpathy 的 minGPT 进行学习
git clone https://github.com/karpathy/minGPT
cd minGPT
pip install -e .

或者在浏览器中直接体验交互式解释器：

• Transformer Explainer (浏览器内运行 GPT-2 可视化)
• LLM Visualizations

提示：更多详细的数学推导、分布式训练策略及超参数设置建议，请直接查阅项目根目录下的文档或访问 README 中列出的 "Reading List" 博客文章。