llm-resource（LLM 百宝箱）

LLM全栈优质资源汇总

非常欢迎大家也参与进来，收集更多优质大模型相关资源。

目录

• 🐼 LLM算法
• 🐘 LLM训练
  • 🐘 LLM微调
  • 🐼 LLM对齐
• 🔥 LLM推理
• :palm_tree: LLM数据工程（Data Engineering）
• 📡 LLM压缩
• 🐰 LLM测评
• 🐘 AI基础知识
• 📡 AI基础设施
  • :palm_tree: AI芯片
  • 🐰 CUDA
• 🐘 AI编译器
• 🐰 AI框架
• 📡 LLM应用开发
• 🐘 LLMOps
• 📡 LLM实践
• 📡微信公众号文章集锦

LLM算法

Transformer

原理：

• Transformer模型详解（图解最完整版
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• Transformer的结构是什么样的？各个子模块各有什么作用？
• 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
• Transformer 一起动手编码学原理
• 为什么transformer(Bert)的多头注意力要对每一个head进行降维？
• Decoder-Only Transformers: The Workhorse of Generative LLMs

源码：

• OpenAI ChatGPT（一）：Tensorflow实现Transformer
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• GPT （一）transformer原理和代码详解
• Transformer源码详解（Pytorch版本）
• 搞懂Transformer结构，看这篇PyTorch实现就够了

GPT1

GPT2

• GPT2 源码：https://github.com/huggingface/transformers/blob/main/src/transformers/models/gpt2/modeling_gpt2.py

• GPT2 源码解析：https://zhuanlan.zhihu.com/p/630970209

• nanoGPT：https://github.com/karpathy/nanoGPT/blob/master/model.py

• 7.3 GPT2模型深度解析：http://121.199.45.168:13013/7_3.html

• GPT（三）GPT2原理和代码详解: https://zhuanlan.zhihu.com/p/637782385

• GPT2参数量剖析: https://zhuanlan.zhihu.com/p/640501114

ChatGPT

• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程
• OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI

GLM

• 预训练语言模型：GLM

LLaMA

MOE 大模型

• Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
• 大模型分布式训练并行技术（八）-MOE并行
• MoE架构模型爆发或将带飞国产AI芯片
• 大模型的模型融合方法概述
• 混合专家模型 (MoE) 详解
• 群魔乱舞：MoE大模型详解
• 大模型LLM之混合专家模型MoE（上-基础篇）
• 大模型LLM之混合专家模型MoE（下-实现篇）

下一代大模型

• https://github.com/NExT-GPT/NExT-GPT
• https://next-gpt.github.io/
• Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model

多模态大模型

A Survey on Multimodal Large Language Models：https://arxiv.org/pdf/2306.13549 Efficient-Multimodal-LLMs-Survey：https://github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey

其他

• 大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合

LLM训练

• 分布式训练 Playbook

• OPT-175B是如何炼成的

• 全网最全-混合精度训练原理

• 飞桨分布式训练4D混合并行可训千亿级AI模型

• Transformer Math 101 - 如何计算显存消耗?

• Megatron-LM 第三篇Paper总结——Sequence Parallelism & Selective Checkpointing

• 大模型训练踩坑

• 学习率(warmup, decay)：

  • 模型调优，学习率设置（Warm Up、loss自适应衰减等），batch size调优技巧，基于方差放缩初始化方法
  • 深度学习模型训练小技巧

LLM微调

• Adapting P-Tuning to Solve Non-English Downstream Tasks

LLM对齐

• MOSS-RLHF
• 模型调优（RLHF/DPO/ORPO）- 终极指南
• DPO: Direct Preference Optimization 论文解读及代码实践
• 强化学习入门：基本思想和经典算法
• 人人都能看懂的PPO原理与源码解读
• 关于Instruct GPT复现的一些细节与想法
• 【RLHF】RL 究竟是如何与 LLM 做结合的？
• 【RLHF】想训练ChatGPT？得先弄明白Reward Model怎么训（附源码）
• Reinforcement Learning from Human Feedback 全家桶（RL 侧）

paper:

• LLM对齐综述
• RLHF-PPO
• DPO
• ORPO

LLM推理

• 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
• 借助 PyTorch，Accelerate 如何运行超大模型
• 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
• LLM七种推理服务框架总结
• LLM投机采样（Speculative Sampling）为何能加速模型推理
• 大模型推理妙招—投机采样（Speculative Decoding）
• https://github.com/flexflow/FlexFlow/tree/inference
• TensorRT-LLM(3)--架构
• NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124
• ​揭秘NVIDIA大模型推理框架：TensorRT-LLM：https://zhuanlan.zhihu.com/p/680808866
• 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers
• DeepSeek-V3 / R1 推理系统概览

大模型推理优化技术

KV Cache：

• 图解大模型推理优化：KV Cache

• [大模型推理百倍加速之KV cache篇](https://mp.weixin.qq.com/s?__biz=MzU3Mzg5ODgxMg==&mid=2247487886&idx=1&sn=38d3cd36c6c5acb2fe5c80ceffcba2cf&chksm=fd3bf8ddca4c71cb243566b593dfa095926b0836e812b4af9a5c10d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d3d......## LLM推理

• 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict

• 借助 PyTorch，Accelerate 如何运行超大模型

• 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理

• LLM七种推理服务框架总结

• LLM投机采样（Speculative Sampling）为何能加速模型推理

• 大模型推理妙招—投机采样（Speculative Decoding）

• https://github.com/flexflow/FlexFlow/tree/inference

• TensorRT-LLM(3)--架构

• NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124

• ​揭秘NVIDIA大模型推理框架：TensorRT-LLM：https://zhuanlan.zhihu.com/p/680808866

• 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers

• DeepSeek-V3 / R1 推理系统概览

大模型推理优化技术

KV Cache：

• 图解大模型推理优化：KV Cache
• 大模型推理百倍加速之KV cache篇
• 大模型推理加速：看图学KV Cache
• 大模型推理性能优化之KV Cache解读

解码优化：

• 大模型推理妙招—投机采样（Speculative Decoding）

vLLM

• vLLM（六）源码解读下 @HelloWorld
• 猛猿：图解大模型计算加速系列：vLLM源码解析1，整体架构
• LLM推理2：vLLM源码学习 @ akaihaoshuai
• 大模型推理框架 vLLM 源码解析（一）：框架概览

LLM数据工程

• An Initial Exploration of Theoretical Support for Language Model Data Engineering. Part 1: Pretraining @ 符尧

LLM压缩

• Awesome Model Quantization
• Efficient-LLMs-Survey
• Awesome LLM Compression
• 模型转换、模型压缩、模型加速工具汇总
• AI 框架部署方案之模型转换
• Pytorch 模型转 TensorRT (torch2trt 教程)

LLM测评

• CLiB中文大模型能力评测榜单
• huggingface Open LLM Leaderboard
• HELM：https://github.com/stanford-crfm/helm
• HELM：https://crfm.stanford.edu/helm/latest/
• lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/
• CLEVA：http://www.lavicleva.com/#/homepage/overview
• CLEVA：https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md

提示工程

• 做数据关键步骤：怎么写好prompt？
• 从1000+模板中总结出的10大提示工程方法助你成为提示词大师！
• 一文搞懂提示工程的原理及前世今生
• Effective Prompt: 编写高质量Prompt的14个有效方法
• 提示工程和提示构造技巧
• 一文带你了解提示攻击！

综合

• 通向AGI之路：大型语言模型（LLM）技术精要
• 大语言模型的涌现能力：现象与解释
• NLP（十八）：LLM 的推理优化技术纵览
• 并行计算3：并行计算模型
• 大模型“幻觉”，看这一篇就够了 | 哈工大华为出品
• 深入理解语言模型的困惑度(perplexity)

safetensors：

• bin和safetensors区别是什么？
• Safetensors：保存模型权重的新格式
• github: safetensors
• huggingface: safetensors
• Safetensors: a simple, safe and faster way to store and distribute tensors.
• https://huggingface.co/docs/safetensors/index
• https://github.com/huggingface/safetensors/tree/v0.3.3
• 手把手教你：LLama2原始权重转HF模型

AI框架

PyTorch

• PyTorch 源码解读系列 @ OpenMMLab 团队
• [源码解析] PyTorch 分布式 @ 罗西的思考
• PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
• 【Pytorch】model.train() 和 model.eval() 原理与用法

DeepSpeed

• DeepSpeed使用指南(简略版)
• 关于Deepspeed的一些总结与心得

Megatron-LM

• Megatron-LM 近期的改动
• 深入理解 Megatron-LM（1）基础知识 @ 简枫
• 深入理解 Megatron-LM（2）原理介绍
• [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
• [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
• [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮​
• [细读经典]Megatron论文和代码详细分析(2)

Megatron-DeepSpeed

Huggingface Transformers

AI基础知识

AI基础设施

AI芯片

• 业界AI加速芯片浅析（一）百度昆仑芯
• NVIDIA CUDA-X AI：https://www.nvidia.cn/technologies/cuda-x/
• Intel，Nvidia，AMD三大巨头火拼GPU与CPU
• 处理器与AI芯片-Google-TPU：https://zhuanlan.zhihu.com/p/646793355
• 一文看懂国产AI芯片玩家
• 深度 | 国产AI芯片，玩家几何

CUDA

• CUDA编程入门（一）CUDA编程模型
• CUDA编程入门（二）GPU硬件基础
• GPU编程（CUDA）
• CUDA编程入门极简教程

AI编译器

• TVM资料
• AI编译器原理 @ZIMO酱

LLM应用开发

• 动手学大模型应用开发
• langchain java
• 大模型主流应用RAG的介绍——从架构到技术细节
• 基于检索的大语言模型和应用（陈丹琦）
• 大模型bad case修复方案思考
• 《综述：全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈游最新Agent Survey

LLMOps

• MLOps Landscape in 2023: Top Tools and Platforms
• What Constitutes A Large Language Model Application? ：LLM Functionality Landscape
• AI System @吃果冻不吐果冻皮

RAG

• https://github.com/hymie122/RAG-Survey

书籍

• 大语言模型原理与工程 @杨青
• 大语言模型从理论到实践 @张奇 ：https://intro-llm.github.io/
• 动手学大模型

LLM实践

• minGPT @karpathy
• llm.c @karpathy: LLM training in simple, raw C/CUDA
• LLM101n
• llama2.c: Inference Llama 2 in one file of pure C
• nanoGPT
• Baby-Llama2-Chinese
• 从0到1构建一个MiniLLM
• gpt-fast 、blog
• CSE 234: Data Systems for Machine Learning
• DSC 291: Machine Learning Systems

大模型汇总资料

• Awesome-Chinese-LLM
• Awesome-LLM-Survey
• Large Language Model Course
• Awesome-Quantization-Papers
• Awesome Model Quantization (GitHub)
• Awesome Transformer Attention (GitHub)
• 语言模型数据选择综述
• Awesome Knowledge Distillation of LLM Papers
• Awasome-Pruning @ghimiredhikura
• Awesome-Pruning @he-y
• awesome-pruning @hrcheng1066
• Awesome-LLM-Inference

微信公众号文章集锦

• 2024年2月大模型文章集锦
• 2024年1月大模型文章集锦
• 2023年12月大模型文章集锦
• 2023年6-11月大模型文章集锦

其他

• Hugging Face 博客

llm-resource 快速上手指南

llm-resource（LLM 百宝箱）并非一个可安装的软件库或框架，而是一个大模型全栈优质资源汇总清单。它旨在为开发者提供从算法原理、训练微调、推理优化到应用开发的全链路学习路径和资源索引。

本指南将指导你如何高效利用该资源库进行学习和开发准备。

1. 环境准备

由于本项目是资源索引，无需特定的系统环境即可浏览。但为了实践资源中涉及的代码（如 Transformer 实现、模型微调、推理部署等），建议准备以下开发环境：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• 编程语言: Python 3.8+
• 核心依赖:
  • PyTorch 或 TensorFlow (根据具体资源选择)
  • Transformers (Hugging Face)
  • CUDA Toolkit (如需使用 GPU 加速，版本需与显卡驱动匹配)
• 网络环境: 部分资源链接托管于 GitHub 或 Hugging Face，国内访问可能较慢，建议配置科学上网环境或使用国内镜像源。

2. 获取资源

你可以通过以下方式获取并浏览该资源列表：

方式一：直接在线浏览（推荐）

直接访问项目的 README 页面（通常在 GitHub 或相关文档平台），利用目录跳转快速查找所需领域的文章、论文或代码库链接。

方式二：克隆仓库到本地

如果你希望离线查阅或贡献内容，可以将项目克隆到本地：

git clone https://github.com/your-repo/llm-resource.git
cd llm-resource

(注：请将上述 URL 替换为该项目实际的 GitHub 地址)

3. 基本使用指南

llm-resource 的核心价值在于其分类清晰的目录结构。以下是针对不同需求的使用路径：

场景 A：初学者入门原理

如果你想理解大模型的基础架构：

1. 打开目录中的 🐼 [LLM 算法](#llm 算法) 章节。
2. 阅读 Transformer 子栏目下的“原理”类文章（如《Transformer 模型详解》）。
3. 结合“源码”栏目中的 PyTorch/TensorFlow 实现教程进行代码复现。

场景 B：模型训练与微调

如果你需要训练或微调自己的模型：

1. 前往 🐘 [LLM 训练](#llm 训练) 章节。
2. 全量训练: 参考“分布式训练 Playbook"和显存计算相关文章。
3. 微调 (Fine-tuning): 查看 LLM 微调 子栏目，学习 P-Tuning 等技术。
4. 对齐 (Alignment): 在 LLM 对齐 子栏目中查找 RLHF、DPO 的论文解读及代码实践（如 MOSS-RLHF）。

场景 C：推理加速与部署

如果你关注模型上线后的性能优化：

1. 进入 🔥 [LLM 推理](#llm 推理) 章节。
2. 学习 KV Cache、投机采样 (Speculative Decoding) 等优化技术原理。
3. 参考 vLLM、TensorRT-LLM 等框架的源码解析和架构介绍，选择合适的推理引擎。
4. 查看 📡 [LLM 压缩](#llm 压缩) 章节，了解量化（Quantization）和模型转换工具。

场景 D：跟进前沿技术

如果你想了解最新的技术动态：

1. 查阅 MOE 大模型、多模态大模型 及 下一代大模型 章节。
2. 阅读其中收录的最新论文（ArXiv）和技术博客，了解 Mixtral、NExT-GPT 等前沿架构。

4. 参与贡献

该项目鼓励社区共同参与建设。如果你发现了优质的新资源：

1. 遵循现有的 Markdown 目录结构。
2. 将新的链接添加到对应的分类下（例如将新的微调教程放入 LLM 微调）。
3. 提交 Pull Request 至项目仓库。