Hugging Face Llama 食谱

🤗🦙欢迎！本仓库包含帮助您快速入门 Llama 3.x 模型的最小化示例，包括 Llama 3.1、Llama 3.2 和 Llama 3.3。

• 想要了解 Llama 3.1 的概述，请访问 Hugging Face 公告博客 (3.1)。
• 想要了解 Llama 3.2 的概述，请访问 Hugging Face 公告博客 (3.2)。
• 想要获取更多使用开源机器学习的端到端高级用例，请访问 开源 AI Cookbook。

本仓库正在积极开发中，未来几天可能会有重大变化。

[!NOTE] 要使用 Llama 3.x，您需要接受许可协议并请求访问模型的权限。请访问 Hugging Face 仓库 提交您的请求。每个模型系列只需完成一次请求；如果您的请求获批，您将获得该系列所有仓库的访问权限。

快速开始

在本地快速运行 Llama 🦙 的最简单方式是使用 🤗 transformers 库。请确保已安装最新版本。

$ pip install -U transformers

让我们与一个指令微调模型进行对话。

import torch
from transformers import pipeline

device = "cuda" if torch.cuda.is_available() else "cpu"

llama_31 = "meta-llama/Llama-3.1-8B-Instruct" # <-- llama 3.1
llama_32 = "meta-llama/Llama-3.2-3B-Instruct" # <-- llama 3.2

prompt = [
    {"role": "system", "content": "You are a helpful assistant, that responds as a pirate."},
    {"role": "user", "content": "What's Deep Learning?"},
]

generator = pipeline(model=llama_32, device=device, torch_dtype=torch.bfloat16)
generation = generator(
    prompt,
    do_sample=False,
    temperature=1.0,
    top_p=1,
    max_new_tokens=50
)

print(f"Generation: {generation[0]['generated_text']}")

# Generation:
# [
#   {'role': 'system', 'content': 'You are a helpful assistant, that responds as a pirate.'},
#   {'role': 'user', 'content': "What's Deep Learning?"},
#   {'role': 'assistant', 'content': "Yer lookin' fer a treasure trove o'
#             knowledge on Deep Learnin', eh? Alright then, listen close and
#             I'll tell ye about it.\n\nDeep Learnin' be a type o' machine
#             learnin' that uses neural networks"}
# ]

本地推理

您想本地运行 Llama 模型的推理吗？我们也是！内存需求取决于模型大小和权重精度。以下是不同配置所需的大致内存：

模型规模	Llama 变体	BF16/FP16	FP8	INT4(AWQ/GPTQ/bnb)
1B	3.2	2.5 GB	1.25GB	0.75GB
3B	3.2	6.5 GB	3.2GB	1.75GB
8B	3.1	16 GB	8GB	4GB
70B	3.1 和 3.3	140 GB	70GB	35GB
405B	3.1	810 GB	405GB	204GB

[!NOTE] 这些是估计值，具体数值可能因具体实现细节和优化方式而有所不同。

使用强大的 Llama 3.1 8B 模型：

• 使用 bitsandbytes 以 4 位量化运行 Llama 3.1 8B
• 使用 bitsandbytes 以 8 位量化运行 Llama 3.1 8B
• 使用 AWQ 和融合算子运行 Llama 3.1 8B

使用 🐘 大型 Llama 3.1 405B 模型：

• 运行 Llama 3.1 405B FP8
• 使用 AWQ 将 Llama 3.1 405B 量化至 INT4
• 使用 GPTQ 将 Llama 3.1 405B 量化至 INT4

模型微调：

仅运行模型推理往往是不够的。很多时候，您需要根据自定义数据集对模型进行微调。以下是展示如何微调模型的一些脚本。

根据自定义数据集微调模型：

• 在自定义数据集上微调 Llama 3.2 Vision
• 使用 TRL 对 Llama 3.2 Vision 进行监督微调
• 如何使用 bitsandbytes 在消费级 GPU 上使用 PEFT 和 QLoRA 微调 Llama 3.1 8B
• 在 SLURM 管理的计算集群上执行 Llama 3.1 405B 模型的分布式微调任务

辅助解码技术

您想使用较小的 Llama 3.2 模型来加速较大模型的文本生成吗？这些笔记本展示了辅助解码（投机解码），使用 Llama 3.1 70B（贪婪解码）可实现高达 2 倍的文本生成加速。

• 使用 🐘 Llama 3.1 70B 和 🤏 Llama 3.2 3B 运行辅助解码
• 使用 Llama 3.1 8B 和 Llama 3.2 1B 运行辅助解码
• 使用 405B 模型进行辅助解码

性能优化

让我们优化性能吧！

• 使用 torch.compile 加速推理
• 使用 torch.compile 和 4 位量化（torchao）加速推理
• 量化 KV Cache 以降低内存需求
• 如何使用动态缓存重用提示词
• 如何设置使用 DeepSpeed 和混合精度以及 Zero-3 优化的分布式训练

API 推理

这些模型对您来说太大而无法在本地运行吗？您想尝试 Llama 70B 吗？请尝试以下示例！

• 为 PRO 用户使用推理 API

Llama Guard 和 Prompt Guard

除了生成模型外，Meta 还发布了两个新模型：Llama Guard 3 和 Prompt Guard。Prompt Guard 是一个小型分类器，用于检测越狱攻击和提示词注入。Llama Guard 3 是一个安全防护模型，可以对 LLM 的输入和生成内容进行分类。以下笔记本展示了如何使用它们：

• 使用 Prompt Guard 检测越狱攻击和提示词注入
• 在 LLM 工作流中集成 Llama Guard 以检测提示词安全性

合成数据生成

随着模型对数据的需求不断增长，合成数据生成的需求也在增加。在这里我们将向您展示如何构建自己的合成数据集。

• 使用 distilabel 生成合成数据

Llama RAG

正在寻找入门级的 RAG 管道吗？本笔记本将引导您使用 Llama 和 Hugging Face 构建一个简单流畅的 RAG 实验。

• 简单 RAG 管道

使用 Llama 模型的文本生成推理 (TGI) 与 API 推理

文本生成推理 (TGI，Text Generation Inference) 框架支持 Llama 模型的高效可扩展部署。在本 notebook 中，我们将学习如何集成 TGI 以实现快速文本生成，以及如何通过推理 API (Inference API) 调用已部署的 Llama 模型：

• 使用 Llama 模型的文本生成推理 (TGI)

使用 Llama 模型的聊天机器人演示

您想使用 Llama 模型构建聊天机器人吗？这里有一个简单的示例，帮助您快速入门。

• 使用 Llama 模型的聊天机器人

工具调用

在本 notebook 中，我们将探索 Llama 模型的工具调用能力，同时使用并集成 chat_template 功能来实现工具交互。

• 使用 Llama 模型的工具调用

Hugging Face Llama Recipes 快速上手指南

环境准备

• Python: 3.8+
• GPU: 推荐使用 NVIDIA GPU（CUDA 11.8+）
• 内存: 根据模型大小需求不同，详见下方"本地推理"部分

前置依赖

# 确保 pip 已是最新版本
pip install -U pip

安装步骤

1. 安装 transformers（推荐使用国内镜像源）

# 方式一：使用清华镜像源
pip install -U transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

# 方式二：使用阿里云镜像源
pip install -U transformers -i https://mirrors.aliyun.com/pypi/simple/simple/

2. 安装其他必要依赖

# 安装 torch（根据 CUDA 版本选择）
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 bitsandbytes（用于量化推理）
pip install bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 申请模型访问权限

[!IMPORTANT] 使用 Llama 3.x 模型前，需要：

1. 访问 Hugging Face Llama 仓库 并接受许可证
2. 提交访问权限申请（通常一次申请可获得整个模型集合的访问权限）

基本使用

最简单的推理示例

import torch
from transformers import pipeline

device = "cuda" if torch.cuda.is_available() else "cpu"

# 可选模型：Llama 3.1 或 Llama 3.2
llama_31 = "meta-llama/Llama-3.1-8B-Instruct"
llama_32 = "meta-llama/Llama-3.2-3B-Instruct"

# 构建提示词
prompt = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What's Deep Learning?"},
]

# 创建推理管道
generator = pipeline(model=llama_32, device=device, torch_dtype=torch.bfloat16)

# 生成回复
generation = generator(
    prompt,
    do_sample=False,
    temperature=1.0,
    top_p=1,
    max_new_tokens=50
)

print(generation[0]['generated_text'])

本地推理内存需求参考

模型大小	Llama 版本	BF16/FP16	FP8	INT4 量化
1B	3.2	2.5 GB	1.25 GB	0.75 GB
3B	3.2	6.5 GB	3.2 GB	1.75 GB
8B	3.1	16 GB	8 GB	4 GB
70B	3.1/3.3	140 GB	70 GB	35 GB

进阶：4-bit 量化推理

如需在消费级 GPU 上运行大模型，可使用量化技术：

from transformers import AutoModelForCausalLM, AutoTokenizer
import bitsandbytes as bnb

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B-Instruct",
    load_in_4bit=True,
    quantization_config=bnb.QuantizationConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4"
    ),
    device_map="auto"
)

快速链接

仓库还包含更多高级示例：

• 微调: fine_tune/ 目录下的 QLoRA、PEFT 示例
• 性能优化: performance_optimization/ 目录下的 torch.compile、DeepSpeed 配置
• RAG: llama_rag/ 目录下的 RAG 流水线示例
• 工具调用: tool_calling/ 目录下的工具调用示例