🤗 Hugging Face 上的模型  | 博客  | 官网  | 入门指南  | Llama 烹饪书 

---

Llama 模型

Llama 是一款面向开发者、研究人员和企业的开放且易于使用的大型语言模型（LLM），旨在帮助他们构建、实验并负责任地扩展生成式 AI 创意。作为基础系统的一部分，Llama 为全球社区的创新奠定了坚实的基础。其核心特点包括：

1. 开放访问：轻松获取前沿的大型语言模型，促进开发者、研究人员和各组织之间的协作与进步。
2. 广泛的生态系统：Llama 模型已被下载数亿次，社区基于 Llama 构建了数千个项目，从云服务提供商到初创公司都提供了广泛的支持——全世界都在使用 Llama 进行开发！
3. 信任与安全：Llama 模型是全面信任与安全方法的一部分，我们发布模型和工具，旨在支持社区协作，并推动生成式 AI 领域中信任与安全工具的标准化开发与应用。

我们的使命是通过这一机会赋能个人和行业，同时营造一个充满发现与伦理 AI 进步的环境。模型权重以开放原则为基础，向研究机构和商业实体授权许可。

Llama 模型

模型	发布日期	模型规模	上下文长度	分词器	可接受使用政策	许可证	模型卡片
Llama 2	2023年7月18日	7B, 13B, 70B	4K	Sentencepiece	使用政策	许可证	模型卡片
Llama 3	2024年4月18日	8B, 70B	8K	基于 TikToken	使用政策	许可证	模型卡片
Llama 3.1	2024年7月23日	8B, 70B, 405B	128K	基于 TikToken	使用政策	许可证	模型卡片
Llama 3.2	2024年9月25日	1B, 3B	128K	基于 TikToken	使用政策	许可证	模型卡片
Llama 3.2-Vision	2024年9月25日	11B, 90B	128K	基于 TikToken	使用政策	许可证	模型卡片
Llama 3.3	2024年12月4日	70B	128K	基于 TikToken	使用政策	许可证	模型卡片
Llama 4	2025年4月5日	Scout-17B-16E, Maverick-17B-128E	10M, 1M	基于 TikToken	使用政策	许可证	模型卡片

下载

要下载模型权重和分词器：

1. 访问 Meta Llama 官网。

2. 阅读并接受许可证协议。

3. 请求获批后，您将通过电子邮件收到一个签名后的下载链接。

4. 安装 Llama Models CLI：pip install llama-models。（<-- 如果您已收到邮件，请从此处开始。）

5. 运行 llama-model list 查看最新可用模型，并确定您想要下载的模型 ID。注意： 如果您需要较旧版本的模型，请运行 llama-model list --show-all 以显示所有可用的 Llama 模型。

6. 运行：llama-model download --source meta --model-id CHOSEN_MODEL_ID

7. 在提示时输入提供的 URL 以开始下载。

请记住，链接在 24 小时后或达到一定下载次数后会失效。如果出现类似 403: Forbidden 的错误，您可以随时重新请求链接。

CLI 命令参考

安装完成后，llama-model CLI 提供以下命令：

llama-model list              # 列出可用模型
llama-model list --show-all   # 列出所有模型（包括旧版本）
llama-model describe -m MODEL_ID     # 显示特定模型的详细信息
llama-model download          # 从 Meta 或 Hugging Face 下载模型
llama-model verify-download   # 验证已下载模型的完整性
llama-model remove -m MODEL_ID       # 删除已下载的模型
llama-model prompt-format -m MODEL_ID  # 显示模型的提示格式

如需了解任何命令的详细帮助，请运行 llama-model COMMAND --help。

运行模型

要运行模型，您需要在克隆仓库后安装依赖项。

# 在合适的 Python 环境中运行（uv、conda 或 virtualenv）
pip install .[torch]

示例脚本位于 models/{ llama3, llama4 }/scripts/ 子目录中。请注意，Llama 4 系列模型至少需要 4 张 GPU 卡才能以全精度（bf16）进行推理。

#!/bin/bash

NGPUS=4
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS

上述脚本适用于 Instruct（聊天）模型。对于 Base 模型，请更新 CHECKPOINT_DIR 路径，并使用 models.llama4.scripts.completion 脚本。

使用 FP8 和 Int4 量化进行推理

通过使用 FP8 或 Int4 量化进行推理，可以在精度损失最小的情况下降低模型的内存占用。使用 --quantization-mode 标志来指定量化模式。有两种模式：

• fp8_mixed：混合精度推理，部分权重使用 FP8，激活值使用 bfloat16。
• int4_mixed：混合精度推理，部分权重使用 Int4，激活值使用 bfloat16。

使用 FP8 时，运行 Llama-4-Scout-17B-16E-Instruct 需要两块 80GB 显存的 GPU。而使用 Int4 时，则只需一块 80GB 显存的 GPU 即可。

MODE=fp8_mixed  # 或 int4_mixed
if [ $MODE == "fp8_mixed" ]; then
  NGPUS=2
else
  NGPUS=1
fi
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS \
  --quantization-mode $MODE

如需更灵活地进行推理（包括使用其他提供商），请参阅 Llama Stack 工具集。

访问 Hugging Face

我们也在 Hugging Face 上提供了下载，支持 transformers 和原生 llama4 格式。要从 Hugging Face 下载权重，请按照以下步骤操作：

• 访问其中一个仓库，例如 meta-llama/Llama-4-Scout-17B-16E。
• 阅读并接受许可协议。一旦您的申请获得批准，您将被授予访问所有 Llama 3.1 模型以及早期版本的权限。请注意，过去处理申请可能需要长达一小时。
• 要下载用于本仓库的原始原生权重，请点击“Files and versions”选项卡，然后下载 original 文件夹中的内容。您也可以通过命令行下载，只需先执行 pip install huggingface-hub：

huggingface-cli download meta-llama/Llama-4-Scout-17B-16E-Instruct-Original --local-dir meta-llama/Llama-4-Scout-17B-16E-Instruct-Original

• 若要与 transformers 一起使用，可以使用以下代码片段下载并缓存权重：

  # inference.py
  from transformers import AutoTokenizer, Llama4ForConditionalGeneration
  import torch
  
  model_id = "meta-llama/Llama-4-Scout-17B-16E-Instruct"
  
  tokenizer = AutoTokenizer.from_pretrained(model_id)
  
  messages = [
      {"role": "user", "content": "你是谁？"},
  ]
  inputs = tokenizer.apply_chat_template(
      messages, add_generation_prompt=True，return_tensors="pt", return_dict=True
  )
  
  model = Llama4ForConditionalGeneration.from_pretrained(
      model_id，device_map="auto"，torch_dtype=torch.bfloat16
  )
  
  outputs = model.generate(**inputs.to(model.device)，max_new_tokens=100)
  outputs = tokenizer.batch_decode(outputs[:, inputs["input_ids"].shape[-1] :])
  print(outputs[0])
  

   torchrun --nnodes=1 --nproc_per_node=8 inference.py
  

安装

您可以将此仓库作为 包 进行安装，只需执行 pip install llama-models 即可。

负责任的使用

Llama 模型是一种新技术，使用过程中可能存在潜在风险。迄今为止的测试尚未——也不可能——覆盖所有场景。 为帮助开发者应对这些风险，我们制定了《负责任使用指南》链接。

问题反馈

如发现任何软件“漏洞”或其他与模型相关的问题，请通过以下方式之一提交报告：

• 模型相关问题反馈：https://github.com/meta-llama/llama-models/issues
• 模型生成的有害内容反馈：developers.facebook.com/llama_output_feedback
• 漏洞及安全问题反馈：facebook.com/whitehat/info

常见问题

常见问题解答可在 这里 找到，并会随着新问题的出现不断更新。

Llama Models 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)。
• Python 版本: Python 3.10 或更高版本。
• GPU 支持:
  • 运行大模型推理需要 NVIDIA GPU。
  • Llama 4 系列: 全精度 (bf16) 推理至少需要 4 张 GPU；使用 FP8 量化需 2 张 80GB 显存 GPU；使用 Int4 量化需 1 张 80GB 显存 GPU。
  • 较小模型 (如 Llama 3.2 1B/3B) 可在单卡或 CPU 上运行。
• 依赖管理: 推荐使用 uv, conda 或 virtualenv 创建独立的 Python 环境。

安装步骤

1. 获取模型下载权限

Llama 模型权重受许可协议保护，需先申请下载链接：

1. 访问 Meta Llama 官网。
2. 阅读并接受许可协议。
3. 审核通过后，您将收到一封包含签名下载 URL的邮件。

2. 安装 CLI 工具

安装官方提供的 llama-models 命令行工具（国内用户若遇网络问题，可配置 pip 镜像源）：

# 推荐国内镜像源加速安装
pip install llama-models -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载模型权重

使用 CLI 工具管理模型下载：

1. 查看可用模型：

   llama-model list
   # 如需查看旧版本模型
   llama-model list --show-all
   

2. 执行下载： 运行以下命令，当提示输入 URL 时，粘贴您邮件中收到的签名链接。

   llama-model download --source meta --model-id CHOSEN_MODEL_ID
   

   注意：下载链接有效期为 24 小时且有下载次数限制。若出现 403: Forbidden 错误，请重新申请链接。

3. 验证完整性（可选）：

   llama-model verify-download
   

4. 安装运行依赖

克隆仓库后，安装推理所需的 PyTorch 依赖：

# 在项目根目录下执行
pip install .[torch] -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方式一：使用官方脚本运行推理

以下示例展示如何运行 Llama 4 Instruct 模型进行对话。请根据您的实际模型路径修改 CHECKPOINT_DIR。

全精度运行 (需 4 张 GPU):

#!/bin/bash

NGPUS=4
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS

量化运行 (降低显存需求): 使用 --quantization-mode 参数可选择 fp8_mixed (需 2 张 80GB GPU) 或 int4_mixed (需 1 张 80GB GPU)。

MODE=int4_mixed  # 或 fp8_mixed
if [ $MODE == "fp8_mixed" ]; then
  NGPUS=2
else
  NGPUS=1
fi
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS \
  --quantization-mode $MODE

注：如果是 Base 模型而非 Instruct 模型，请将脚本路径中的 chat_completion 改为 completion。

方式二：通过 Hugging Face Transformers 运行

如果您已通过 Hugging Face 获得授权并下载了模型，可直接使用 transformers 库调用：

# inference.py
from transformers import AutoTokenizer, Llama4ForConditionalGeneration
import torch

# 替换为您使用的具体模型 ID
model_id = "meta-llama/Llama-4-Scout-17B-16E-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
)

model = Llama4ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto", torch_dtype=torch.bfloat16
)

outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)
outputs = tokenizer.batch_decode(outputs[:, inputs["input_ids"].shape[-1] :])
print(outputs[0])

运行上述 Python 脚本：

torchrun --nnodes=1 --nproc_per_node=8 inference.py