弃用说明

感谢您使用 Llama 模型进行开发。作为 Llama 3.1 发布的一部分，我们整合了 GitHub 仓库，并随着 Llama 功能的扩展，新增了一些仓库，以构建端到端的 Llama Stack。请今后使用以下仓库：

• llama-models - 基础模型的中心仓库，包含基础工具、模型卡片、许可证及使用政策。
• PurpleLlama - Llama Stack 的核心组件，专注于安全风险与推理时缓解措施。
• llama-toolchain - 模型开发（推理/微调/安全防护/合成数据生成）的接口及标准实现。
• llama-agentic-system - 端到端的独立 Llama Stack 系统，配备明确的基础接口，支持创建智能体应用。
• llama-cookbook - 社区驱动的脚本与集成。

如有任何疑问，请随时在上述任一仓库中提交问题，我们将尽力及时回复。

谢谢！

（已弃用）Llama 2

我们正在释放大型语言模型的力量。Llama 2 现已向个人、创作者、研究人员以及各种规模的企业开放，使他们能够负责任地试验、创新并规模化自己的想法。

本次发布包括预训练和微调后的 Llama 语言模型权重及起始代码，参数范围从 70 亿到 700 亿不等。

此仓库旨在提供一个最小示例，用于加载 Llama 2 模型并运行推理。如需更详细的基于 Hugging Face 的示例，请参阅 llama-cookbook。

上线后更新

请参阅 UPDATES.md。有关常见问题的持续更新列表，请访问 此处。

下载

要下载模型权重和分词器，请访问 Meta 官网 并接受我们的许可协议。

申请获批后，您将通过电子邮件收到一个签名的下载链接。然后运行 download.sh 脚本，在提示时输入提供的链接以开始下载。

先决条件：请确保已安装 wget 和 md5sum。随后运行脚本：./download.sh。

请注意，链接会在 24 小时后或达到一定下载次数后失效。如果出现类似 403: Forbidden 的错误，您可以随时重新申请链接。

Hugging Face 访问权限

我们也在 Hugging Face 提供下载。您可以通过确认许可协议并在相应仓库的模型卡片中填写表格来申请访问权限。完成操作后，您将在 1 小时内获得该版本所有 Llama 模型（Code Llama、Llama 2 或 Llama Guard）的访问权限。

快速入门

您可以按照以下步骤快速上手 Llama 2 模型。这些步骤将帮助您在本地进行快速推理。更多示例请参阅 Llama 2 烹饪书仓库。

1. 在已安装 PyTorch 和 CUDA 的 conda 环境中，克隆并下载此仓库。

2. 在顶级目录中运行：

   pip install -e .
   

3. 访问 Meta 官网 并注册以下载模型。

4. 注册成功后，您将收到一封包含模型下载链接的电子邮件。运行 download.sh 脚本时需要使用此链接。

5. 收到邮件后，导航至您下载的 Llama 仓库并运行 download.sh 脚本。

   • 请确保为 download.sh 脚本授予执行权限。
   • 在此过程中，系统会提示您输入邮件中的链接。请勿使用“复制链接”功能，而是手动从邮件中复制链接。

6. 当您所需的模型下载完成后，可以使用以下命令在本地运行模型：

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir llama-2-7b-chat/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

注意

• 请将 llama-2-7b-chat/ 替换为您检查点目录的路径，将 tokenizer.model 替换为您分词器模型的路径。
• --nproc_per_node 应设置为您所用模型的 MP 值。
• 根据需要调整 max_seq_len 和 max_batch_size 参数。
• 此示例运行的是本仓库中的 example_chat_completion.py，但您也可以替换为其他 .py 文件。

推理

不同模型需要不同的模型并行度 (MP) 值：

模型	MP
7B	1
13B	2
70B	8

所有模型均支持最长 4096 个标记的序列长度，但我们根据 max_seq_len 和 max_batch_size 值预先分配缓存。因此，请根据您的硬件配置相应设置这些参数。

预训练模型

这些模型未针对聊天或问答任务进行微调。应通过提示来引导模型，使其自然延续提示内容以生成预期答案。

请参阅 example_text_completion.py 中的一些示例。例如，以下命令可使用 llama-2-7b 模型运行（nproc_per_node 需设置为对应的 MP 值）：

torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir llama-2-7b/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4

微调后的聊天模型

这些微调后的模型是为对话应用训练的。为了获得预期的功能和性能，需要遵循 chat_completion 中定义的特定格式，包括 INST 和 <<SYS>> 标签、BOS 和 EOS 令牌，以及中间的空格和换行符（建议对输入调用 strip() 方法以避免出现双空格）。

您还可以部署额外的分类器来过滤掉被认为不安全的输入和输出。请参阅 llama-cookbook 仓库中的示例，了解如何在推理代码中为输入和输出添加安全检查器。

使用 llama-2-7b-chat 的示例：

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir llama-2-7b-chat/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

Llama 2 是一项新技术，其使用可能带来潜在风险。迄今为止进行的测试并未——也无法——涵盖所有场景。

为了帮助开发者应对这些风险，我们制定了负责任使用指南。更多详细信息也可在我们的研究论文中找到。

问题

如发现任何软件“漏洞”或其他与模型相关的问题，请通过以下任一方式提交报告：

• 模型相关问题：github.com/facebookresearch/llama
• 模型生成的风险内容：developers.facebook.com/llama_output_feedback
• 漏洞及安全问题：facebook.com/whitehat/info

模型卡片

请参阅 MODEL_CARD.md。

许可证

我们的模型及其权重面向研究人员和商业实体开放许可，秉持开放原则。我们的使命是通过这一机会赋能个人和行业，同时营造一个促进发现与伦理人工智能发展的环境。

请参阅 LICENSE 文件，以及我们随附的可接受使用政策。

参考文献

1. 研究论文
2. Llama 2 技术概述
3. 开放创新人工智能研究社区

常见问题解答可在此处找到，并将根据新问题的出现持续更新。

原始 Llama

原始 Llama 发布版本的代码库位于 llama_v1 分支中。

Llama 2 快速上手指南

⚠️ 重要提示：版本弃用通知 本仓库（Llama 2）已标记为弃用。Meta 已发布 Llama 3.1 并将功能整合为完整的 Llama Stack。新开发建议优先使用以下官方仓库：

• llama-models：基础模型核心库
• llama-toolchain：推理、微调及安全工具链
• llama-agentic-system：智能体应用系统
• llama-cookbook：社区驱动的示例与集成脚本

以下内容仅针对 Llama 2 模型的本地最小化运行演示。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐) 或 macOS
• 硬件要求：
  • 具备 NVIDIA GPU 且支持 CUDA
  • 显存需求参考：7B 模型需约 14GB+，13B 需 24GB+，70B 需多卡并行（见下文推理部分）
• 软件依赖：
  • Python 3.8+
  • Conda (推荐用于环境管理)
  • wget 和 md5sum (用于下载脚本)
  • PyTorch (需带 CUDA 支持)

安装步骤

1. 创建并激活 Conda 环境

conda create -n llama python=3.10
conda activate llama

2. 克隆仓库并安装依赖

git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -e .

(注：国内开发者若遇网络问题，可配置 pip 国内镜像源，如 pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 获取模型权重

由于版权限制，模型权重无法直接通过代码下载，需手动申请：

1. 访问 Meta AI Llama 下载页面 并接受许可协议。
2. 填写表单后，您将收到一封包含下载链接 URL的邮件。
3. 在项目根目录运行下载脚本：

   chmod +x download.sh
   ./download.sh
   

4. 按提示粘贴邮件中的 URL（请手动复制完整链接，不要使用右键“复制链接”以免格式错误）。
   • 注意：链接有效期为 24 小时，若下载中断或报错 403，请重新申请链接。

(替代方案：您也可以通过 Hugging Face 申请访问权限，审核通过后通常 1 小时内可使用 git lfs 拉取模型。)

基本使用

下载完成后，根据您的模型类型（预训练基座模型 或 对话微调模型）选择对应的运行方式。

场景一：运行对话模型 (Chat Models)

适用于 llama-2-7b-chat, llama-2-13b-chat 等。这些模型经过指令微调，适合多轮对话。

注意：--nproc_per_node 参数需根据模型大小设置（7B=1, 13B=2, 70B=8）。

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir llama-2-7b-chat/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

请将 llama-2-7b-chat/ 替换为您实际下载的模型文件夹路径。

场景二：运行预训练基座模型 (Pretrained Models)

适用于 llama-2-7b, llama-2-13b 等。这些模型未针对对话优化，适用于文本续写任务。

torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir llama-2-7b/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4

关键参数说明

• --ckpt_dir: 模型权重文件所在的目录路径。
• --tokenizer_path: 分词器模型文件路径（通常为 tokenizer.model）。
• --max_seq_len: 最大序列长度（所有模型最高支持 4096 tokens，请根据显存调整）。
• --max_batch_size: 批处理大小，请根据显卡显存容量适当调小以避免 OOM。

模型并行度 (Model Parallelism) 参考表

运行不同参数量模型时，必须正确设置 --nproc_per_node：

模型规模	所需并行卡数 (MP)	命令参数示例
7B	1	--nproc_per_node 1
13B	2	--nproc_per_node 2
70B	8	--nproc_per_node 8