Llama 烹饪书

使用 Llama 进行构建的官方指南

欢迎来到官方仓库，它将帮助您开始使用 Llama 模型系列进行 推理、微调 和 端到端用例。

此仓库涵盖了社区中最流行的方案、用例以及 Llama 文本和视觉模型的最新教程。

最新 Llama 4 教程

• 开始使用 Llama API
• 将 Llama API 与 WhatsApp 集成
• 使用 Llama 4 Scout 处理 500 万字长上下文
• 使用 Llama 4 Maverick 分析研究论文
• 使用 Llama 4 Maverick 根据书籍创建角色思维导图

仓库结构：

• 第三方集成：来自不同 Llama 提供者的入门教程和端到端用例
• 端到端用例：顾名思义，涵盖多个领域和应用
• 入门：用于推理、微调和 RAG 示例的参考
• src：包含原始 llama-recipes 库的源代码以及一些关于微调的常见问题解答。

注意：我们最近对仓库进行了重构，archive-main 是重构前的快照分支

常见问题解答：

• 问： llama-recipes 怎么了？ 答： 我们最近将 llama-recipes 重命名为 llama-cookbook。

• 问： 我有一些关于微调的问题，是否有专门的部分来解答这些问题？ 答： 请查看微调常见问题解答 这里。

• 问： 有些链接已损坏或文件夹缺失： 答： 我们最近对仓库进行了重构，archive-main 是重构前的快照分支。

• 问： 我们在哪里可以找到有关最新模型的详细信息？ 答： 官方 Llama 模型网站。

贡献

请阅读 CONTRIBUTING.md，了解我们的行为准则以及向我们提交拉取请求的流程。

许可证

Meta Llama 4 的许可证文件请见 这里 和可接受使用政策请见 这里

Meta Llama 3.3 的许可证文件请见 这里 和可接受使用政策请见 这里

Meta Llama 3.2 的许可证文件请见 这里 和可接受使用政策请见 这里

Meta Llama 3.1 的许可证文件请见 这里 和可接受使用政策请见 这里

Meta Llama 3 的许可证文件请见 这里 和可接受使用政策请见 这里

Meta Llama 2 的许可证文件请见 这里 和可接受使用政策请见 这里

Llama Cookbook 快速上手指南

Llama Cookbook 是 Meta 官方提供的开发指南仓库，旨在帮助开发者快速上手 Llama 模型系列的推理 (Inference)、微调 (Fine-tuning) 以及端到端应用 (End-to-End Use Cases)。本指南将带你完成基础环境准备与核心功能体验。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.8 或更高版本 (推荐 3.10+)。
• GPU 支持:
  • 若进行本地推理或微调，建议配备 NVIDIA GPU (显存需求视模型大小而定，微调通常需要 A100/H100 或多卡 24GB+ 显存)。
  • 若仅使用 Llama API 或轻量级推理，CPU 亦可运行部分示例。
• 前置依赖:
  • git: 用于克隆仓库。
  • pip: Python 包管理工具。
  • conda (可选): 推荐用于创建隔离的虚拟环境。

提示: 国内开发者若遇到网络连接问题，建议在配置 pip 时使用国内镜像源（如清华源或阿里源）。

2. 安装步骤

第一步：克隆仓库

首先，将 llama-cookbook 仓库克隆到本地：

git clone https://github.com/meta-llama/llama-cookbook.git
cd llama-cookbook

第二步：创建虚拟环境 (推荐)

为了避免依赖冲突，建议创建独立的 Conda 或 venv 环境：

# 使用 conda
conda create -n llama-cookbook python=3.10
conda activate llama-cookbook

# 或者使用 venv
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

第三步：安装依赖

进入 src 目录并安装核心依赖库。该目录包含了原 llama-recipes 的核心代码及微调所需组件：

cd src
pip install -e .

注意: 部分端到端用例（如 WhatsApp 机器人、长上下文分析等）可能需要额外安装特定依赖。请根据具体用例文件夹下的 requirements.txt 进行补充安装。例如：

pip install -r ../end-to-end-use-cases/whatsapp_llama_4_bot/requirements.txt

3. 基本使用

本仓库提供了多种使用场景，以下介绍两种最基础的入门方式：调用 Llama API 和 本地微调参考。

场景一：快速体验 Llama API (无需本地大显存)

这是最简单的起步方式，适合快速验证想法。你需要先申请 Llama API Waitlist 获取 API Key。

1. 设置环境变量：

   export LLAMA_API_KEY="your_api_key_here"
   

2. 运行官方提供的快速入门 Notebook 脚本（需安装 jupyter 和 nbconvert 或直接在线查看）：

   你可以直接运行以下 Python 代码片段来测试连接：

   from llama_cookbook.inference import LlamaAPI # 伪代码示例，具体导入路径请参考 getting-started/build_with_llama_api.ipynb
   
   # 初始化客户端
   # client = LlamaAPI(api_key="your_api_key")
   
   # 发送请求示例
   # response = client.chat_completion(
   #     model="llama-4-scout",
   #     messages=[{"role": "user", "content": "Hello, how are you?"}]
   # )
   # print(response)
   

   详细代码逻辑请参阅仓库中的 getting-started/build_with_llama_api.ipynb。

场景二：本地微调 (Fine-tuning) 参考

如果你拥有足够的 GPU 资源并希望微调开源模型（如 Llama 3.1/3.2/3.3），可以参考 src 目录下的微调脚本。

1. 准备数据: 确保你的数据集格式符合 JSONL 要求（包含 instruction, input, output 字段）。

2. 运行微调命令: 使用 torchrun 启动分布式微调任务（以下为单卡示例，多卡请调整 --nproc_per_node）：

   torchrun --nnodes 1 --nproc_per_node 1 \
     -m llama_cookbook.finetuning \
     --model_name meta-llama/Llama-3.1-8B-Instruct \
     --dataset custom_dataset \
     --data_path path/to/your/data.json \
     --output_dir ./output_finetuned \
     --batch_size_training 4 \
     --lr 1e-5 \
     --num_epochs 3
   

   注：具体参数配置和高级技巧（如 LoRA, QLoRA）请参考 src/docs/ 中的详细文档及 getting-started/finetuning 目录下的示例。

探索更多用例

安装完成后，你可以深入探索 end-to-end-use-cases 目录，尝试以下热门项目：

• WhatsApp 机器人: 集成 Llama API 构建即时通讯助手。
• 论文分析器: 利用 Llama 4 Maverick 分析科研论文。
• 超长上下文处理: 使用 Llama 4 Scout 处理 5M token 级别的长文本。

现在，你已经准备好开始构建基于 Llama 的应用了！