⚡ Lit-LLaMA ️

独立实现的 LLaMA 预训练、微调和推理代码，完全开源，采用 Apache 2.0 许可证。

该实现基于 nanoGPT。

本仓库中的开源代码可与 Meta 按照 仅限研究用途的许可证 分发的原始 LLaMA 权重配合使用。

正在寻找 LLaMA 2 吗？

Meta AI 已经发布了 LLaMA 2。此外，作为 Open LLaMA 项目的一部分，新的 Apache 2.0 许可权重也正在发布。

要运行 LLaMA 2 权重、Open LLaMA 权重或 Vicuna 权重（以及其他类似 LLaMA 的检查点），请查看 Lit-GPT 仓库。

为什么？

我们相信人工智能应该完全开源，并成为集体知识的一部分。

原始 LLaMA 代码 采用 GPL 许可证，这意味着任何使用它的项目也必须以 GPL 许可证发布。

这会“污染”其他代码，并阻止其与整个生态系统的集成。

Lit-LLaMA 彻底解决了这个问题。

 

设计原则

Lit-LLaMA 具有以下特点：

• 简单： 单文件实现，无样板代码。
• 正确： 数值上与原模型等效。
• 优化： 可在消费级硬件上运行，也可扩展到大规模场景。
• 开源： 不附加任何条件。

参与进来！

加入我们的 Discord，共同构建高性能、真正开源的模型，造福社区。

 

设置

克隆仓库

git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama

安装依赖项

pip install -e ".[all]"

现在您已经准备好了！🎉

 

使用模型

要生成文本预测，您需要下载模型权重。如果您还没有这些权重，请参阅我们的指南。

运行推理：

python generate.py --prompt "你好，我叫"

这将运行 7B 模型，需要约 26 GB 的 GPU 内存（A100 GPU）。

从模型生成样本的完整指南。

在消费级设备上运行 Lit-LLaMA

对于支持 bfloat16 的 GPU，generate.py 脚本会自动转换权重，占用约 14 GB 内存。对于显存较少或不支持 bfloat16 的 GPU，可以启用量化（--quantize llm.int8）：

python generate.py --quantize llm.int8 --prompt "你好，我叫"

更多选项请参阅 python generate.py --help。

您还可以使用 GPTQ 风格的 int4 量化，但这需要先对权重进行转换：

python quantize/gptq.py --output_path checkpoints/lit-llama/7B/llama-gptq.4bit.pth --dtype bfloat16 --quantize gptq.int4

GPTQ 风格的 int4 量化可将 GPU 内存占用降至约 5 GB。由于只有线性层的权重被量化，即使启用了量化，也建议同时使用 --dtype bfloat16。

使用生成的量化检查点进行生成时，只需按照常规方式使用 --quantize gptq.int4 和新生成的检查点文件即可：

python generate.py --quantize gptq.int4 --checkpoint_path checkpoints/lit-llama/7B/llama-gptq.4bit.pth

从模型生成样本的完整指南。

微调模型

我们提供了简单的训练脚本 finetune/lora.py 和 finetune/adapter.py，用于在 Alpaca 数据集上，利用 LoRA 和 Adapter 技术对预训练模型进行指令微调。

1. 下载数据并生成指令微调数据集：

   python scripts/prepare_alpaca.py
   

2. 运行微调脚本

   python finetune/lora.py
   

   或

   python finetune/adapter.py
   

请确保您已按照上述说明下载了预训练权重。微调至少需要一块拥有约 24 GB 显存的 GPU（RTX 3090）。请遵循脚本中的说明，以高效利用您的 GPU 内存。注意：对于某些 GPU 型号，您可能需要设置 torch.backends.cuda.enable_flash_sdp(False)（请参阅脚本顶部的注释）。

有关每种微调方法的详细信息以及如何将其应用于您自己的数据，请参阅我们的技术操作指南。

微调操作指南

这些技术教程展示了如何运行微调代码。

• 使用 LoRA 微调
• 使用 Adapter 微调

理解微调——概念性教程

想要了解概念性的教程和解释吗？我们还准备了一些额外的文章：

• 理解大型语言模型的参数高效微调：从前缀微调到 LLaMA-Adapters

预训练

如果您想尝试在 RedPajama 数据集上进行预训练——RedPajama 是原始 LLaMA 数据集的复刻版——我们提供了一个基于 Fabric 的简单训练脚本。其中还包括用于我们优化后的流式 PackedDataset 的转换脚本。

请按照此指南开始在 RedPajama 数据集上进行预训练：

• 在 RedPajama 上进行预训练

参与进来吧！

我们正致力于实现完全开源的人工智能。

加入我们，开始贡献代码，特别是在以下几个领域：

• 预训练
• 微调（全参数和LoRA）
• 量化
• 稀疏化

可以参考 train.py 文件，作为使用 Lightning Fabric 进行预训练或微调的起点。

我们欢迎所有个人贡献者，无论其经验水平或硬件条件如何。您的贡献非常宝贵，我们期待在这一协作且充满支持的环境中看到您的成果。

不确定如何贡献？请查看我们的为 Lit-LLaMA 做贡献：通往完全开源人工智能之旅指南。

别忘了加入我们的 Discord！

致谢

• @karpathy 的 nanoGPT
• @FacebookResearch 的原始 LLaMA 实现
• @TimDettmers 的 bitsandbytes
• @Microsoft 的 LoRA
• @IST-DASLab 的 GPTQ

许可证

Lit-LLaMA 采用 Apache 2.0 许可证发布。

Lit-LLaMA 快速上手指南

⚠️ 重要提示：本项目已不再积极维护。如需使用更新的版本（支持 LLaMA 2、Open LLaMA 等），请前往其继任项目 LitGPT。本指南仅适用于希望探索、复用或基于现有代码进行开发的开发者。

Lit-LLaMA 是 Meta LLaMA 模型的独立开源实现，采用 Apache 2.0 许可证，摆脱了原模型 GPL 协议的限制，完全开放且无附加条件。

1. 环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 需通过 WSL2 运行）
• Python：3.8 及以上版本
• GPU（推荐）：
  • 全精度推理（7B 模型）：约 26 GB 显存（如 A100）
  • bfloat16 推理：约 14 GB 显存（需支持 bfloat16 的 GPU）
  • 量化推理（int8）：可在消费级显卡（如 RTX 3090，24GB）运行
  • GPTQ int4 量化：仅需约 5 GB 显存

前置依赖

确保已安装 git 和 pip。建议使用虚拟环境（如 venv 或 conda）隔离依赖。

2. 安装步骤

克隆仓库并安装依赖：

git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama
pip install -e ".[all]"

💡 国内加速建议：如遇下载缓慢，可配置 pip 使用国内镜像源：

pip install -e ".[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

下载模型权重

使用前需先下载 LLaMA 原始权重文件（需向 Meta 申请研究许可）。详细下载步骤请参考官方指南：howto/download_weights.md。

文本生成（推理）

运行以下命令生成文本：

python generate.py --prompt "Hello, my name is"

• 默认加载 7B 模型，需约 26 GB GPU 显存。
• 若 GPU 支持 bfloat16，脚本将自动优化，显存占用降至约 14 GB。

低显存设备使用量化模式

对于显存较小的 GPU，启用 int8 量化：

python generate.py --quantize llm.int8 --prompt "Hello, my name is"

或使用更高效的 GPTQ int4 量化（需预先转换权重）：

# 第一步：转换权重为 int4 格式
python quantize/gptq.py --output_path checkpoints/lit-llama/7B/llama-gptq.4bit.pth --dtype bfloat16 --quantize gptq.int4

# 第二步：使用量化后的权重进行推理
python generate.py --quantize gptq.int4 --checkpoint_path checkpoints/lit-llama/7B/llama-gptq.4bit.pth

int4 量化后可将显存需求降低至约 5 GB。

---

现在你已成功运行 Lit-LLaMA！更多高级用法（如微调、预训练）请参考项目中的 howto/ 目录文档。