🦙 LLaMA - 在单张4GB显卡上运行大语言模型

📢 pyllama 是基于 Facebook 原始实现的一个修改版本，相比原版更便于在消费级单显卡上运行。

Hugging Face 的 LLaMA 实现可在 pyllama.hf 中找到。

📥 安装

在已安装 PyTorch 和 CUDA 的 Conda 环境中，运行：

pip install pyllama -U

🐏 如果您之前从其他来源安装过 llama 库，请先卸载旧版本，再使用 pip install pyllama -U 安装最新版本。

📦 下载模型文件

🧘‍♀️ 官方方式

要下载检查点和分词器，请填写此 Google 表单。

申请获批后，您将收到用于下载分词器和模型文件的链接。请使用邮件中提供的签名 URL 编辑 download.sh 脚本，以下载模型权重和分词器。

🐒 社区方式

• 1. pyllama

还有另一种高速下载检查点和分词器的方式。目前提供四种模型（7B、13B、30B、65B）。要下载所有模型，运行：

python -m llama.download

若仅需下载 7B 模型文件到当前目录，运行：

python -m llama.download --model_size 7B

若仅需下载 7B 和 30B 模型文件到 /tmp/pyllama_data 文件夹，运行：

python -m llama.download --model_size 7B,30B --folder /tmp/pyllama_data

帮助文档如下：

$python -m llama.download --help
usage: download.py [-h] [--model_size MODEL_SIZE] [--folder FOLDER]

optional arguments:
  -h, --help            show this help message and exit
  --model_size MODEL_SIZE
                        The size of the models that you want to download. A comma separated
                        string of any of "7B", "13B", "30B", "65B". Totally 219G disk space
                        is needed to download them all. If you only want to download the 7B
                        model, just put "7B" here.
  --folder FOLDER       The target folder for the download files

• 示例截图

• 2. BitTorrent

🔥 要下载检查点和分词器，请使用以下 BitTorrent 链接："magnet:?xt=urn:btih:ZXXDAUWYLRUXXBHUYEMS6Q5CE5WA3LVA&dn=LLaMA"。

💎 将 LLaMA 量化以便在 4GB 显卡上运行

pyllama 支持 2/3/4/8 位量化，使您能够在显存仅为 4GB 的 GPU 上运行模型。

您需要运行 export HUGGING_FACE_HUB_TOKEN=XXX 才能访问 Hugging Face 的数据。此外，还需通过 pip install gptq 安装 gptq。

python -m llama.llama_quant --help
usage: llama_quant.py [-h] [--ckpt_dir CKPT_DIR] [--tokenizer_path TOKENIZER_PATH] 
                      [--seed SEED] [--nsamples NSAMPLES] [--percdamp PERCDAMP]
                      [--nearest] [--wbits {2,3,4,8,16}] [--groupsize GROUPSIZE]
                      [--save SAVE] [--load LOAD] [--benchmark BENCHMARK] [--check]
                      [--cuda CUDA] [--eval]
                      {wikitext2,ptb,c4}

positional arguments:
  {wikitext2,ptb,c4}    Where to extract calibration data from.

optional arguments:
  -h, --help            show this help message and exit
  --ckpt_dir CKPT_DIR
  --tokenizer_path TOKENIZER_PATH
  --seed SEED           Seed for sampling the calibration data.
  --nsamples NSAMPLES   Number of calibration data samples.
  --percdamp PERCDAMP   Percent of the average Hessian diagonal to use for dampening.
  --nearest             Whether to run the RTN baseline.
  --wbits {2,3,4,8}  bits for quantization
  --groupsize GROUPSIZE
                        Groupsize to use for quantization; default uses full row.
  --save SAVE           Save quantized checkpoint under this name, eg pyllama-7B4b.pt.
  --load LOAD           Load quantized model.
  --benchmark BENCHMARK
                        Number of tokens to use for benchmarking.
  --check               Whether to compute perplexity during benchmarking for verification.
  --cuda CUDA           GPU device string, 'cuda:0' by default.
  --eval                Evaluate the model with dataset wikitext2, ptb and c4

• 将 7B 模型量化为 8 位

python -m llama.llama_quant decapoda-research/llama-7b-hf c4 --wbits 8 --save pyllama-7B8b.pt

• 将 7B 模型量化为 4 位，组大小设为 128（推荐设置 🔥）

python -m llama.llama_quant decapoda-research/llama-7b-hf c4 --wbits 4 --groupsize 128 --save pyllama-7B4b.pt

• 将 7B 模型量化为 2 位

python -m llama.llama_quant decapoda-research/llama-7b-hf c4 --wbits 2 --save pyllama-7B2b.pt

以下是量化后的 LLaMA 文件下载链接：

• 7B

量化类型	大小	链接	MD5	损失	密码
2 位	2160484475	🔗	4c7215d28c1f650218c43fc46402cec5	-	8g9d
3 位	-	-	-	-	-
4 位	3779485819	-	cce9a3b522ddf5c011ee0174b2ff3dfb	-	-
8 位	7017493231	-	2648b09597cf8f9e0d1a04cb70b71cab	-	-

我花了 2 小时 40 分钟将 65B 模型量化为 4 位。文件大小从 122GB 减少至 32GB。

以下是一些关于 LLM 量化建议：

1. 默认情况下，推理时应使用 4 位量化，因为它在模型总比特数和零样本准确率之间取得了良好平衡。
2. 使用 128 或更小的块大小来稳定 4 位量化并提升零样本性能。
3. 使用浮点或分位数量化数据类型。在某些情况下，整数数据类型可能更适合提高推理延迟，具体取决于实现和硬件支持。

🔮 单卡推理

🥥 未量化

设置环境变量 CKPT_DIR 为您的 LLaMA 模型文件夹，例如 /llama_data/7B，以及 TOKENIZER_PATH 为您的分词器路径，如 /llama_data/tokenizer.model。

然后运行以下命令：

python inference.py --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH

以下是 LLaMA 在 8GB 单卡上的运行示例。

🥝 量化后

通过量化，您可以在 4GB 显存的 GPU 上运行 LLaMA。

• pyllama 可以在 6GB 显存的 GPU 上运行 7B 模型。 示例：python quant_infer.py --wbits 4 --load pyllama-7B4b.pt -- text "..." --max_length 24 --cuda cuda:0

• pyllama 可以在 3.2GB 显存的 GPU 上运行 7B 模型。 示例：python quant_infer.py --wbits 2 --load pyllama-7B4b.pt -- text "..." --max_length 32

💡 小贴士

• 若要将KV缓存加载到CPU上，请在终端中运行 export KV_CAHCHE_IN_GPU=0。

• 若要对CPU、GPU和延迟进行性能分析，请运行以下命令：

python inference_driver.py --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH

示例结果如下所示：

• 调整 max_seq_len 和 max_batch_size 以减少显存消耗，从而能够在GPU上运行。请参考：此帖子！

🍉 启动 Gradio WebUI

$ cd apps/gradio
$ python webapp_single.py  --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH

您应该会在浏览器中看到类似以下的内容：

🍓 启动 Web 服务器

以下命令将启动一个 Flask Web 服务器：

$ cd apps/flask
$ python web_server_single.py  --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH

🍒 多 GPU 推理

🧘‍♀️ 官方方式

要使用原版 META 的模型并行，请设置环境变量 PYLLAMA_META_MP 如下：

export PYLLAMA_META_MP=1

设置该环境变量后，您可以 import llama，此时将导入原版 META 的 LLaMA 模型。

提供的 example.py 可以在单机或多机多卡节点上通过 torchrun 运行，并会为两个预定义的提示生成完成文本。以 download.sh 中定义的 TARGET_FOLDER 为例：

torchrun --nproc_per_node MP example.py --ckpt_dir $TARGET_FOLDER/model_size \
  --tokenizer_path $TARGET_FOLDER/tokenizer.model

不同模型需要不同的 MP 值：

模型	MP
7B	1
13B	2
30B	4
65B	8

🐒 社区方式

在多 GPU 环境中运行 LLaMA 需要两个步骤。

• 转换原始 LLaMA 模型

$python -m llama.convert_llama --help
用法: convert_llama.py [-h] [--ckpt_dir CKPT_DIR] [--tokenizer_path TOKENIZER_PATH]
                        [--model_size {7B,13B,30B,65B}] [--output_dir OUTPUT_DIR]
                        [--max_batch_size MAX_BATCH_SIZE] [--to {hf,fb}]

可选参数:
  -h, --help            显示此帮助信息并退出
  --ckpt_dir CKPT_DIR
  --tokenizer_path TOKENIZER_PATH
  --model_size {7B,13B,30B,65B}
  --output_dir OUTPUT_DIR
                        用于保存 Hugging Face 模型和分词器的目录
  --max_batch_size MAX_BATCH_SIZE
  --to {hf,fb}

• 使用 Hugging Face 的 Accelerate 库在多 GPU 上运行

$python -m llama.llama_multigpu --help
用法: llama_multigpu.py [-h] [--state_dict_dir STATE_DICT_DIR] [--model_size {7B,13B,30B,65B}]

可选参数:
  -h, --help            显示此帮助信息并退出
  --state_dict_dir STATE_DICT_DIR
  --model_size {7B,13B,30B,65B}

🔬 模型微调

使用 Stanford Alpaca 指令遵循数据集

• 分词
• 微调
• 高效微调

🧬 LLaMA 模型结构

• Meta
• Hugging Face

https://github.com/facebookresearch/llama/blob/main/llama/model.py#LL127C27-L127C27

模型卡片

请参阅 MODEL_CARD.md

许可证

请参阅 LICENSE 文件。

pyllama 快速上手指南

pyllama 是基于 Facebook 原版 LLaMA 的优化版本，专为在消费级显卡（甚至单张 4GB 显存 GPU）上运行大语言模型而设计。它支持模型量化（2/3/4/8-bit），大幅降低显存需求。

1. 环境准备

• 系统要求：Linux / macOS / Windows (需支持 CUDA)
• 硬件要求：
  • 非量化运行：建议 8GB+ 显存 GPU。
  • 量化运行：最低支持 4GB 显存 GPU（推荐 4-bit 量化）。
• 前置依赖：
  • Python 3.8+
  • Conda 环境（推荐）
  • PyTorch (需包含 CUDA 支持)

请确保已安装带有 CUDA 支持的 PyTorch。若未安装，可参考 PyTorch 官网获取安装命令。

2. 安装步骤

在激活的 Conda 环境中执行以下命令安装最新版 pyllama：

pip install pyllama -U

注意：如果您之前从其他来源安装过 llama 库，请先卸载旧版本，再执行上述命令以避免冲突。

若需进行模型量化（Quantization），还需额外安装 gptq：

pip install gptq

3. 基本使用

第一步：下载模型文件

您可以选择官方渠道或社区高速渠道下载模型权重和分词器。

方式 A：社区高速下载（推荐） 使用内置脚本下载指定大小的模型（支持 7B, 13B, 30B, 65B）：

# 下载 7B 模型到当前目录
python -m llama.download --model_size 7B

# 或者下载到指定文件夹
python -m llama.download --model_size 7B --folder /tmp/pyllama_data

方式 B：官方渠道 需填写 Google Form 申请权限，获批后通过邮件链接下载，并修改 download.sh 脚本中的 URL 进行下载。

第二步：运行推理（单卡）

设置环境变量指向模型文件夹和分词器路径，然后运行推理脚本。

# 设置环境变量 (请替换为您的实际路径)
export CKPT_DIR=/path/to/llama_data/7B
export TOKENIZER_PATH=/path/to/llama_data/tokenizer.model

# 运行原生推理 (适合 8GB+ 显存)
python inference.py --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH

第三步：低显存运行（量化推理）

若您的显存较小（如 4GB-6GB），请先对模型进行量化，或使用已量化的模型进行推理。

1. 模型量化示例（将 7B 模型量化为 4-bit）：

注意：量化过程需要访问 Hugging Face 数据，需设置 token：export HUGGING_FACE_HUB_TOKEN=YOUR_TOKEN

# 将 7B 模型量化为 4-bit (推荐配置：groupsize 128)
python -m llama.llama_quant decapoda-research/llama-7b-hf c4 --wbits 4 --groupsize 128 --save pyllama-7B4b.pt

2. 运行量化后的模型：

# 使用 4-bit 量化模型运行 (约需 6GB 显存)
python quant_infer.py --wbits 4 --load pyllama-7B4b.pt -- text "你好，请介绍一下你自己" --max_length 24 --cuda cuda:0

# 使用 2-bit 量化模型运行 (约需 3.2GB 显存)
python quant_infer.py --wbits 2 --load pyllama-7B2b.pt -- text "你好，请介绍一下你自己" --max_length 32

进阶：启动 Web 界面

如需通过浏览器交互，可启动 Gradio 服务：

cd apps/gradio
python webapp_single.py --ckpt_dir $CKPT_DIR --tokenizer_path $TOKENIZER_PATH