我的GPU能运行这个LLM吗？每秒能处理多少个token？

计算任何LLM在特定GPU/CPU上所需的显存大小以及能够达到的每秒处理的token数。

还提供了训练和推理过程中显存分配的详细 breakdown，支持量化方法（GGML/bitsandbytes/QLoRA）和推理框架（vLLM/llama.cpp/HF）。

链接：https://rahulschand.github.io/gpu_poor/

演示

---

使用场景/功能

1. 计算显存需求 💾

---

2. 计算每秒可处理的token数 ⏱️

---

3. 预估微调所需时间（每次迭代毫秒数） ⌛️

---

对于显存，输出包括总显存及其细分。格式如下：

{
  "Total": 4000,
  "KV Cache": 1000,
  "Model Size": 2000,
  "Activation Memory": 500,
  "Grad & Optimizer memory": 0,
  "cuda + other overhead":  500
}

对于每秒token数，附加信息如下：

{
  "Token per second": 50,
  "ms per token": 20,
  "Prompt process time (s)": 5 s,
  "memory or compute bound?": Memory,
}

对于训练，输出为每次前向传播的时间（以毫秒计）：

{
  "ms per iteration (forward + backward)": 100,
  "memory or compute bound?": Memory,
}

---

目的

制作这个工具是为了检查你是否能在自己的GPU上运行某个特定的LLM。它可以帮助你了解以下问题：

1. 我每秒能处理多少个token？
2. 微调需要多长时间？
3. 哪种量化方式适合我的GPU？
4. 我的GPU能处理的最大上下文长度和批量大小是多少？
5. 应该选择哪种微调方法：全参数微调、LoRA还是QLoRA？
6. 是什么占用了我的GPU显存？如何调整才能让LLM适配到GPU上？

---

补充信息 + 常见问题解答

我们不能只看模型大小就判断吗？

判断你的GPU能否运行某个LLM并不像单纯查看模型大小那么简单，因为在推理过程中（KV缓存）会占用大量显存。例如，在使用Llama-2-7B时，序列长度为1000的情况下，仅KV缓存就需要额外1GB显存（使用Hugging Face的LlamaForCausalLM；而使用exLlama和vLLM时则只需500MB）。而在训练阶段，KV缓存、激活值以及量化开销都会消耗大量显存。比如，Llama-7B采用bnb int8量化后模型大小约为7.5GB，但即便是在RTX 4090 24GB显存的机器上，也无法用LoRA对具有1000上下文长度的数据进行微调。这意味着还有额外的16GB显存被用于量化开销、激活值和梯度存储。

这些数值的可靠性如何？

结果可能会因模型、输入数据、CUDA版本以及所使用的量化方法而有所不同，因此无法精确预测具体数值。我已尽量考虑到这些因素，并确保结果误差不超过500MB。下表对比了网站给出的3B、7B和13B模型显存与我在RTX 4090和2060 GPU上的实际测量值，所有数值均在500MB以内。

数值是如何计算的？

总显存 = 模型大小 + KV缓存 + 激活显存 + 优化器/梯度显存 + CUDA等开销

1. 模型大小 = 即你的.bin文件大小（如果是Q8量化则除以2，如果是Q4量化则除以4）。
2. KV缓存 = KV（键值）向量占用的显存。大小为 (2 x 序列长度 x 隐藏层大小) 每层。对于Hugging Face来说，则是 (2 x 2 x 序列长度 x 隐藏层大小) 每层。在训练中，整个序列会被一次性处理（因此KV缓存显存为0）。
3. 激活显存 = 在前向传播过程中，每个操作的输出都需要保存下来以便进行反向传播（.backward()）。例如，如果执行 output = Q * input，其中 Q = (dim, dim) 和 input = (batch, seq, dim)，那么形状为 (batch, seq, dim) 的输出就需要被保存（以fp16格式）。这在LoRA/QLoRA中会占用最多的显存。在LLM中，这样的中间步骤非常多（Q、K、V之后，注意力机制之后，归一化之后，FFN1、FFN2、FFN3之后，跳过层之后……）。大约每层会保存15个中间表示。
4. 优化器/梯度显存 = .grad张量及与优化器相关的张量（如移动平均等）所占用的显存。
5. CUDA等开销 = 每当加载CUDA时，大约会占用500MB到1GB的显存。此外，使用某些量化方法（如bitsandbytes）时也会产生额外的开销。这部分没有明确的计算公式（在我的计算中，我假设CUDA开销为650MB）。

为什么结果有时不准确？

有时候计算结果可能会有很大偏差，请在这种情况下提交issue，我会尽力修复。

---

待办事项

1. 为vLLM添加每秒token数的支持
2. 添加QLora ✅
3. 添加估算特定GPU每秒可处理token数的方法 ✅
4. 改进根据模型大小推断超参数的逻辑（因为对于相同大小的模型，隐藏层大小、中间层大小和层数可能会有所不同）✅
5. 添加AWQ

gpu_poor 快速上手指南

gpu_poor 是一个基于 Web 的实用工具，用于快速估算在特定 GPU 上运行大型语言模型（LLM）所需的显存大小、推理速度（token/s）以及微调所需的时间。它支持多种量化格式（GGML, bitsandbytes, QLoRA）和推理框架（vLLM, llama.cpp, Hugging Face）。

环境准备

本项目为纯前端 JavaScript 应用，无需安装任何本地依赖或配置 Python 环境。

• 系统要求：任意现代操作系统（Windows, macOS, Linux）。
• 前置依赖：仅需一个现代化的网页浏览器（推荐 Chrome, Edge, Firefox）。
• 网络要求：需能访问 https://rahulschand.github.io/gpu_poor/。

安装步骤

由于该工具是托管在 GitHub Pages 上的静态网站，无需执行任何安装命令。

1. 打开浏览器。
2. 直接访问官方地址：

   https://rahulschand.github.io/gpu_poor/
   

3. （可选）若访问速度慢，可尝试使用国内镜像加速服务或代理访问该 URL。

基本使用

打开网页后，你将看到一个交互式计算器。以下是核心功能的使用示例：

1. 估算显存需求 (Calculate vRAM)

用于判断你的显卡是否能加载特定模型。

• 操作步骤：

  1. 在 Model Size 输入模型参数量（例如 7B）。
  2. 选择 Quantization（量化方式，如 FP16, INT8, INT4）。
  3. 设置 Context Length（上下文长度，如 2048 或 4096）。
  4. 选择 Framework（推理框架，如 HuggingFace, llama.cpp, vLLM）。
  5. 查看右侧或下方的 Total vRAM 结果及其细分（KV Cache, Model Size, Activation Memory 等）。

• 输出示例：

  {
    "Total": 4000, 
    "KV Cache": 1000, 
    "Model Size": 2000, 
    "Activation Memory": 500, 
    "cuda + other overhead": 500
  }
  

  (单位通常为 MB)

2. 估算推理速度 (Calculate Token/s)

用于预测每秒生成的 token 数量。

• 操作步骤：

  1. 保持上述模型参数设置不变。
  2. 选择你的 GPU Model（例如 RTX 4090, A100）。
  3. 查看 Token per second 和 ms per token 数据。
  4. 工具会提示当前瓶颈是 Memory bound (显存带宽限制) 还是 Compute bound (计算能力限制)。

• 输出示例：

  {
    "Token per second": 50,
    "ms per token": 20,
    "memory or compute bound?": "Memory"
  }
  

3. 估算微调时间 (Finetuning Time)

用于规划微调任务耗时。

• 操作步骤：

  1. 切换模式至 Training/Finetuning。
  2. 选择微调方法（Full, LoRA, QLoRA）。
  3. 设置 Batch Size。
  4. 查看 ms per iteration (每次迭代耗时)。

• 输出示例：

  {
    "ms per iteration (forward + backward)": 100,
    "memory or compute bound?": "Memory"
  }
  

通过调整参数量化等级、上下文长度或批次大小，你可以直观地看到显存占用的变化，从而找到适合你硬件的最佳配置方案。