:parrot: MiniLLM：在消费级 GPU 上运行大型语言模型

MiniLLM 是一个极简系统，用于在消费级 GPU 上运行现代大型语言模型。其特点包括：

• 支持多种 LLM（目前支持 LLAMA、BLOOM、OPT），涵盖不同规模的模型（最高可达 1700 亿参数）
• 兼容广泛的消费级 NVIDIA GPU
• 代码库小巧易用，主要由 Python 编写，代码行数少于 500 行

在底层实现上，MiniLLM 使用 GPTQ 算法进行高达 3 位的量化压缩，从而大幅降低 GPU 显存占用。有关不同 GPU 对哪些 LLM 模型的支持情况，请参阅硬件要求部分。

目标

MiniLLM 是康奈尔科技学院和康奈尔大学的一项研究项目。其目标是：

• 提供一个易于使用的平台，用于对大型语言模型进行创造性实验
• 促进关于 LLM 对齐、偏见缓解、高效推理等领域的研究

演示

以下是 MiniLLM 在 NVIDIA GeForce GTX 1080 Ti 上运行量化后的 LLAMA-13B 模型的示例：

$ minillm generate --model llama-13b-4bit --weights llama-13b-4bit.pt 
--prompt "In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously 
unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that 
the unicorns spoke perfect English," --temperature 1. --top_k 50 --top_p 0.95 --max-length 500

In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, 
in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English, 
and were quite willing to talk to the scientists. In their native tongue, scientists say that the unicorns, of which 
there are 19, are "fascinating creatures."

"We got a surprise when we first approached them, because they wanted to communicate with us," said Dr. Dirk-Erik 
Pruis, head of the international team of researchers, in a telephone interview. "Of course, we had to teach them to 
speak in English in the first place. At first they spoke a sort of Latin, but with a little coaching, they soon spoke 
proper English.

"Once we knew they could talk to us, we asked them about a great many things. It turns out that they're actually 
rather advanced animals. They speak poetry in Latin, for instance, and they all play the organ."
Asked about their origins, Pruis says they're "a little tough to explain" because scientists have determined that 
they are about 500 years old. They were first found by a prospector named Mr. J.M. Jones, who discovered the valley 
in 1939. He discovered the valley just before he passed away, and the animals have been isolated from the world ever 
since. The researchers are looking forward to learning much more about the unicorns and their valley.

此示例基于 OpenAI 的旧 prompt。更多示例，包括自动作文生成和思维链提示，详见下文。

安装

要求

任何支持 Python 3.8 或更高版本以及 PyTorch 的 UNIX 环境均可运行 MiniLLM。具体要求请参阅 requirements.txt 文件。

为确保最大程度的可复现性，建议创建一个新的 conda 环境：

conda create -n minillm
conda activate minillm
conda install git pip virtualenv
# 如果您的系统环境中尚未安装 CUDA，
# 例如 nvcc 未在 PATH 中，则还需执行以下命令：
conda install -c "nvidia/label/cuda-11.6.2" cuda-toolkit

MiniLLM 还需要 NVIDIA GPU（Pascal 架构或更高）；其他平台目前暂不支持。

设置

我们使用 distutils 打包 MiniLLM。如果您未使用 conda，也可以创建一个 virtualenv。

virtualenv minillm_env
source minillm_env/bin/activate
pip install -r requirements.txt   # 安装 torch 及其他两个依赖包
python setup.py install           # 将 minillm 安装到当前环境
export CUDA_VISIBLE_DEVICES=0     # 确保您的 GPU 可见

请注意，此过程会编译并安装一个自定义 CUDA 内核，这是运行量化模型所必需的。此外，我们还使用了一个支持 LLAMA 模型的 transformers 库的实验性分支。

运行 MiniLLM

上述步骤会在您的环境中安装 minillm 命令行工具。

下载模型

首先，下载 LLM 模型的权重文件：

minillm download --model llama-7b-4bit --weights llama-7b-4bit.pt

您也可以直接使用 wget 下载权重文件：

wget https://huggingface.co/kuleshov/llama-30b-4bit/resolve/main/llama-30b-4bit.pt
wget https://huggingface.co/kuleshov/llama-65b-4bit/resolve/main/llama-65b-4bit.pt

以下模型已提供预量化权重：llama-7b-4bit、llama-13b-4bit、llama-30b-4bit、llama-65b-4bit。

生成文本

您可以通过命令行直接生成文本：

minillm generate --model llama-7b-4bit --weights llama-7b-4bit.pt --prompt "the pyramids were built by"

MiniLLM 界面还提供了其他命令行选项。

usage: minillm generate [-h] --model {llama-7b-4bit,llama-13b-4bit} --weights WEIGHTS [--prompt PROMPT]
                        [--min-length MIN_LENGTH] [--max-length MAX_LENGTH] [--top_p TOP_P]
                        [--temperature TEMPERATURE]

options:
  -h, --help            显示帮助信息并退出
  --model {llama-7b-4bit,llama-13b-4bit}
                        要加载的模型类型
  --weights WEIGHTS     模型权重文件路径
  --prompt PROMPT       用于初始化生成的文本
  --min-length MIN_LENGTH
                        生成序列的最小长度
  --max-length MAX_LENGTH
                        生成序列的最大长度
  --top_p TOP_P         Top p 采样参数
  --temperature TEMPERATURE
                        采样温度

程序化使用

MiniLLM 也可以作为 Python 库使用：

import minillm.executor as minillm

llm, llm_config = minillm.load_llm('llama-7b-4bit', '/path/to/llama-7b-4bit.pt')
output = minillm.generate(
    llm, 
    llm_config, 
    prompt="the pyramids were built by", 
    min_length=10, 
    max_length=50, 
    top_p=0.95, 
    temperature=0.8,
)
print(output)

硬件要求

运行 MiniLLM 中的不同模型所需的硬件如下：

模型	GPU 显存需求	兼容 GPU
llama-7b-4bit	6GB	RTX 2060、3050、3060
llama-13b-4bit	10GB	GTX 1080、RTX 2060、3060、3080
llama-30b-4bit	20GB	RTX 3080、A5000、3090、4090、V100
llama-65b-4bit	40GB	A100、2x3090、2x4090、A40、A6000

目前，只有配备 Pascal 架构或更高版本的 NVIDIA GPU 才能运行该系统。

其他示例

在这个例子中，LLM 生成了一篇关于工业革命起源的作文。

$ minillm generate --model llama-13b-4bit --weights llama-13b-4bit.pt --prompt "今天的作业是请解释工业革命的原因。" --temperature 1. --top_k 50 --top_p 0.95 --max-length 500
加载 LLAMA 模型
完成
今天的作业是请解释工业革命的原因。
工业革命并不是一项全新的发明，它只是对现有技术的扩展而已。
工业革命的主要原因在于蒸汽机的发明。蒸汽机由英国工程师詹姆斯·瓦特于18世纪末发明，其原理是通过气缸压缩高压蒸汽推动活塞，从而产生动力。这项技术并非托马斯·纽科门在1711年所发明，但它对工业革命产生了深远的影响。
为什么工业革命会发生在英国而不是欧洲其他地区呢？
尽管英国国土面积不大（209,338平方公里或80,758平方英里），但其气候温和适中，既不太热也不太冷；同时，英国地处沿海，便于与其他国家进行贸易。靠近海洋的地理位置非常适合渔业发展，而完善的公路系统以及英国的运河网络则为国内运输提供了便利。
此外，英国还拥有丰富的煤炭和铁矿资源，这些资源为工厂提供了充足的燃料。铁是工业革命中最关键的产品。
更重要的是，英国享有政治稳定。英国悠久的法治传统和宗教自由吸引了大量来自其他国家的人士。
英国政府长期以来一直对企业友好，对外资持开放态度；事实上，英国是世界上私有财产保护最完善的国家之一。其经济稳定且历史悠久，因此能够轻松承受风险。
英国人也一向尊重创新与发明。18世纪工厂中使用的许多基础技术都是由英国人发明的。英国人既重视科学，也重视工程学，并且愿意冒险投资新技术。
综上所述，包括熟练稳定的劳动力、可靠的工作伦理以及崇尚创新的传统在内的诸多因素，使英国成为第一次工业革命的理想之地。

正如预期的那样，LLM 支持少样本提示。以下是一个零样本翻译的演示。

$ minillm generate --model llama-13b-4bit --weights llama-13b-4bit.pt --prompt "英语：这只鹦鹉非常吵闹。法语：" --temperature 1. --top_k 50 --top_p 0.95 --max-length 500
加载 LLAMA 模型
完成
英语：这只鹦鹉非常吵闹。法语：Ce perroquet est fort bruyant. 德语：Dieser Papagei ist sehr laut. 意大利语：Questo Papagalli è molto rumoroso.

有趣的是，llama-13b-4bit 能够响应思维链提示（尽管并不完美）：

$ minillm generate --model llama-13b-4bit --weights llama-13b-4bit.pt --prompt "问：罗杰有5个网球。他又买了2罐网球，每罐有3个网球。现在他一共有多少个网球？答：罗杰一开始有5个球。2罐，每罐3个球，就是6个球。5加6等于11。答案是11。问：一个杂技演员可以同时抛接16个球。其中一半是高尔夫球，而高尔夫球中有一半是蓝色的。那么有多少个蓝色的高尔夫球呢？" --temperature 1. --top_k 50 --top_p 0.95 --max-length 400
加载 LLAMA 模型
完成
问：罗杰有5个网球。他又买了2罐网球，每罐有3个网球。他现在一共有多少个网球？
答：罗杰一开始有5个球。2罐，每罐3个球，就是6个球。5加6等于11。答案是11。
问：一个杂技演员可以同时抛接16个球。其中一半是高尔夫球，而高尔夫球中有一半是蓝色的。那么有多少个蓝色的高尔夫球呢？
答：我们知道总共有16个球。其中一半是高尔夫球，也就是说有8个高尔夫球。而高尔夫球中有一半是蓝色的，所以蓝色的高尔夫球就有4个。

这些示例是在 NVIDIA GeForce GTX 1080 Ti 显卡上使用 llama-13b-4bit 模型生成的。

300亿和650亿参数的模型同样能够进行零样本的思维链推理（即“让我们一步步思考”）：

$ minillm generate --model llama-65b-4bit --weights /share/kuleshov/vk379/llama-65b-4bit.pt --prompt "问：罗杰有5个网球。他又买了2罐网球，每罐有3个网球。他现在一共有多少个网球？答：让我们一步步思考。"
加载 LLAMA 模型
完成
问：罗杰有5个网球。他又买了2罐网球，每罐有3个网球。
他现在一共有多少个网球？答：让我们一步步思考。
罗杰一开始有5个球。
罗杰又买了2罐。
每罐有3个球。
所以，罗杰现在一共有5加2乘以3，也就是11个球！

另一个例子：

$ minillm generate --model llama-30b-4bit --weights /share/kuleshov/vk379/llama-30b-4bit.pt --prompt "问：一个杂技演员可以同时抛接16个球。其中一半是高尔夫球，而高尔夫球中有一半是蓝色的。那么有多少个蓝色的高尔夫球呢？答：让我们一步步思考。"
加载 LLAMA 模型
完成
问：一个杂技演员可以同时抛接16个球。其中一半是高尔夫球，而高尔夫球中有一半是蓝色的。那么有多少个蓝色的高尔夫球呢？答：让我们一步步思考。总共有16个球。高尔夫球的数量是16除以2，也就是8个。蓝色的高尔夫球数量则是8乘以1/2，等于4个。

在多次尝试中，我通常会生成2到3个样本，然后选择自己最喜欢的（因为并非所有样本都令人满意）。

待办事项

这是一项正在进行中的实验性工作。我们正在努力添加：

• 对更多 LLM 的开箱即用支持。
• 自动量化脚本。
• 代码库的清理优化。
• 如果有更多时间，还可以在消费级 GPU 上对模型进行微调。

致谢

MiniLLM 基于以下项目：

• IST-DASLAB 开发的 GPTQ 算法及代码库，并由 @qwopqwop200 进行了修改。
• Transformer 库及其用于运行 LLAMA 模型的扩展，由 zphang 完成。
• META FAIR 和 BigScience 联盟提供的 LLAMA、OPT 和 BLOOM 模型。

引用

如果您使用我们的系统，请引用此仓库。

@misc{llmtune,
  author = {Volodymyr Kuleshov},
  title = {MiniLLM：消费级 GPU 上的大规模语言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/kuleshov/minillm}},
}

反馈

欢迎将反馈发送至 Volodymyr Kuleshov。

MiniLLM 快速上手指南

MiniLLM 是一个极简系统，旨在让消费级显卡（如 RTX 3060, 4090 等）也能运行现代大型语言模型（LLM）。它利用 GPTQ 算法将模型压缩至 3-4 bit，大幅降低显存占用。

环境准备

系统要求

• 操作系统: 支持 Python 的 UNIX 环境（Linux/macOS）。
• GPU: 必须为 NVIDIA GPU，架构需为 Pascal 或更新版本（如 GTX 10 系列及以后）。
• 显存需求:
  • llama-7b-4bit: 至少 6GB (推荐 RTX 2060/3060)
  • llama-13b-4bit: 至少 10GB (推荐 RTX 3080/4070)
  • llama-30b-4bit: 至少 20GB (推荐 RTX 3090/4090)
  • llama-65b-4bit: 至少 40GB (推荐双卡 3090/4090 或 A100)

前置依赖

• Python 3.8 或更高版本
• PyTorch (测试版本 1.13.1+cu116)
• CUDA Toolkit (若系统未预装)

安装步骤

建议使用 Conda 创建独立环境以确保复现性。

1. 创建并激活 Conda 环境：

   conda create -n minillm python=3.8
   conda activate minillm
   conda install git pip virtualenv
   # 如果系统未安装 CUDA，请执行以下命令安装 CUDA 工具包
   conda install -c "nvidia/label/cuda-11.6.2" cuda-toolkit
   

2. 安装依赖与编译内核： MiniLLM 需要编译自定义 CUDA 内核以支持量化模型推理。

   # 克隆仓库 (假设已 git clone https://github.com/kuleshov/minillm.git)
   cd minillm
   
   # 安装 Python 依赖 (包含 torch 和其他必要包)
   pip install -r requirements.txt
   
   # 安装 MiniLLM (此步骤会编译 CUDA 内核)
   python setup.py install
   
   # 设置可见 GPU (根据需要修改设备号)
   export CUDA_VISIBLE_DEVICES=0
   

   注意: 安装过程中会使用一个支持 LLAMA 模型的实验版 transformers 分支。

基本使用

1. 下载模型权重

首先下载预量化的模型权重文件（以 llama-7b 为例）：

minillm download --model llama-7b-4bit --weights llama-7b-4bit.pt

或者直接使用 wget 下载（国内用户若 HuggingFace 访问受限，可配置镜像或使用代理）：

wget https://huggingface.co/kuleshov/llama-7b-4bit/resolve/main/llama-7b-4bit.pt

可用模型: llama-7b-4bit, llama-13b-4bit, llama-30b-4bit, llama-65b-4bit.

2. 命令行生成文本

使用下载的权重直接生成文本：

minillm generate --model llama-7b-4bit --weights llama-7b-4bit.pt --prompt "the pyramids were built by"

常用参数说明：

• --prompt: 输入提示词。
• --max-length: 生成序列的最大长度。
• --temperature: 采样温度（越高越随机）。
• --top_p: Top-p 采样参数。

示例（控制生成长度和随机性）：

minillm generate --model llama-7b-4bit --weights llama-7b-4bit.pt \
  --prompt "In a shocking finding, scientist discovered" \
  --temperature 1.0 --top_p 0.95 --max-length 200

3. Python 代码调用

MiniLLM 也可作为 Python 库集成到你的项目中：

import minillm.executor as minillm

# 加载模型
llm, llm_config = minillm.load_llm('llama-7b-4bit', '/path/to/llama-7b-4bit.pt')

# 生成文本
output = minillm.generate(
    llm, 
    llm_config, 
    prompt="the pyramids were built by", 
    min_length=10, 
    max_length=50, 
    top_p=0.95, 
    temperature=0.8,
)

print(output)