Punica：将多个LoRA微调的LLM作为一个整体提供服务

(论文)

演示

punica-tui-demo.webm

python examples/tui-multi-lora.py

概述

低秩适应（LoRA）是一种参数高效的微调方法，用于向预训练的语言模型中添加新知识。尽管预训练模型需要数百GB的存储空间，但通过LoRA微调后的模型仅增加约1%的存储和内存开销。Punica能够以运行单个模型的成本同时运行多个LoRA微调模型。

它是如何实现的呢？

假设预训练模型的权重矩阵为 W，形状为 [H1, H2]，LoRA会添加两个小矩阵 A 和 B，分别具有形状 [H1, r] 和 [r, H2]。对输入 x 进行微调后模型的计算可以表示为 y := x @ (W + A@B)，这等价于 y := x@W + x@A@B。

当有 n 个LoRA模型时，就会有 A1, B1, A2, B2, ..., An, Bn。给定一个与每个LoRA模型对应的输入批次 X := (x1,x2,...,xn)，输出则为 Y := X@W + (x1@A1@B1, x2@A2@B2, ..., xn@An@Bn)。左侧部分是在预训练模型上计算输入批次，效率非常高。由于强大的 批处理效应，延迟几乎与只有一个输入时相同。

我们找到了一种高效的方法来计算右侧部分（即LoRA附加项）。我们将这一操作封装在一个CUDA核函数中，称为分段收集矩阵-向量乘法（SGMV），如下图所示。

在下面的微基准测试图中，我们可以观察到预训练模型的强大批处理效应。LoRA的朴素实现速度较慢，如橙色线所示。而通过SGMV实现的LoRA则非常高效，并且保持了强大的批处理效应。

下图展示了Punica与其他系统（包括HuggingFace Transformers、DeepSpeed、FasterTransformer、vLLM）在文本生成吞吐量上的比较。该基准测试考虑了不同LoRA模型流行度的设置。“Distinct”表示每个请求对应不同的LoRA模型，“Identical”表示所有请求都使用同一个LoRA模型，“Uniform”和“Skewed”介于两者之间。Punica的吞吐量是当前最先进系统的12倍。

欲了解更多信息，请阅读我们的论文：Punica：多租户LoRA服务。

安装

您可以从二进制包安装Punica，也可以从源代码构建。

从二进制包安装

• 优点：无需编译，安装快速。
• 缺点：可能与您的CUDA版本、CUDA架构、PyTorch版本或Python版本不匹配。
• 当前预编译版本：
  • CUDA：11.8、12.1
  • Python：3.10、3.11
  • TORCH_CUDA_ARCH_LIST：8.0 8.6 8.9+PTX

pip install ninja torch
pip install punica -i https://punica-ai.github.io/whl/cu121/ --extra-index-url https://pypi.org/simple
# 注意：请将cu121替换为您使用的CUDA版本。

从源代码构建

# 请先安装torch，再安装punica
pip install ninja numpy torch

# 克隆punica
git clone https://github.com/punica-ai/punica.git
cd punica
git submodule sync
git submodule update --init

# 如果编译过程中遇到问题，请设置TORCH_CUDA_ARCH_LIST为您使用的CUDA架构。
# export TORCH_CUDA_ARCH_LIST="8.0"

# 构建并安装punica
pip install -v --no-build-isolation .

示例

提供多个LoRA模型的服务

请参阅上面的演示。

微调、转换为Punica格式并使用Punica提供服务

请参阅 examples/finetune/。

文本生成基准测试

python -m benchmarks.bench_textgen_lora --system punica --batch-size 32

引用

@misc{punica,
    title={Punica: Multi-Tenant LoRA Serving},
    author={Lequn Chen and Zihao Ye and Yongji Wu and Danyang Zhuo and Luis Ceze and Arvind Krishnamurthy},
    year={2023},
    eprint={2310.18547},
    archivePrefix={arXiv},
    primaryClass={cs.DC}
}

Punica 快速上手指南

Punica 是一个高效的多租户 LoRA 服务框架，允许在单个预训练大语言模型（LLM）上同时运行多个 LoRA 微调模型，且几乎不增加额外延迟。它通过自定义 CUDA 内核（SGMV）实现了极高的吞吐量，相比现有主流系统可提升高达 12 倍的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA GPU (计算能力 8.0, 8.6, 8.9 及以上)
• CUDA 版本: 11.8 或 12.1 (预编译包支持版本)
• Python 版本: 3.10 或 3.11
• 前置依赖:
  • torch (PyTorch)
  • ninja (构建工具)
  • numpy (仅源码安装需要)

安装步骤

您可以选择安装预编译的二进制包（推荐，速度快）或从源码构建。

方式一：安装预编译包（推荐）

此方式无需编译，安装迅速。请根据您的 CUDA 版本选择对应的索引源（以下示例为 CUDA 12.1，若使用 11.8 请将 cu121 改为 cu118）。

# 安装基础依赖
pip install ninja torch

# 安装 Punica (CUDA 12.1 版本)
pip install punica -i https://punica-ai.github.io/whl/cu121/ --extra-index-url https://pypi.org/simple

注意：如果您的网络环境访问 GitHub 或 PyPI 较慢，建议配置国内 pip 镜像源（如清华源、阿里源）作为 --extra-index-url 的替代或补充，但 Punica 的专用 wheel 包目前需从官方提供的索引地址获取。

方式二：从源码构建

如果您使用的 CUDA 架构不在预编译列表内，或需要最新代码，可从源码构建。

# 安装构建依赖
pip install ninja numpy torch

# 克隆项目
git clone https://github.com/punica-ai/punica.git
cd punica

# 初始化子模块
git submodule sync
git submodule update --init

# (可选) 如果遇到编译问题，请指定您的 GPU 架构，例如：
# export TORCH_CUDA_ARCH_LIST="8.0"

# 构建并安装
pip install -v --no-build-isolation .

基本使用

运行多 LoRA 服务演示

Punica 提供了一个终端界面（TUI）演示，展示如何在一个进程中同时服务多个不同的 LoRA 模型。

1. 确保已安装必要的演示依赖（通常包含在 examples 中）。
2. 运行以下命令启动演示：

python examples/tui-multi-lora.py

该脚本将加载一个基础模型和多个 LoRA 适配器，并模拟不同请求分发到不同 LoRA 模型的场景，直观展示其批处理效率和低延迟特性。

性能基准测试

您可以快速运行文本生成基准测试，对比 Punica 与其他系统的吞吐量：

python -m benchmarks.bench_textgen_lora --system punica --batch-size 32

更多关于微调模型转换及高级部署的示例，请参考项目目录下的 examples/finetune/。