LoRAX（LoRA交换）是一个框架，允许用户在单个GPU上服务数千个微调模型，从而大幅降低服务成本，同时不牺牲吞吐量和延迟。

📖 目录

• 📖 目录
• 🌳 特性
• 🏠 模型
• 🏃‍♂️ 快速入门
  • 要求
  • 启动LoRAX服务器
  • 通过REST API发送提示
  • 通过Python客户端发送提示
  • 通过OpenAI API进行聊天
  • 后续步骤
• 🙇 致谢
• 🗺️ 路线图

🌳 特性

• 🚅 动态适配器加载： 在请求中包含来自HuggingFace、Predibase或任何文件系统的任意微调LoRA适配器，它将被即时加载，而不会阻塞并发请求。可根据每个请求合并适配器，以快速创建强大的集成模型。
• 🏋️‍♀️ 异构连续批处理： 将针对不同适配器的请求打包到同一批次中，使延迟和吞吐量几乎不受并发适配器数量的影响。
• 🧁 适配器交换调度： 异步预取和卸载GPU与CPU之间的适配器，并调度请求批处理以优化系统的整体吞吐量。
• 👬 优化的推理： 高吞吐量和低延迟优化，包括张量并行、预编译CUDA内核（如flash-attention、paged attention、SGMV）、量化以及标记流式传输。
• 🚢 生产就绪： 提供预构建的Docker镜像、用于Kubernetes的Helm图表、Prometheus指标以及使用Open Telemetry的分布式追踪。兼容OpenAI的API，支持多轮对话。通过每请求租户隔离实现私有适配器。提供结构化输出（JSON模式）。
• 🤯 免费商用： Apache 2.0许可证。无需多言 😎.

🏠 模型

使用LoRAX服务一个微调模型包含两个组件：

• 基础模型：所有适配器共享的预训练大型模型。
• 适配器：特定任务的适配器权重，按请求动态加载。

LoRAX支持多种大型语言模型作为基础模型，包括Llama（含CodeLlama）、Mistral（含Zephyr）以及Qwen。完整的基础模型列表请参阅支持的架构。

基础模型可以以fp16格式加载，也可以使用bitsandbytes、GPT-Q或AWQ进行量化。

支持的适配器包括使用PEFT和Ludwig库训练的LoRA适配器。模型中的任何线性层都可以通过LoRA进行适配，并加载到LoRAX中。

🏃‍♂️ 快速入门

我们建议从预构建的Docker镜像开始，以避免编译自定义CUDA内核和其他依赖项。

要求

运行LoRAX所需的最低系统要求包括：

• NVIDIA GPU（Ampere系列及以上）
• CUDA 11.8及更高版本的设备驱动程序
• Linux操作系统
• Docker（本指南中使用）

启动LoRAX服务器

先决条件

安装nvidia-container-toolkit 然后

• sudo systemctl daemon-reload
• sudo systemctl restart docker

model=mistralai/Mistral-7B-Instruct-v0.1
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
    ghcr.io/predibase/lorax:main --model-id $model

有关包括标记流式传输和Python客户端在内的完整教程，请参阅快速入门——Docker。

通过REST API发送提示

提示基础LLM：

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] 纳塔莉娅四月份卖了48个发夹给她的朋友们，五月份她卖出的发夹数量是四月份的一半。那么纳塔莉娅四月和五月一共卖了多少个发夹呢？[/INST]",
        "parameters": {
            "max_new_tokens": 64
        }
    }' \
    -H 'Content-Type: application/json'

提示LoRA适配器：

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] 纳塔莉娅四月份卖了48个发夹给她的朋友们，五月份她卖出的发夹数量是四月份的一半。那么纳塔莉娅四月和五月一共卖了多少个发夹呢？[/INST]",
        "parameters": {
            "max_new_tokens": 64,
            "adapter_id": "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
        }
    }' \
    -H 'Content-Type: application/json'

更多详细信息请参阅参考——REST API。

通过Python客户端发送提示

安装：

pip install lorax-client

运行：

from lorax import Client

client = Client("http://127.0.0.1:8080")

# 提示基础LLM
prompt = "[INST] 纳塔莉娅四月份卖了48个发夹给她的朋友们，五月份她卖出的发夹数量是四月份的一半。那么纳塔莉娅四月和五月一共卖了多少个发夹呢？[/INST]"
print(client.generate(prompt, max_new_tokens=64).generated_text)

# 提示一个 LoRA 适配器
adapter_id = "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
print(client.generate(prompt, max_new_tokens=64, adapter_id=adapter_id).generated_text)

完整详情请参阅 参考 - Python 客户端。

如需了解其他运行 LoRAX 的方式，请参阅 入门 - Kubernetes、入门 - SkyPilot 和 入门 - 本地。

通过 OpenAI API 进行聊天

LoRAX 支持多轮对话，并可通过兼容 OpenAI 的 API 动态加载适配器。只需将任意适配器指定为 model 参数即可。

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8080/v1",
)

resp = client.chat.completions.create(
    model="alignment-handbook/zephyr-7b-dpo-lora",
    messages=[
        {
            "role": "system",
            "content": "你是一个友好的聊天机器人，总是以海盗的风格回应",
        },
        {"role": "user", "content": "一个人一次能吃掉多少架直升机？"},
    ],
    max_tokens=100,
)
print("响应:", resp.choices[0].message.content)

详情请参阅 兼容 OpenAI 的 API。

后续步骤

以下是一些值得尝试的 Mistral-7B 微调模型：

• alignment-handbook/zephyr-7b-dpo-lora：基于 Zephyr-7B 数据集并使用 DPO 方法微调的 Mistral-7B 模型。
• IlyaGusev/saiga_mistral_7b_lora：基于 Open-Orca/Mistral-7B-OpenOrca 构建的俄语聊天机器人。
• Undi95/Mistral-7B-roleplay_alpaca-lora：使用角色扮演提示进行微调的模型。

您可以在 这里 找到更多 LoRA 适配器，或者使用 PEFT 或 Ludwig 来微调您自己的模型。

🙇 致谢

LoRAX 基于 HuggingFace 的 text-generation-inference 构建，该库源自 v0.9.4 版本（Apache 2.0 许可）。

我们还要感谢 Punica，感谢他们开发的 SGMV 内核，该内核用于在高负载下加速多适配器推理。

🗺️ 路线图

我们的路线图在此处跟踪：GitHub 问题 #57。

LoRAX 快速上手指南

LoRAX (LoRA eXchange) 是一个高性能的多 LoRA 推理服务器，支持在单个 GPU 上同时服务数千个微调模型。它通过动态加载适配器、异构连续批处理等技术，在不牺牲吞吐量和延迟的前提下，大幅降低了部署成本。

环境准备

在开始之前，请确保您的系统满足以下最低要求：

• 硬件: NVIDIA GPU (Ampere 架构或更高版本，如 A100, RTX 3090/4090 等)
• 驱动: 兼容 CUDA 11.8 或更高版本的驱动程序
• 操作系统: Linux
• 容器运行时: Docker
• 前置依赖: 安装 nvidia-container-toolkit 以允许 Docker 访问 GPU。

安装 nvidia-container-toolkit (Ubuntu/Debian 示例):

# 配置仓库并安装工具包（具体步骤请参考 NVIDIA 官方文档）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 重启 Docker 守护进程以生效
sudo systemctl daemon-reload
sudo systemctl restart docker

安装与启动

推荐使用预构建的 Docker 镜像启动服务，无需手动编译 CUDA 内核。

启动 LoRAX 服务器:

以下命令将拉取镜像并启动一个基于 Mistral-7B-Instruct-v0.1 的推理服务，映射端口为 8080。

model=mistralai/Mistral-7B-Instruct-v0.1
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
    ghcr.io/predibase/lorax:main --model-id $model

提示: 如果下载 HuggingFace 模型较慢，可以在宿主机配置 HF 镜像加速，或在 docker run 中添加环境变量 HUGGING_FACE_HUB_TOKEN 和代理设置。

基本使用

服务启动后，您可以通过 REST API、Python 客户端或兼容的 OpenAI API 进行调用。

1. 通过 REST API 调用

调用基础模型:

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]",
        "parameters": {
            "max_new_tokens": 64
        }
    }' \
    -H 'Content-Type: application/json'

调用特定 LoRA 适配器: 只需在参数中指定 adapter_id（支持 HuggingFace Hub ID），LoRAX 会自动即时加载该适配器。

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]",
        "parameters": {
            "max_new_tokens": 64,
            "adapter_id": "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
        }
    }' \
    -H 'Content-Type: application/json'

2. 通过 Python 客户端调用

首先安装官方客户端：

pip install lorax-client

使用代码进行推理：

from lorax import Client

client = Client("http://127.0.0.1:8080")

prompt = "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]"

# 调用基础模型
print(client.generate(prompt, max_new_tokens=64).generated_text)

# 调用 LoRA 适配器
adapter_id = "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
print(client.generate(prompt, max_new_tokens=64, adapter_id=adapter_id).generated_text)

3. 通过 OpenAI 兼容 API 对话

LoRAX 支持多轮对话，并允许将 model 参数直接指定为任意 LoRA 适配器的 ID。

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8080/v1",
)

resp = client.chat.completions.create(
    model="alignment-handbook/zephyr-7b-dpo-lora",
    messages=[
        {
            "role": "system",
            "content": "You are a friendly chatbot who always responds in the style of a pirate",
        },
        {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
    ],
    max_tokens=100,
)
print("Response:", resp.choices[0].message.content)