---

| 文档 | 联系我们 |

新闻

• [2025/09] 🔥 RTP-LLM 0.2.0 发布，性能提升并新增多项功能
• [2025/01] 🚀 RTP-LLM 现已支持 Prefill/Decode 分离，并附详细技术报告
• [2025/01] 🌟 通义系列模型及 BERT 嵌入模型现已支持倚天 ARM CPU
• [2024/06] 🔄 重大重构：调度与批处理框架用 C++ 重写，实现完整的 GPU 内存管理，并引入新的 Device 后端
• [2024/06] 🏗️ 多硬件支持开发中：AMD ROCm、Intel CPU 和 ARM CPU 支持即将推出

更多

• 大模型推理新突破：分布式推理技术探索与实践
• 为异构推理做好准备：次世代 RTP-LLM 推理引擎设计分享
• LLM推理加速：decode阶段的Attention在GPU上的优化
• LLM推理加速：decode阶段的Attention在GPU上的优化（二）

关于

RTP-LLM 是由阿里巴巴基础模型推理团队开发的大语言模型（LLM）推理加速引擎。它在阿里巴巴集团内部得到广泛应用，支持包括淘宝、天猫、闲鱼、菜鸟、高德地图、饿了么、速卖通和来赞达等多个业务部门的 LLM 服务。

RTP-LLM 是 havenask 项目的一个子项目。

核心特性

🏢 经生产验证

已在众多 LLM 场景中获得信任并部署：

• 淘宝问问
• 阿里巴巴国际 AI 平台 Aidge
• OpenSearch LLM 智能问答版
• 基于大语言模型的淘宝搜索长尾查询改写

⚡ 高性能

• 采用高性能 CUDA 核心，包括 PagedAttention、FlashAttention、FlashDecoding 等
• 实现 WeightOnly INT8 量化，并在加载时自动完成量化
• 支持 WeightOnly INT4 量化，兼容 GPTQ 和 AWQ
• 自适应 KVCache 量化
• 在框架层面详细优化动态批处理开销
• 专为 V100 GPU 优化

🔧 灵活性与易用性

• 无缝集成 HuggingFace 模型，支持 SafeTensors、Pytorch 和 Megatron 等多种权重格式
• 可在一个模型实例上部署多个 LoRA 服务
• 处理多模态输入（图像与文本结合）
• 支持多机/多 GPU 张量并行
• 支持 P-tuning 模型

🚀 先进的加速技术

• 加载剪枝后的不规则模型
• 针对多轮对话的上下文前缀缓存
• 系统提示缓存
• 推测解码

开始使用

• 安装 RTP-LLM
• 快速入门
• 后端教程
• 贡献指南

基准测试与性能

了解更多关于 RTP-LLM 性能的信息，请参阅我们的基准测试报告：

• 性能基准测试工具

致谢

我们的项目主要基于 FasterTransformer，并在其基础上集成了来自 TensorRT-LLM 的部分核心实现。此外，我们还从 vllm、transformers、llava 和 qwen-vl 中汲取灵感。感谢这些项目给予的启发与帮助。

引用

如果您在研究或项目中发现 RTP-LLM 很有帮助，请考虑引用以下内容：

@Misc{rtp-llm,
  author       = {Alibaba},
  title        = {RTP-LLM: 一款高性能的 LLM 推理引擎},
  howpublished = {\url{https://github.com/alibaba/rtp-llm}},
  year         = {2025},
}

联系我们

钉钉群

微信群

RTP-LLM 快速上手指南

RTP-LLM 是阿里巴巴基础模型推理团队研发的高性能大语言模型（LLM）推理加速引擎，已在淘宝、天猫、闲鱼等多个业务场景大规模落地。它支持多种量化技术、动态批处理及多卡/多机并行，旨在提供生产级的高吞吐与低延迟推理服务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04 或更高版本)
• 硬件要求:
  • NVIDIA GPU (特别针对 V100 及以上型号优化)
  • 显存建议：根据模型大小而定，支持 INT4/INT8 量化以降低显存需求
  • 注：最新开发版已开始支持 AMD ROCm、Intel CPU 及 ARM CPU (如倚天)
• 软件依赖:
  • CUDA Toolkit (版本需与显卡驱动匹配，建议 11.8 或 12.x)
  • CMake (3.20+)
  • GCC/G++ (7.5+)
  • Python (3.8 - 3.10)
  • Git

安装步骤

RTP-LLM 需要从源码编译以发挥最佳性能。以下是基于官方文档的标准安装流程：

1. 克隆项目代码

   git clone https://github.com/alibaba/rtp-llm.git
   cd rtp-llm
   git submodule update --init --recursive
   

2. 构建项目 创建构建目录并执行 CMake 配置。默认情况下会构建 GPU 后端。

   mkdir build && cd build
   cmake .. -DUSE_CUDA=ON -DCMAKE_BUILD_TYPE=Release
   make -j$(nproc)
   

   提示：若国内网络下载子模块缓慢，可尝试配置 Git 代理或使用国内镜像源克隆。

3. 安装 Python 依赖 进入项目根目录安装必要的 Python 包：

   pip install -r requirements.txt
   # 可选：使用国内镜像加速安装
   # pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 设置环境变量 将编译生成的库路径添加到环境变量中：

   export LD_LIBRARY_PATH=$PWD/build/lib:$LD_LIBRARY_PATH
   export PYTHONPATH=$PWD/python:$PYTHONPATH
   

基本使用

安装完成后，您可以通过 Python 接口快速加载模型并进行推理。以下是一个最简单的单轮对话示例：

from rtp_llm import Pipeline

# 初始化推理管道
# model_path: 替换为您的模型权重路径 (支持 HuggingFace 格式，如 SafeTensors, Pytorch)
# device: 指定设备，如 "cuda:0"
pipeline = Pipeline(model_path="/path/to/your/model", device="cuda:0")

# 构造输入提示
prompt = "你好，请介绍一下 RTP-LLM。"

# 执行推理
# max_new_tokens: 生成最大长度
# temperature: 采样温度
response = pipeline.generate(
    prompt=prompt,
    max_new_tokens=512,
    temperature=0.7
)

print(response)

进阶特性提示：

• 多轮对话：利用 Contextual Prefix Cache 可显著提升多轮对话效率。
• 量化加速：加载时自动支持 WeightOnly INT8 量化，也可通过 GPTQ/AWQ 格式加载 INT4 模型。
• 并发服务：框架内置动态批处理（Dynamic Batching），可直接用于高并发服务部署。

更多详细参数配置、后端教程及性能基准测试，请访问 RTP-LLM 官方文档。