---

最新消息 🎉

2026

• [2026/04] LMDeploy 在 PyPI 上的项目已达到存储配额，因此暂时无法上传新版本的预构建 wheel。您可以从 GitHub Releases 页面下载软件包，或直接从源码安装。待 PyPI 的 wheel 上传恢复后，我们将更新此通知。受影响的版本：>=0.12.2
• [2026/02] 支持 Qwen3.5
• [2026/02] 支持 vllm-project/llm-compressor 的 4bit 对称/非对称量化。详细指南请参阅 这里

2025

• [2025/09] TurboMind 自 V100 起支持 NVIDIA GPU 上的 MXFP4，对于 OpenAI GPT-OSS 模型，性能是 vLLM 在 H800 上的 1.5 倍！
• [2025/06] 针对 FP8 MoE 模型进行全面推理优化
• [2025/06] 现可通过与 DLSlime 和 Mooncake 集成，支持 DeepSeek PD 分离式部署。非常感谢这两个团队！
• [2025/04] 通过集成 deepseek-ai 技术（FlashMLA、DeepGemm、DeepEP、MicroBatch 和 eplb），提升 DeepSeek 推理性能
• [2025/01] 支持 DeepSeek V3 和 R1

2024

• [2024/11] 使用 PyTorch 引擎支持 Mono-InternVL
• [2024/10] PyTorchEngine 在 ascend 平台上支持图模式，使推理速度翻倍
• [2024/09] LMDeploy PyTorchEngine 新增对 华为 Ascend 的支持。支持的模型请见 这里
• [2024/09] LMDeploy PyTorchEngine 通过引入 CUDA 图，在 Llama3-8B 推理上实现了 1.3 倍的加速
• [2024/08] LMDeploy 已集成到 modelscope/swift，作为 VLM 推理的默认加速器
• [2024/07] 支持 Llama3.1 8B、70B 及其工具调用功能
• [2024/07] 支持 InternVL2 全系列模型、InternLM-XComposer2.5 以及 InternLM2.5 的 函数调用功能
• [2024/06] PyTorch 引擎支持 DeepSeek-V2 和多种 VLM，如 CogVLM2、Mini-InternVL、LlaVA-Next
• [2024/05] 在使用多 GPU 部署 VLM 时平衡视觉模型
• [2024/05] 支持 VLM 的 4-bit 权重量化及推理，例如 InternVL v1.5、LLaVa、InternLMXComposer2
• [2024/04] 支持 Llama3 及更多 VLM，如 InternVL v1.1、v1.2、MiniGemini、InternLMXComposer2。
• [2024/04] TurboMind 新增所有支持设备的在线 int8/int4 KV 缓存量化与推理。详细指南请参阅 这里
• [2024/04] TurboMind 最新升级提升了 GQA 性能，使 internlm2-20b 模型的推理速度达到 16+ RPS，比 vLLM 快约 1.8 倍。
• [2024/04] 支持 Qwen1.5-MOE 和 dbrx。
• [2024/03] 支持 DeepSeek-VL 的离线推理流程及服务部署。
• [2024/03] 支持 VLM 的离线推理流程及服务部署。
• [2024/02] 支持 Qwen 1.5、Gemma、Mistral、Mixtral、Deepseek-MOE 等模型。
• [2024/01] OpenAOE 与 LMDeploy Serving Service 实现无缝集成。
• [2024/01] 支持多模型、多机器、多卡的推理服务。使用说明请参阅 这里
• [2024/01] 支持完全用 Python 开发的 PyTorch 推理引擎，有助于降低开发者门槛，并实现对新功能和技术的快速实验。

2023

• [2023/12] Turbomind 支持多模态输入。
• [2023/11] Turbomind 支持直接加载 hf 模型。详情请点击 这里。
• [2023/11] TurboMind 进行了重大升级，包括：分页注意力、无序列长度限制的更快注意力内核、KV8 内核速度提升 2 倍、Split-K 解码（闪速解码）以及针对 sm_75 的 W4A16 推理。
• [2023/09] TurboMind 支持 Qwen-14B
• [2023/09] TurboMind 支持 InternLM-20B
• [2023/09] TurboMind 支持 Code Llama 的所有功能：代码补全、代码填充、聊天/指令模式以及 Python 专业模式。部署指南请参阅 这里
• [2023/09] TurboMind 支持 Baichuan2-7B
• [2023/08] TurboMind 支持 flash-attention2。
• [2023/08] TurboMind 支持 Qwen-7B、动态 NTK-RoPE 缩放和动态 logN 缩放
• [2023/08] TurboMind 支持 Windows (tp=1)
• [2023/08] TurboMind 支持 4-bit 推理，速度比 FP16 快 2.4 倍，是目前最快的开源实现。详细信息请参阅 这篇 指南
• [2023/08] LMDeploy 已在 HuggingFace Hub 上线，提供开箱即用的 4-bit 模型。
• [2023/08] LMDeploy 支持使用 AWQ 算法进行 4-bit 量化。
• [2023/07] TurboMind 支持带有 GQA 的 Llama-2 70B。
• [2023/07] TurboMind 支持 Llama-2 7B/13B。
• [2023/07] TurboMind 支持 InternLM 的张量并行推理。

---

简介

LMDeploy 是一个用于压缩、部署和推理服务大语言模型的工具包，由 MMRazor 和 MMDeploy 团队共同开发。它具备以下核心特性：

• 高效推理：通过引入持久化批处理（即连续批处理）、分块 KV 缓存、动态拆分与融合、张量并行、高性能 CUDA 核函数等关键技术，LMDeploy 的请求吞吐率最高可达 vLLM 的 1.8 倍。

• 高效量化：LMDeploy 支持权重量化和键值对（k/v）量化，其中 4 位精度的推理性能是 FP16 的 2.4 倍。量化质量已通过 OpenCompass 评测得到验证。

• 便捷的分布式部署：借助请求分发服务，LMDeploy 能够轻松高效地在多台机器、多张 GPU 上部署多模型服务。

• 出色的兼容性：LMDeploy 支持同时使用 KV 缓存量化、AWQ 和 自动前缀缓存。

性能

支持的模型

大语言模型

多模态模型

Llama (7B - 65B) Llama2 (7B - 70B) Llama3 (8B, 70B) Llama3.1 (8B, 70B) Llama3.2 (1B, 3B) InternLM (7B - 20B) InternLM2 (7B - 20B) InternLM3 (8B) InternLM2.5 (7B) Qwen (1.8B - 72B) Qwen1.5 (0.5B - 110B) Qwen1.5 - MoE (0.5B - 72B) Qwen2 (0.5B - 72B) Qwen2-MoE (57BA14B) Qwen2.5 (0.5B - 32B) Qwen3, Qwen3-MoE Qwen3-Next(80B) Baichuan (7B) Baichuan2 (7B-13B) Code Llama (7B - 34B) ChatGLM2 (6B) GLM-4 (9B) GLM-4-0414 (9B, 32B) CodeGeeX4 (9B) YI (6B-34B) Mistral (7B) DeepSeek-MoE (16B) DeepSeek-V2 (16B, 236B) DeepSeek-V2.5 (236B) DeepSeek-V3 (685B) DeepSeek-V3.2 (685B) Mixtral (8x7B, 8x22B) Gemma (2B - 7B) StarCoder2 (3B - 15B) Phi-3-mini (3.8B) Phi-3.5-mini (3.8B) Phi-3.5-MoE (16x3.8B) Phi-4-mini (3.8B) MiniCPM3 (4B) SDAR (1.7B-30B) gpt-oss (20B, 120B) GLM-4.7-Flash (30B) GLM-5 (754B)

LLaVA(1.5,1.6) (7B-34B) InternLM-XComposer2 (7B, 4khd-7B) InternLM-XComposer2.5 (7B) Qwen-VL (7B) Qwen2-VL (2B, 7B, 72B) Qwen2.5-VL (3B, 7B, 72B) Qwen3-VL (2B - 235B) Qwen3.5 (0.8B - 397B) DeepSeek-VL (7B) DeepSeek-VL2 (3B, 16B, 27B) InternVL-Chat (v1.1-v1.5) InternVL2 (1B-76B) InternVL2.5(MPO) (1B-78B) InternVL3 (1B-78B) InternVL3.5 (1B-241BA28B) Intern-S1 (241B) Intern-S1-mini (8.3B) Intern-S1-Pro (1TB) Mono-InternVL (2B) ChemVLM (8B-26B) CogVLM-Chat (17B) CogVLM2-Chat (19B) MiniCPM-Llama3-V-2_5 MiniCPM-V-2_6 Phi-3-vision (4.2B) Phi-3.5-vision (4.2B) GLM-4V (9B) GLM-4.1V-Thinking (9B) Llama3.2-vision (11B, 90B) Molmo (7B-D,72B) Gemma3 (1B - 27B) Llama4 (Scout, Maverick)

LMDeploy 开发了两种推理引擎——TurboMind 和 PyTorch，它们各有侧重。前者致力于实现极致的推理性能优化，而后者则完全基于 Python 实现，旨在降低开发者的使用门槛。

两者在支持的模型类型和推理数据类型上有所不同。请参考 这张表格，了解每种引擎的具体能力，并根据实际需求选择合适的引擎。

快速入门

安装

建议在 Conda 环境中使用 pip 安装 lmdeploy（Python 3.10 - 3.13）：

conda create -n lmdeploy python=3.12 -y
conda activate lmdeploy
pip install lmdeploy

自 v0.3.0 起，默认预编译包是在 CUDA 12 上编译的。从 v0.10.2 开始，LMDeploy 不再支持 CUDA 11 系列。

如果您使用的是 GeForce RTX 50 系列显卡，请按照以下步骤安装使用 CUDA 12.8 编译的预编译包：

export LMDEPLOY_VERSION=0.12.3
export PYTHON_VERSION=312
pip install https://github.com/InternLM/lmdeploy/releases/download/v${LMDEPLOY_VERSION}/lmdeploy-${LMDEPLOY_VERSION}+cu128-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux2014_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu128

离线批量推理

import lmdeploy
with lmdeploy.pipeline("internlm/internlm3-8b-instruct") as pipe:
    response = pipe(["你好，请自我介绍一下", "上海是"])
    print(response)

[!NOTE] 默认情况下，LMDeploy 会从 HuggingFace 下载模型。如果您希望使用 ModelScope 上的模型，请先通过 pip install modelscope 安装 ModelScope，并设置环境变量：

export LMDEPLOY_USE_MODELSCOPE=True

如果您希望使用 openMind Hub 上的模型，请先通过 pip install openmind_hub 安装 openMind Hub，并设置环境变量：

export LMDEPLOY_USE_OPENMIND_HUB=True

有关推理管道的更多信息，请参阅 此处。

教程

请查看 getting_started 部分，了解 LMDeploy 的基本用法。

有关详细的用户指南和高级指南，请参阅我们的 教程：

• 用户指南
  • LLM 推理流水线
  • VLM 推理流水线
  • LLM 服务
  • VLM 服务
  • 量化
• 高级指南
  • 推理引擎 - TurboMind
  • 推理引擎 - PyTorch
  • 自定义聊天模板
  • 添加新模型
  • gemm 调优
  • 长上下文推理
  • 多模型推理服务

第三方项目

• 使用 LMDeploy 在 NVIDIA Jetson 平台上离线部署 LLM：LMDeploy-Jetson

• 使用 LMDeploy 和 BentoML 部署 LLM 的示例项目：BentoLMDeploy

贡献

我们非常感谢对 LMDeploy 的所有贡献。请参阅 CONTRIBUTING.md 以获取贡献指南。

致谢

• FasterTransformer
• llm-awq
• vLLM
• DeepSpeed-MII

引用

@misc{2023lmdeploy,
    title={LMDeploy：用于压缩、部署和提供 LLM 服务的工具包},
    author={LMDeploy 贡献者},
    howpublished = {\url{https://github.com/InternLM/lmdeploy}},
    year={2023}
}

@article{zhang2025efficient,
  title={使用 TurboMind 进行高效的混合精度大型语言模型推理},
  author={Zhang, Li; Jiang, Youhe; He, Guoliang; Chen, Xin; Lv, Han; Yao, Qian; Fu, Fangcheng; Chen, Kai},
  journal={arXiv 预印本 arXiv:2508.15601},
  year={2025}
}

许可证

本项目采用 Apache 2.0 许可证 发布。

LMDeploy 快速上手指南

LMDeploy 是由 MMRazor 和 MMDeploy 团队开发的大语言模型（LLM）压缩、部署和服务工具包。它以高效的推理性能（比 vLLM 快 1.8 倍）、优秀的量化支持（4-bit 推理性能提升 2.4 倍）以及便捷的分布式服务部署而著称。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04) 或 Windows (仅支持 tp=1)。
• Python 版本: 3.10 - 3.13。
• GPU 驱动: 已安装兼容的 NVIDIA 驱动。
• CUDA 版本:
  • LMDeploy v0.3.0 及以上默认基于 CUDA 12 编译。
  • 注意: 从 v0.10.2 版本开始，不再支持 CUDA 11 系列。
  • 如果您使用的是 GeForce RTX 50 系列显卡，请务必安装对应的预构建包。
• 硬件架构: 支持 NVIDIA GPU (Volta 架构及以上，如 V100, A100, H800, RTX 30/40/50 系列等) 以及华为昇腾 (Ascend) 平台。

2. 安装步骤

推荐使用 conda 创建独立的虚拟环境进行安装，以避免依赖冲突。

步骤一：创建并激活环境

conda create -n lmdeploy python=3.12 -y
conda activate lmdeploy

步骤二：安装 LMDeploy

使用 pip 直接安装最新稳定版：

pip install lmdeploy

国内加速建议： 如果下载速度较慢，建议使用国内镜像源（如清华源）：

pip install lmdeploy -i https://pypi.tuna.tsinghua.edu.cn/simple

特殊情况说明： 若遇到 PyPI 存储配额限制导致无法下载特定版本（>=0.12.2）的 wheel 包，请前往 GitHub Releases 页面下载对应版本的 .whl 文件手动安装，或选择从源码安装。

3. 基本使用

LMDeploy 提供了命令行工具和 Python API 两种主要使用方式。以下展示最快速的命令行推理示例。

场景一：一键启动交互式对话

假设您想要运行一个 Hugging Face 上的模型（例如 internlm/internlm2_5-7b-chat），只需一条命令即可自动下载模型并启动对话服务。

lmdeploy chat internlm/internlm2_5-7b-chat

• 该命令会自动拉取模型权重。
• 启动后，您可以在终端直接与模型进行多轮对话。
• 支持自动识别模型类型并加载相应的配置。

场景二：启动本地 API 服务

如果您希望通过 HTTP API 调用模型（兼容 OpenAI 接口格式），可以使用 serve 命令：

lmdeploy serve api_server internlm/internlm2_5-7b-chat --server-port 23333

启动成功后，您可以通过 curl 或 Python 请求接口：

curl http://localhost:23333/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "internlm2_5-7b-chat",
    "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}]
  }'

场景三：Python 代码快速推理

您也可以直接在 Python 脚本中调用 LMDeploy 进行推理：

from lmdeploy import pipeline

# 初始化推理管道
pipe = pipeline("internlm/internlm2_5-7b-chat")

# 执行推理
response = pipe("你好，LMDeploy 是什么？")
print(response)

---

提示：LMDeploy 包含 TurboMind 和 PyTorch 两个推理引擎。默认情况下会自动选择最优引擎（通常为 TurboMind 以获得最佳性能）。如需指定引擎或进行高级量化配置，请参考官方详细文档。