English | 中文

---

| 文档 | 技术报告 |

📢 新闻

• 2026-02-12: 🎉 我们在发布当天即支持对GLM-5模型进行高性能推理，请参考其部署文档了解部署方法。
• 2025-12-21: 🎉 我们在发布当天即支持对GLM-4.7模型进行高性能推理。
• 2025-12-08: 🎉 我们在发布当天即支持对GLM-4.6V模型进行高性能推理。
• 2025-12-05: 🎉 我们现在支持对GLM-4.5/GLM-4.6系列模型进行高性能推理。
• 2025-12-05: 🎉 我们现在支持对VLM-R1模型进行高性能推理。
• 2025-12-05: 🎉 我们基于Mooncake构建了混合KV缓存管理机制，支持全局KV缓存管理，并具备智能卸载与预取功能。
• 2025-10-16: 🎉 我们最近在arXiv上发布了xLLM技术报告，提供了全面的技术蓝图和实现洞察。

项目概述

xLLM是一个高效的LLM推理框架，专为中国AI加速器优化，能够以更高的效率和更低的成本实现企业级部署。该框架采用服务-引擎解耦的推理架构，通过多项技术创新实现了突破性的效率提升：在服务层，包括在线/离线请求的弹性调度、动态PD分离以及用于多模态和高可用性容错的混合EPD机制；在引擎层，则结合了多流并行计算、图融合优化、推测式推理、动态负载均衡和全局KV缓存管理等技术。整体架构如下所示：

xLLM已经支持主流大模型（如DeepSeek-V3.1、Qwen2/3等）在中国AI加速器上的高效部署，助力企业实现高性能、低成本的AI大模型应用。xLLM目前已在京东的核心零售业务中全面部署，覆盖智能客服、风险控制、供应链优化、广告推荐等多种场景。

核心特性

xLLM提供强大的智能计算能力。通过硬件系统优化和算法驱动的决策控制，协同加速推理过程，从而实现高吞吐量、低延迟的分布式推理服务。

全图流水线执行编排

• 在请求调度层采用异步解耦调度，减少计算空泡。
• 在模型图层实现计算与通信的异步并行，重叠计算与通信。
• 在算子内核层对异构计算单元进行流水线化，重叠计算与内存访问。

动态形状的图优化

• 基于参数化和多图缓存方法实现动态形状适配，提升静态图的灵活性。
• 控制张量内存池，确保地址安全性和可重用性。
• 集成并适配性能关键的自定义算子（如PageAttention、AllReduce）。

高效内存优化

• 管理离散物理内存与连续虚拟内存之间的映射关系。
• 按需分配内存，减少内存碎片。
• 智能调度内存页，提高内存的可重用性。
• 为国产加速器适配相应的算子。

全局KV缓存管理

• 在层次化缓存中实现KV的智能卸载与预取。
• 以KV缓存为中心的分布式存储架构。
• 在计算节点之间智能路由KV数据。

算法驱动的加速

• 推测式解码优化，通过多核并行提高效率。
• 动态调整MoE专家负载均衡，实现专家分布的高效调控。

---

硬件支持

硬件	示例	备注
NPU	A2, A3	HDK Driver 25.2.0 +
MLU
ILU	BI150
MUSA	S5000

此外，请在支持的模型列表中查看不同硬件上支持的模型。

---

快速入门

更多详情请参阅快速入门。

---

贡献

您可以通过以下几种方式为xLLM做出贡献：

1. 报告问题（Bug & 错误）
2. 提出改进建议
3. 改进文档
   • 分支仓库
   • 在文档中添加您的观点
   • 发送拉取请求
4. 编写代码
   • 分支仓库
   • 创建新分支
   • 添加您的功能或改进
   • 发送拉取请求

我们非常感谢各种形式的贡献！🎉🎉🎉 如果您在开发过程中遇到问题，请查阅我们的文档：文档

---

社区与支持

如果您在使用过程中遇到任何问题，欢迎在项目的 Issues 区域提交可复现的步骤和日志片段，或者通过您内部的 Slack 直接联系 xLLM 核心团队。此外，我们还建立了官方微信群，您可以通过扫描下方二维码加入。欢迎随时联系我们！

致谢

本项目得以实现，离不开以下开源项目的贡献：

• ScaleLLM - xLLM 的图结构构建方法受到 ScaleLLM 的启发，并参考了其运行时执行机制。
• Mooncake - 基于 Mooncake 构建了 xLLM 的混合 KV 缓存管理方案。
• brpc - 使用 brpc 搭建高性能 HTTP 服务。
• tokenizers-cpp - 基于 tokenizers-cpp 实现 C++ 分词器。
• safetensors - xLLM 依赖 safetensors 的 C 语言绑定能力。
• Partial JSON Parser - 结合 Python 和 Go 的实现思路，完成了 xLLM 的 C++ JSON 解析器。
• concurrentqueue - 提供了一个适用于 C++11 的高效多生产者、多消费者无锁并发队列。

同时，我们也感谢以下高校实验室的合作：

• THU-MIG（清华大学软件学院 BNRist 研究组）
• USTC-Cloudlab（中国科学技术大学云计算实验室）
• Beihang-HiPO（北京航空航天大学 HiPO 研究组）
• PKU-DS-LAB（北京大学数据结构实验室）
• PKU-NetSys-LAB（北京大学 NetSys 实验室）
• TJU-TANKLab（天津大学 TANK 实验室）

最后，特别感谢所有为 xLLM 做出贡献的 开发者。

---

许可证

Apache License

xLLM 由京东集团提供

感谢您的贡献！

引用

如果您认为本仓库对您有所帮助，请引用我们：

@article{liu2025xllm,
  title={xLLM 技术报告},
  author={刘通轩、彭涛、杨沛君、赵晓阳、陆秀生、黄伟哲、刘子睿、陈晓宇、梁志伟、熊俊等},
  journal={arXiv 预印本 arXiv:2510.14686},
  year={2025}
}

xLLM 快速上手指南

xLLM 是京东开源的高效大语言模型（LLM）推理框架，专为国产 AI 加速器优化，支持服务与引擎解耦架构，适用于企业级高吞吐、低延迟部署场景。

---

一、环境准备

系统要求

• 操作系统：Linux (推荐 Ubuntu 20.04/22.04)
• 编译器：GCC 9.0+ 或兼容版本
• CMake：3.18+
• Python：3.8+

硬件支持

xLLM 主要针对以下国产加速卡进行优化：

硬件类型	型号示例	驱动要求
NPU (华为昇腾)	A2, A3	HDK Driver 25.2.0+
MLU (寒武纪)	-	-
ILU (天数智芯)	BI150	-
MUSA (摩尔线程)	S5000	-

注意：请确保已安装对应硬件的官方驱动程序及开发工具包（如 CANN、CNToolkit 等）。

前置依赖

建议先更新包管理器并安装基础构建工具：

sudo apt-get update
sudo apt-get install -y git cmake build-essential python3-pip

---

二、安装步骤

1. 克隆项目

git clone https://github.com/jd-opensource/xllm.git
cd xllm

2. 创建虚拟环境（推荐）

python3 -m venv venv
source venv/bin/activate

3. 安装 Python 依赖

国内用户推荐使用清华或阿里镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 编译安装

根据您使用的硬件后端，配置相应的编译选项。以华为昇腾（NPU）为例：

mkdir build && cd build
cmake .. -DUSE_ASCEND=ON \
         -DCMAKE_BUILD_TYPE=Release \
         -DASCEND_HOME_PATH=/usr/local/Ascend/ascend-toolkit/latest
make -j$(nproc)

提示：若使用其他硬件（如 MLU、MUSA），请将 -DUSE_ASCEND=ON 替换为对应的 -DUSE_MLU=ON 或 -DUSE_MUSA=ON，并指定正确的 SDK 路径。

5. Docker 快速部署（可选）

如果希望避免环境配置问题，可直接使用官方 Docker 镜像：

docker pull xllm/xllm-ai:latest
docker run --gpus all -it xllm/xllm-ai:latest /bin/bash

(注：运行容器时需根据具体硬件添加相应的设备挂载参数，如 --device /dev/davinci_manager)

---

三、基本使用

以下示例展示如何启动一个基于 DeepSeek-V3.1 模型的推理服务（假设模型权重已下载至 /models/deepseek-v3.1）。

1. 启动推理服务

在 build 目录下运行服务引擎：

./xllm_server \
    --model_path /models/deepseek-v3.1 \
    --host 0.0.0.0 \
    --port 8080 \
    --tensor_parallel_size 1 \
    --max_batch_size 32

参数说明：

• --tensor_parallel_size: 张量并行数，多卡部署时请调整为卡数。
• --max_batch_size: 最大并发批处理大小。

2. 发送推理请求

使用 curl 或 Python 脚本调用服务。

使用 curl 测试：

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v3.1",
    "messages": [{"role": "user", "content": "你好，请介绍一下 xLLM。"}],
    "max_tokens": 512
  }'

使用 Python 调用示例：

import requests

url = "http://localhost:8080/v1/chat/completions"
payload = {
    "model": "deepseek-v3.1",
    "messages": [{"role": "user", "content": "你好，请介绍一下 xLLM。"}],
    "max_tokens": 512
}

response = requests.post(url, json=payload)
print(response.json())

---

更多详细配置、支持的模型列表及高级功能（如 KV Cache 管理、动态形状优化），请参阅 官方文档。