---

博客 | 文档 | 路线图 | 加入Slack | 每周开发会议 | 幻灯片

新闻

• [2026/02] 🔥 使用SGLang在NVIDIA GB300 NVL72上解锁25倍推理性能（博客）。
• [2026/01] 🔥 SGLang Diffusion加速视频和图像生成（博客）。
• [2025/12] SGLang为最新开源模型提供开箱即用的支持（MiMo-V2-Flash、Nemotron 3 Nano、Mistral Large 3、LLaDA 2.0 Diffusion LLM、MiniMax M2)。
• [2025/10] 🔥 SGLang现在可通过SGLang-Jax后端原生运行在TPU上（博客）。
• [2025/09] 使用PD和大规模专家并行化在GB200 NVL72上部署DeepSeek（第二部分）：预填充速度提升3.8倍，解码吞吐量提升4.8倍（博客）。
• [2025/09] SGLang为具有稀疏注意力的DeepSeek-V3.2提供开箱即用的支持（博客）。
• [2025/08] SGLang x AMD SF见面会于8月22日举行：GPU动手实践工作坊、AMD/xAI/SGLang的技术演讲以及交流活动（路线图、大规模EP、亮点、AITER/MoRI、Wave)。

更多

• [2025/11] SGLang Diffusion加速视频和图像生成（博客）。
• [2025/10] PyTorch大会2025 SGLang演讲（幻灯片）。
• [2025/10] SGLang x Nvidia SF见面会在10月2日举行（回顾）。
• [2025/08] SGLang为OpenAI gpt-oss模型提供开箱即用的支持（说明）。
• [2025/06] SGLang作为高性能推理基础设施，每日支撑数万亿次token处理，已被a16z授予第三批开源AI资助项目（a16z博客）。
• [2025/05] 在96张H100 GPU上使用PD解耦和大规模专家并行化部署DeepSeek（博客）。
• [2025/06] 在GB200 NVL72上使用PD和大规模EP部署DeepSeek（第一部分）：解码吞吐量提升2.7倍（博客）。
• [2025/03] 在AMD Instinct MI300X上大幅提升DeepSeek-R1的推理性能（AMD博客）。
• [2025/03] SGLang加入PyTorch生态系统：高效的LLM推理引擎（PyTorch博客）。
• [2025/02] 解锁AMD Instinct™ MI300X GPU上的DeepSeek-R1推理性能（AMD博客）。
• [2025/01] SGLang为DeepSeek V3/R1模型在NVIDIA和AMD GPU上提供开箱即用的支持，并进行了DeepSeek专属优化。（说明、AMD博客、10多家其他公司）。
• [2024/12] v0.4版本发布：零开销批调度器、缓存感知负载均衡器、更快的结构化输出（博客）。
• [2024/10] 首次SGLang线上见面会（幻灯片）。
• [2024/09] v0.3版本发布：DeepSeek MLA速度提升7倍，torch.compile速度提升1.5倍，多图像/视频LLaVA-OneVision（博客）。
• [2024/07] v0.2版本发布：使用SGLang运行时加速Llama3服务（相比TensorRT-LLM、vLLM）（博客）。
• [2024/02] SGLang通过压缩有限状态机实现JSON解码速度提升3倍（博客）。
• [2024/01] SGLang借助RadixAttention提供高达5倍的推理速度提升（博客）。
• [2024/01] SGLang支持官方LLaVA v1.6发布演示的推理服务（使用方法）。

关于

SGLang 是一个用于大型语言模型和多模态模型的高性能推理框架。它旨在在从单个 GPU 到大型分布式集群的各种部署环境中，提供低延迟、高吞吐量的推理服务。其核心特性包括：

• 快速运行时：通过 RadixAttention 前缀缓存、零开销 CPU 调度器、预填充与解码分离、推测性解码、连续批处理、分页注意力、张量/流水线/专家并行以及数据并行、结构化输出、分块预填充、量化（FP4/FP8/INT4/AWQ/GPTQ）和多 LoRA 批处理等技术，实现高效的推理服务。
• 广泛的模型支持：支持多种语言模型（Llama、Qwen、DeepSeek、Kimi、GLM、GPT、Gemma、Mistral 等）、嵌入模型（e5-mistral、gte、mcdse）、奖励模型（Skywork）和扩散模型（WAN、Qwen-Image），并且易于扩展以添加新模型。兼容大多数 Hugging Face 模型和 OpenAI API。
• 广泛的硬件支持：可在 NVIDIA GPU（GB200/B300/H100/A100/Spark/5090）、AMD GPU（MI355/MI300）、Intel Xeon CPU、Google TPU、Ascend NPU 等多种硬件上运行。
• 活跃的社区：SGLang 是开源项目，拥有充满活力的社区支持，并被广泛应用于业界，全球范围内已驱动超过 40 万张 GPU 卡。
• 强化学习与后训练基础架构：SGLang 是经过验证的前沿模型训练用回放后端，原生支持强化学习集成，并已被多个知名后训练框架采用，如 AReaL、Miles、slime、Tunix、verl 等。

快速入门

• 安装 SGLang
• 快速开始
• 后端教程
• 前端教程
• 贡献指南

基准测试与性能

更多信息请参阅发布博客：v0.2 博客、v0.3 博客、v0.4 博客、大规模专家并行、GB200 机架级并行、GB300 长上下文。

采用与赞助

SGLang 已被大规模部署，每天在生产环境中生成数万亿 tokens。它受到众多领先企业和机构的信任与采用，包括 xAI、AMD、NVIDIA、Intel、LinkedIn、Cursor、Oracle Cloud、Google Cloud、Microsoft Azure、AWS、Atlas Cloud、Voltage Park、Nebius、DataCrunch、Novita、InnoMatrix、MIT、UCLA、华盛顿大学、斯坦福大学、加州大学伯克利分校、清华大学、Jam & Tea Studios、Baseten 等主要科技组织。 作为一款开源的 LLM 推理引擎，SGLang 已成为事实上的行业标准，全球范围内已有超过 40 万张 GPU 卡在运行中使用该框架。 SGLang 目前由非营利性开源组织 LMSYS 托管。

联系我们

对于有意大规模采用或部署 SGLang 的企业，包括技术咨询、赞助机会或合作洽谈，请通过 sglang@lmsys.org 与我们联系。

长期积极参与 SGLang 开发的贡献者有资格获得代码助手赞助，例如 Cursor、Claude Code 或 OpenAI Codex。请将您最重要的提交记录或拉取请求发送至 sglang@lmsys.org。

致谢

我们在设计过程中参考并复用了以下项目的代码：Guidance、vLLM、LightLLM、FlashInfer、Outlines 和 LMQL。

SGLang 快速上手指南

SGLang 是一个高性能的大语言模型（LLM）和多模态模型服务框架，旨在提供低延迟、高吞吐的推理体验。它支持广泛的硬件（NVIDIA/AMD GPU, TPU, CPU 等）和模型（Llama, Qwen, DeepSeek 等），并兼容 OpenAI API。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐) 或 macOS。
• Python 版本：Python 3.8 及以上版本。
• 硬件驱动：
  • NVIDIA GPU：已安装正确的 NVIDIA 驱动程序和 CUDA Toolkit。
  • AMD GPU：已安装 ROCm 栈。
  • 其他：若使用 TPU 或 CPU，请确保相应后端依赖已就绪。
• 包管理器：建议使用 pip 进行安装。

提示：为了获得最佳性能，建议在使用 NVIDIA GPU 时安装与您的 CUDA 版本匹配的 PyTorch。

2. 安装步骤

您可以通过 pip 直接安装 SGLang。根据您的需求，可以选择安装基础版本或包含特定后端支持的版本。

基础安装

pip install sglang

安装特定后端支持（可选）

如果您需要针对特定硬件或功能进行优化，可以安装额外的依赖项：

• NVIDIA GPU (CUDA):

  pip install "sglang[cuda]"
  

• AMD GPU (ROCm):

  pip install "sglang[rocm]"
  

• TPU (JAX):

  pip install "sglang[tpu]"
  

国内加速建议：如果下载速度较慢，可以使用国内镜像源，例如清华大学镜像：

pip install sglang -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

SGLang 提供了两种主要的使用方式：后端服务启动（兼容 OpenAI API）和 前端编程接口（Python SDK）。

方式一：启动后端服务并调用（推荐）

这是最通用的使用方式，启动一个兼容 OpenAI API 的服务端，然后使用任何兼容的客户端进行请求。

步骤 1：启动服务器

以下命令将启动一个服务，加载 meta-llama/Meta-Llama-3-8B-Instruct 模型（首次运行会自动下载模型）：

python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct --port 30000

• --model-path: 指定模型路径，可以是 Hugging Face 模型 ID 或本地路径。
• --port: 指定服务端口，默认为 30000。

步骤 2：发送请求

服务启动后，您可以使用 curl 或 Python 代码通过 OpenAI API 格式与之交互。

使用 curl 测试：

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "messages": [
      {"role": "user", "content": "Hello, who are you?"}
    ]
  }'

使用 Python 请求：

import openai

client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY"
)

response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    messages=[
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)

print(response.choices[0].message.content)

方式二：使用 SGLang 前端 DSL（结构化生成）

SGLang 提供了一套领域特定语言（DSL），用于更灵活地控制生成过程，特别适合复杂的多步推理或结构化输出。

import sglang as sgl

@sgl.function
def few_shot_qa(s, question):
    s += "The following are questions with answers.\n\n"
    s += "Q: What is the capital of France?\nA: Paris\n"
    s += "Q: " + question + "\nA:"
    s += sgl.gen("answer", stop="\n")

# 执行函数
state = few_shot_qa.run(question="What is the capital of Germany?")
print(state["answer"])

注意：使用前端 DSL 时，通常需要先启动后端服务，或者在本地运行时确保配置了正确的运行时环境。对于生产环境，推荐使用方式一进行部署。