Liger Kernel：用于 LLM 训练的高效 Triton 内核

稳定版		每日构建版		Discord

安装 | 快速入门 | 示例 | 高级 API | 低级 API | 引用我们的工作

最新消息 🔥

• [2025/12/19] 我们宣布在 https://discord.gg/X4MaxPgA 上开设了 Liger Kernel 的 Discord 频道；我们将于 2026 年 1 月中旬举办 Liger Kernel x Triton 中国线下聚会。
• [2025/03/06] 我们发布了 TorchTune × Liger 的联合博客文章——《性能巅峰，内存最小化：使用 torch.compile 和 Liger Kernel 优化 torchtune 性能》。
• [2024/12/11] 我们发布了 v0.5.0：训练后损失（DPO、ORPO、CPO 等）的内存效率提升了 80%！
• [2024/12/5] 我们发布了 LinkedIn 工程博客——《Liger-Kernel：赋能高效的 LLM 训练 Triton 内核开源生态》。
• [2024/11/6] 我们发布了 v0.4.0：全面支持 AMD，技术报告，Modal CI，Llama-3.2-Vision！
• [2024/10/21] 我们已在 Arxiv 上发布了 Liger Kernel 的技术报告：https://arxiv.org/pdf/2410.10989。
• [2024/9/6] 我们发布了 v0.2.1（X 帖子）。两周内收获超过 2500 颗星，新增 10 多位贡献者，提交了 50 多份 PR，下载量达到 5 万次！
• [2024/8/31] CUDA MODE 演讲——《Liger-Kernel：LLM 训练中的实战 Triton 内核》（视频：https://youtu.be/gWble4FreV4?si=dxPeIchhkJ36Mbns），演示文稿：https://github.com/cuda-mode/lectures?tab=readme-ov-file#lecture-28-liger-kernel。
• [2024/8/23] 正式发布：请查看我们的 X 帖子。

Liger Kernel 是一套专为 LLM 训练设计的 Triton 内核集合。它能够有效提升多 GPU 训练吞吐量 20%，并降低 内存占用 60%。我们实现了与 Hugging Face 兼容的 RMSNorm、RoPE、SwiGLU、CrossEntropy、FusedLinearCrossEntropy 等，并计划推出更多功能。该内核可与 Flash Attention、PyTorch FSDP 和 Microsoft DeepSpeed 即插即用。我们欢迎社区贡献，共同打造最优秀的 LLM 训练内核。

此外，我们还添加了优化的训练后内核，可在对齐和蒸馏任务中实现 高达 80% 的内存节省。我们支持 DPO、CPO、ORPO、SimPO、KTO、JSD 等多种损失函数。请参阅 我们如何优化内存。

您可以通过以下链接查看文档站点，获取更多安装说明、使用示例和 API 参考：https://linkedin.github.io/Liger-Kernel/

您还可以查看 Liger Kernel 技术报告：https://openreview.net/forum?id=36SjAIT42G

使用 Liger Kernel 加速您的模型

只需一行代码，Liger Kernel 就能使吞吐量提升 20% 以上，同时将内存占用减少 60%，从而支持更长的上下文长度、更大的批量大小以及超大规模词汇表。

速度提升	内存减少

注：

• 基准条件：LLaMA 3-8B，批量大小 = 8，数据类型 = bf16，优化器 = AdamW，梯度检查点 = 开启，分布式策略 = FSDP1，使用 8 张 A100 显卡。
• Hugging Face 模型在 4K 上下文长度时就会出现 OOM 错误，而结合 Liger Kernel 后则可扩展至 16K。

使用 Liger Kernel 优化训练后流程

我们提供了 DPO、ORPO、SimPO 等优化后的训练后内核，可将内存占用降低多达 80%。您可以轻松地将其作为 Python 模块直接使用。

from liger_kernel.chunked_loss import LigerFusedLinearORPOLoss
orpo_loss = LigerFusedLinearORPOLoss()
y = orpo_loss(lm_head.weight, x, target)

示例

用例	描述
Hugging Face Trainer	使用4张A100显卡和FSDP，在Alpaca数据集上训练LLaMA 3-8B模型，速度提升约20%，显存占用减少超过40%
Lightning Trainer	在MMLU数据集上使用8张A100显卡和DeepSpeed ZeRO3，对LLaMA3-8B模型进行训练，吞吐量提升15%，显存占用减少40%
Medusa多头LLM（微调阶段）	使用8张A100显卡和FSDP，采用5个LM头部的架构，显存占用减少80%，吞吐量提升40%
视觉-语言模型SFT	使用4张A100显卡和FSDP，在图像-文本数据上微调Qwen2-VL模型
Liger ORPO Trainer	使用Liger ORPO Trainer结合FSDP对Llama 3.2进行对齐训练，显存占用减少50%

核心特性

• 易用性： 只需一行代码即可为Hugging Face模型打上补丁，或者使用我们的Liger Kernel模块自定义构建模型。
• 高效节能： 借鉴Flash-Attn的设计理念，专为RMSNorm、RoPE、SwiGLU和CrossEntropy等层优化！通过内核融合、原地替换和分块计算等技术，将多GPU训练的吞吐量提升20%，同时将显存占用降低60%。
• 精确无误： 计算完全精确，无任何近似！前向和反向传播均经过严格的单元测试，并与未使用Liger Kernel的训练结果进行收敛性对比，确保准确性。
• 轻量化： Liger Kernel依赖极少，仅需Torch和Triton，无需额外库！告别依赖问题带来的烦恼！
• 多GPU支持： 兼容多种多GPU训练方案（PyTorch FSDP、DeepSpeed、DDP等）。
• 训练框架集成： Axolotl、LLaMa-Factory、SFTTrainer、Hugging Face Trainer、SWIFT、oumi

安装

依赖项

CUDA

• torch >= 2.1.2
• triton >= 2.3.0

ROCm

• torch >= 2.5.0 按照PyTorch官网的说明安装。
• triton >= 3.0.0 从pypi安装。（例如：pip install triton==3.0.0）

pip install -e .[dev]
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.3/

可选依赖项

• transformers >= 4.x：如果您计划使用transformers模型的补丁API，则需要此版本。具体所需的最低版本取决于您正在使用的模型。

注意： 我们的内核继承了Triton提供的全面硬件兼容性。

安装稳定版：

$ pip install liger-kernel

安装夜间版：

$ pip install liger-kernel-nightly

从源码安装：

git clone https://github.com/linkedin/Liger-Kernel.git
cd Liger-Kernel

# 安装默认依赖
# setup.py会检测您是使用AMD还是NVIDIA
pip install -e .

# 安装开发依赖
pip install -e ".[dev]"

# 注意 -> 仅适用于AMD用户
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.3/

快速入门

根据所需的自定义程度，有几种方法可以应用Liger内核。

1. 使用AutoLigerKernelForCausalLM

使用AutoLigerKernelForCausalLM是最简单的方式，因为您无需导入特定于模型的补丁API。如果模型类型受支持，建模代码将自动使用默认设置进行补丁。

from liger_kernel.transformers import AutoLigerKernelForCausalLM

# 这个AutoModel包装类会在模型受支持时自动为其打上优化后的Liger内核补丁。
model = AutoLigerKernelForCausalLM.from_pretrained("path/to/some/model")

2. 应用特定于模型的补丁API

通过使用补丁API，您可以将Hugging Face模型替换为优化后的Liger内核。

import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

# 1a. 添加这一行后，模型会自动被优化后的Liger内核打上补丁。
apply_liger_kernel_to_llama()

# 1b. 您也可以明确指定要应用哪些内核。
apply_liger_kernel_to_llama(
  rope=True,
  swiglu=True,
  cross_entropy=True,
  fused_linear_cross_entropy=False,
  rms_norm=False
)

# 2. 实例化已补丁的模型。
model = transformers.AutoModelForCausalLM("path/to/llama/model")

3. 自定义构建模型

您可以单独使用Liger内核来构建自己的模型。

from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss
import torch.nn as nn
import torch

model = nn.Linear(128, 256).cuda()

# 将线性层和交叉熵层融合在一起，并采用分块计算以减少显存占用。
loss_fn = LigerFusedLinearCrossEntropyLoss()

input = torch.randn(4, 128, requires_grad=True, device="cuda")
target = torch.randint(256, (4, ), device="cuda")

loss = loss_fn(model.weight, input, target)
loss.backward()

高级API

AutoModel

AutoModel变体	API
AutoModelForCausalLM	liger_kernel.transformers.AutoLigerKernelForCausalLM

补丁

模型	API	支持的操作
Llama4（文本）和（多模态）	liger_kernel.transformers.apply_liger_kernel_to_llama4	RMSNorm、LayerNorm、GeGLU、交叉熵损失、融合线性交叉熵
LLaMA 2 和 3	liger_kernel.transformers.apply_liger_kernel_to_llama	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
LLaMA 3.2-Vision	liger_kernel.transformers.apply_liger_kernel_to_mllama	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Ministral	liger_kernel.transformers.apply_liger_kernel_to_ministral	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Mistral	liger_kernel.transformers.apply_liger_kernel_to_mistral	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Mixtral	liger_kernel.transformers.apply_liger_kernel_to_mixtral	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Nemotron	liger_kernel.transformers.apply_liger_kernel_to_nemotron	ReLUSquared、交叉熵损失、融合线性交叉熵
Pixtral	liger_kernel.transformers.apply_liger_kernel_to_pixtral	RoPE、RMSNorm、SwiGLU
Gemma1	liger_kernel.transformers.apply_liger_kernel_to_gemma	RoPE、RMSNorm、GeGLU、交叉熵损失、融合线性交叉熵
Gemma2	liger_kernel.transformers.apply_liger_kernel_to_gemma2	RoPE、RMSNorm、GeGLU、交叉熵损失、融合线性交叉熵
Gemma3（文本）	liger_kernel.transformers.apply_liger_kernel_to_gemma3_text	RoPE、RMSNorm、GeGLU、交叉熵损失、融合线性交叉熵
Gemma3（多模态）	liger_kernel.transformers.apply_liger_kernel_to_gemma3	LayerNorm、RoPE、RMSNorm、GeGLU、交叉熵损失、融合线性交叉熵
Paligemma、Paligemma2 和 Paligemma2 Mix	liger_kernel.transformers.apply_liger_kernel_to_paligemma	LayerNorm、RoPE、RMSNorm、GeGLU、交叉熵损失、融合线性交叉熵
Qwen2、Qwen2.5 和 QwQ	liger_kernel.transformers.apply_liger_kernel_to_qwen2	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Qwen2-VL 和 QVQ	liger_kernel.transformers.apply_liger_kernel_to_qwen2_vl	RMSNorm、LayerNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Qwen2.5-VL	liger_kernel.transformers.apply_liger_kernel_to_qwen2_5_vl	RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Qwen3	liger_kernel.transformers.apply_liger_kernel_to_qwen3	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Qwen3 MoE	liger_kernel.transformers.apply_liger_kernel_to_qwen3_moe	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Qwen3.5	liger_kernel.transformers.apply_liger_kernel_to_qwen3_5	RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Phi3 和 Phi3.5	liger_kernel.transformers.apply_liger_kernel_to_phi3	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Granite 3.0 和 3.1	liger_kernel.transformers.apply_liger_kernel_to_granite	RoPE、RMSNorm、SwiGLU、交叉熵损失
OLMo2	liger_kernel.transformers.apply_liger_kernel_to_olmo2	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
Olmo3	liger_kernel.transformers.apply_liger_kernel_to_olmo3	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
GLM-4	liger_kernel.transformers.apply_liger_kernel_to_glm4	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
GPT-OSS	liger_kernel.transformers.apply_liger_kernel_to_gpt_oss	RoPE、RMSNorm、交叉熵损失、融合线性交叉熵
InternVL3	liger_kernel.transformers.apply_liger_kernel_to_internvl	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
HunyuanV1	liger_kernel.transformers.apply_liger_kernel_to_hunyuan_v1_dense	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵
HunyuanV1 MoE	liger_kernel.transformers.apply_liger_kernel_to_hunyuan_v1_moe	RoPE、RMSNorm、SwiGLU、交叉熵损失、融合线性交叉熵

低级 API

• Fused Linear 内核将线性层与损失函数结合，可将内存使用量减少多达 80%，非常适合 HBM 资源受限的工作负载。
• 其他内核则采用融合和就地技术来优化内存和性能。

模型内核

内核	API
RMSNorm	liger_kernel.transformers.LigerRMSNorm
LayerNorm	liger_kernel.transformers.LigerLayerNorm
RoPE	liger_kernel.transformers.liger_rotary_pos_emb
SwiGLU	liger_kernel.transformers.LigerSwiGLUMLP
GeGLU	liger_kernel.transformers.LigerGEGLUMLP
交叉熵	liger_kernel.transformers.LigerCrossEntropyLoss
融合线性交叉熵	liger_kernel.transformers.LigerFusedLinearCrossEntropyLoss
多令牌注意力	liger_kernel.transformers.LigerMultiTokenAttention
Softmax	liger_kernel.transformers.LigerSoftmax
Sparsemax	liger_kernel.transformers.LigerSparsemax
mHC（超连接）	liger_kernel.transformers.LigerMHC

对齐内核

内核	API
融合线性 CPO 损失	liger_kernel.chunked_loss.LigerFusedLinearCPOLoss
融合线性 DPO 损失	liger_kernel.chunked_loss.LigerFusedLinearDPOLoss
融合线性 ORPO 损失	liger_kernel.chunked_loss.LigerFusedLinearORPOLoss
融合线性 SimPO 损失	liger_kernel.chunked_loss.LigerFusedLinearSimPOLoss
融合线性 KTO 损失	liger_kernel.chunked_loss.LigerFusedLinearKTOLoss

蒸馏核函数

核函数	API
KLDivergence	liger_kernel.transformers.LigerKLDIVLoss
JSD	liger_kernel.transformers.LigerJSD
熔合线性 JSD	liger_kernel.transformers.LigerFusedLinearJSD
TVD	liger_kernel.transformers.LigerTVDLoss

实验性核函数

核函数	API
嵌入	liger_kernel.transformers.experimental.LigerEmbedding
Matmul int2xint8	liger_kernel.transformers.experimental.matmul

贡献、致谢与许可

• 贡献指南
• 致谢
• 许可信息

赞助与合作

• Glows.ai：为我们的开源开发者赞助 NVIDIA GPU。
• AMD：为我们的 AMD CI 提供 AMD GPU。
• Intel：为我们的 Intel CI 提供 Intel GPU。
• Modal：为我们的 NVIDIA CI 提供 GPU MODE IRL 的 3000 积分。
• EmbeddedLLM：使 Liger Kernel 在 AMD 上运行得更快更稳定。
• HuggingFace：将 Liger Kernel 集成到 Hugging Face Transformers 和 TRL 中。
• Lightning AI：将 Liger Kernel 集成到 Lightning Thunder 中。
• Axolotl：将 Liger Kernel 集成到 Axolotl 中。
• Llama-Factory：将 Liger Kernel 集成到 Llama-Factory 中。

CI 状态

构建

联系方式

• 如遇问题，请在此仓库中创建 GitHub 问题单。
• 如需公开讨论，请加入 GPUMode 的 Discord 频道。
• 如有正式合作意向，请发送邮件至 Yanning Chen (yannchen@linkedin.com) 和 Zhipeng Wang (zhipwang@linkedin.com)。

引用本工作

Biblatex 条目：

@inproceedings{
hsu2025ligerkernel,
title={Liger-Kernel: Efficient Triton Kernels for {LLM} Training},
author={Pin-Lun Hsu and Yun Dai and Vignesh Kothapalli and Qingquan Song and Shao Tang and Siyu Zhu and Steven Shimizu and Shivam Sahni and Haowen Ning and Yanning Chen and Zhipeng Wang},
booktitle={Championing Open-source DEvelopment in ML Workshop @ ICML25},
year={2025},
url={https://openreview.net/forum?id=36SjAIT42G}
}

星标历史

↑ 返回顶部 ↑

Liger-Kernel 快速上手指南

Liger Kernel 是一套专为大语言模型（LLM）训练设计的高效 Triton 算子集合。它通过内核融合、原地替换和分块技术，可显著提升多卡训练吞吐量（+20%）并大幅降低显存占用（-60%），支持更长的上下文、更大的批次和词表。

环境准备

系统要求

• GPU: NVIDIA (CUDA) 或 AMD (ROCm) GPU
• Python: 3.8+

前置依赖

根据硬件平台安装相应版本的 PyTorch 和 Triton：

NVIDIA CUDA 用户

• torch >= 2.1.2
• triton >= 2.3.0

AMD ROCm 用户

• torch >= 2.5.0 (需按 PyTorch 官网 ROCm 指引安装)
• triton >= 3.0.0

注意: 若使用 Transformers 模型的自动补丁功能，需安装 transformers >= 4.x。

安装步骤

方式一：安装稳定版（推荐）

pip install liger-kernel

方式二：安装每夜构建版（获取最新特性）

pip install liger-kernel-nightly

方式三：源码安装（适合开发者）

git clone https://github.com/linkedin/Liger-Kernel.git
cd Liger-Kernel

# 安装默认依赖（脚本会自动检测 NVIDIA 或 AMD 环境）
pip install -e .

# 或安装开发依赖
pip install -e ".[dev]"

# AMD 用户额外执行以下命令安装夜间版 PyTorch
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.3/

国内加速提示：如遇下载缓慢，可添加清华或阿里镜像源，例如：

pip install liger-kernel -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Liger Kernel 提供多种集成方式，以下是两种最常用的快速接入方法：

方法一：自动加载（最简单）

使用 AutoLigerKernelForCausalLM 包装器，无需手动指定模型类型，系统将自动识别并应用优化的算子。

from liger_kernel.transformers import AutoLigerKernelForCausalLM

# 自动对支持的模型应用 Liger Kernel 优化
model = AutoLigerKernelForCausalLM.from_pretrained("path/to/some/model")

方法二：手动应用模型补丁

针对特定模型（如 Llama）手动应用补丁，可精细控制启用的算子类型。

import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

# 方案 A：自动应用所有可用优化
apply_liger_kernel_to_llama()

# 方案 B：自定义启用特定的算子
apply_liger_kernel_to_llama(
  rope=True,
  swiglu=True,
  cross_entropy=True,
  fused_linear_cross_entropy=False,
  rms_norm=False
)

# 实例化模型（此时已包含优化算子）
model = transformers.AutoModelForCausalLM.from_pretrained("path/to/llama/model")

进阶：后训练优化（对齐与蒸馏）

针对 DPO、ORPO 等后训练任务，可直接调用优化的损失函数模块以节省高达 80% 的显存。

from liger_kernel.chunked_loss import LigerFusedLinearORPOLoss

orpo_loss = LigerFusedLinearORPOLoss()
y = orpo_loss(lm_head.weight, x, target)