DFloat11：用于高效 GPU 推理的 LLM 和扩散模型无损压缩

DFloat11 是一种无损压缩框架，可在保持与原始模型 逐位完全相同输出 的前提下，将大型语言模型 (LLMs) 和扩散模型（例如 FLUX.1、Qwen-Image 等）的大小缩减约 30%。它能够在资源受限的硬件上实现高效的 GPU 推理，且不会损失任何精度。

📰 最新消息

• [2025年9月18日] 我们的研究论文已被 NeurIPS 2025 接受！期待在12月的圣地亚哥会议中心与您相见！
• [2025年8月24日] 压缩代码已发布！
  • 使用 DFloat11 压缩可将任意模型的大小减少 30%。
  • 快速入门：examples/compress_flux1。
• [2025年7月29日] 现已支持高效的 CPU 卸载！
  • 我们的最新更新通过每次仅将一个 Transformer 块保留在 GPU 内存中，实现了极高的内存效率推理。例如，使用 CPU 卸载后，FLUX.1-Krea-dev 的峰值 GPU 内存占用从 17.5 GB 降至 9.8 GB，Qwen3-8B 从 12.4 GB 降至 2.3 GB，HiDream-I1-Full 从 26.4 GB 降至 9.6 GB。
  • 使用 FLUX.1-Krea-dev-DF11 进行 CPU 卸载的示例可在此处查看：此处。
  • 要启用 CPU 卸载，只需在调用 DFloat11Model.from_pretrained(...) 时设置 cpu_offload=True 即可。
• [2025年5月23日] 现已支持 Wan2.1！DFloat11/Wan2.1-T2V-14B-Diffusers-DF11
  • 仅需 24GB 显存即可使用 DFloat11 Wan2.1 14B 进行文本到视频生成！
  • 快速入门：examples/wan2.1。
• [2025年5月6日] DFloat11 现已支持 FLUX.1-dev
  • 🖼️ 在显存不足 24GB 的 GPU 上生成惊艳的文本到图像结果——质量毫无损失！
  • 📂 快速入门：examples/flux.1。
• [2025年5月5日] dfloat11 pip 包已升级至 v0.2.0！运行 pip install -U dfloat11[cuda12] 升级到最新版本。我们进行了以下重要更改：
  • 新增对 Qwen 3、Gemma 3 和 Phi 4 的支持！
  • GPU 解压缩内核现在快了 20–40%！我们通过提高线程占用率并实施大量优化实现了这一目标。
  • DFloat11 模型现以 safetensors 格式存储，以提升安全性和加载性能。
  • 使用 DFloat11 模型时，仅下载压缩后的模型，而不下载原始模型。

📦 安装

需要兼容 CUDA 的 GPU（配备 CUDA 12）以及已安装的 PyTorch。

从 PyPI 安装：

pip install -U dfloat11[cuda12]

[可选] 编译 GPU 内核并本地安装：

nvcc -O3 -ptx dfloat11/decode.cu -o dfloat11/decode.ptx
pip install .[cuda12]

🔍 工作原理

DFloat11 使用 BFloat16 指数位的 哈夫曼编码 对模型权重进行压缩，并结合 硬件感知的算法设计，实现在 GPU 上直接进行高效的实时解压缩。在推理过程中，权重始终以压缩形式保存在 GPU 内存中，仅在 矩阵乘法之前被解压缩，并在使用后 立即丢弃，从而最大限度地减少内存占用。

主要优势：

• 无需 CPU 解压缩或主机与设备之间的数据传输：所有操作完全由 GPU 处理。
• 解压缩开销在每次前向传播中保持恒定，且 与批次大小无关，因此在较大批次下 DFloat11 的效率会显著提高。
• DFloat11 的速度 远超 CPU 卸载方案，使其能够在内存受限的环境中实际部署。
• 当批次大小为 1 时，推理速度约为原始 BF16 模型的 2 倍，但随着批次增大，性能差距会显著缩小。
• 该压缩方法 完全无损，确保模型的输出与原始模型的输出 逐位完全相同。

🚀 快速入门

1. 安装 dfloat11 pip 包。请参阅 安装 部分。
2. 在 Python 中运行以下代码，它会自动下载 DFloat11 Qwen3-8B 模型并生成响应。

import torch
from dfloat11 import DFloat11Model
from transformers import AutoTokenizer

model_id = "DFloat11/Qwen3-8B-DF11"

model = DFloat11Model.from_pretrained(model_id, device_map="auto")

tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

prompt = "问题：什么是二叉树及其应用？答案："
inputs = tokenizer(prompt, return_tensors="pt", padding=True).to(model.device)

with torch.no_grad():
    output = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
    )

print(tokenizer.batch_decode(output, skip_special_tokens=True))

3. 将上述脚本中的 model_id 替换为 模型库 中的任何预压缩模型。

🏎️ 性能基准测试

要测试 DFloat11 LLM 在推理过程中的速度和内存消耗：

CUDA_VISIBLE_DEVICES=0 python inference.py \
  --model_name_or_path DFloat11/Qwen3-8B-DF11 \
  --prompt "问题：什么是二叉树及其应用？答案：" \
  --num_tokens 512 \
  --batch_size 1

💡 提示：如果您指定了多个 CUDA 设备（例如 CUDA_VISIBLE_DEVICES=0,1），模型将使用 🤗 Accelerate 的 device_map="auto" 自动分布在这些设备上。

参数

• --model_name_or_path：HuggingFace 名称或本地路径的 DFloat11 模型（例如 DFloat11/Qwen3-8B-DF11）。有关可用 DFloat11 模型的列表，请参阅 模型库 部分。
• --bf16：(可选) 当将 BFloat16 模型传递给 --model_name_or_path 时，请启用此标志。
• --prompt：用于文本生成的输入提示字符串。
• --num_tokens：每个样本要生成的新标记数量。
• --batch_size：要并行处理的提示数量。
• --seed：(可选) 用于获得可重复结果的随机种子。

输出

脚本将打印：

• 生成的响应
• 总解码延迟
• 每秒生成的标记数（吞吐量）
• GPU 内存使用情况（已分配和峰值）

📚 模型中心

模型	DFloat11 链接
Wan2.1 T2V 14B（参见 examples/wan2.1）	DFloat11/Wan2.1-T2V-14B-Diffusers-DF11
FLUX.1 dev（参见 examples/flux.1）	DFloat11/FLUX.1-dev-DF11
Qwen 3 32B	DFloat11/Qwen3-32B-DF11
Qwen 3 14B	DFloat11/Qwen3-14B-DF11
Qwen 3 8B	DFloat11/Qwen3-8B-DF11
Qwen 3 4B	DFloat11/Qwen3-4B-DF11
Phi 4 Reasoning Plus	DFloat11/Phi-4-reasoning-plus-DF11
Gemma 3 27B Instruct	DFloat11/gemma-3-27b-it-DF11
Gemma 3 12B Instruct	DFloat11/gemma-3-12b-it-DF11
Gemma 3 4B Instruct	DFloat11/gemma-3-4b-it-DF11
Llama 3.1 8B Instruct	DFloat11/Llama-3.1-8B-Instruct-DF11
DeepSeek R1 Distill Qwen 32B	DFloat11/DeepSeek-R1-Distill-Qwen-32B-DF11
DeepSeek R1 Distill Qwen 14B	DFloat11/DeepSeek-R1-Distill-Qwen-14B-DF11
DeepSeek R1 Distill Qwen 7B	DFloat11/DeepSeek-R1-Distill-Qwen-7B-DF11
DeepSeek R1 Distill Llama 8B	DFloat11/DeepSeek-R1-Distill-Llama-8B-DF11
...	在我们的 HF 页面上发现更多模型！

如何使用 DFloat11 模型

1. 使用 HuggingFace 命令行工具下载模型：

huggingface-cli download \
  DFloat11/Llama-3.1-8B-Instruct-DF11 \     # DFloat11 模型名称
  --local-dir ./Llama-3.1-8B-Instruct-DF11  # 下载 DFloat11 模型的本地路径

2. 在 Python 中运行以下代码以加载模型和分词器：

from dfloat11 import DFloat11Model
from transformers import AutoTokenizer

model_path = "./Llama-3.1-8B-Instruct-DF11"
model = DFloat11Model.from_pretrained(model_path, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_path)

🗜️ 模型压缩（BFloat16 → DFloat11）

DFloat11 压缩工具通过 compress_model 函数提供。

请参阅 examples/compress_flux1，了解关于压缩 FLUX.1 模型的详细示例。

🔗 链接

👉 在 HuggingFace 上探索可直接使用的预压缩 DFloat11 模型：https://huggingface.co/DFloat11

📂 官方代码仓库：https://github.com/LeanModels/DFloat11

🧠 贡献

本工作由莱斯大学团队和 xMAD.ai 共同完成。

GPU 内核由 Tianyi Zhang 设计并实现。

📚 引用

如果您觉得我们的工作有用或有趣，请考虑引用我们的论文：

@inproceedings{
  zhang2025,
  title={70\% Size, 100\% Accuracy: Lossless {LLM} Compression for Efficient {GPU} Inference via Dynamic-Length Float ({DF}loat11)},
  author={Tianyi Zhang and Mohsen Hariri and Shaochen Zhong and Vipin Chaudhary and Yang Sui and Xia Hu and Anshumali Shrivastava},
  booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems},
  year={2025},
  url={https://openreview.net/forum?id=xdNAVP7TGy}
}

DFloat11 快速上手指南

DFloat11 是一个无损压缩框架，可将大语言模型（LLM）和扩散模型（如 FLUX.1、Qwen 等）的体积缩减约 30%，同时保持输出结果与原始模型逐位完全一致。它专为资源受限的 GPU 环境设计，支持高效的显存优化推理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• GPU: 支持 CUDA 的 NVIDIA 显卡
• CUDA 版本: CUDA 12 (必须)
• Python 依赖: PyTorch (需与 CUDA 12 兼容)

提示: 如果您在中国大陆地区，建议在安装 PyTorch 时使用国内镜像源（如清华源或阿里源）以加速下载。

安装步骤

方式一：通过 PyPI 安装（推荐）

直接使用 pip 安装最新版 dfloat11，并指定 CUDA 12 支持：

pip install -U dfloat11[cuda12] -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：本地编译安装（可选）

如果您需要自定义编译 GPU 内核以获得最佳性能，可执行以下命令：

nvcc -O3 -ptx dfloat11/decode.cu -o dfloat11/decode.ptx
pip install .[cuda12]

基本使用

以下是最简单的使用示例，演示如何加载已压缩的 Qwen3-8B 模型并生成文本。该脚本会自动从 Hugging Face 下载压缩后的模型权重。

import torch
from dfloat11 import DFloat11Model
from transformers import AutoTokenizer

# 指定 DFloat11 压缩后的模型 ID
model_id = "DFloat11/Qwen3-8B-DF11"

# 加载模型，device_map="auto" 会自动分配 GPU 资源
model = DFloat11Model.from_pretrained(model_id, device_map="auto")

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token = tokenizer.eos_token

# 准备输入提示
prompt = "Question: What is a binary tree and its applications? Answer:"
inputs = tokenizer(prompt, return_tensors="pt", padding=True).to(model.device)

# 生成回复
with torch.no_grad():
    output = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
    )

# 输出结果
print(tokenizer.batch_decode(output, skip_special_tokens=True))

进阶提示：启用 CPU 卸载

如果您的显存非常紧张，可以在加载模型时启用 CPU 卸载功能，这将显著降低峰值显存占用（例如将 Qwen3-8B 的显存占用从 12.4GB 降至 2.3GB）：

model = DFloat11Model.from_pretrained(model_id, device_map="auto", cpu_offload=True)

更多模型

您可以替换代码中的 model_id 来使用其他已压缩模型，包括 FLUX.1、Wan2.1、Gemma 3、Phi 4 等。完整模型列表请访问 DFloat11 Hugging Face 主页。