Fast-DLLM

 

ICLR 2026

Fast-DLLM 是一个基于扩散模型（diffusion-based）的大语言模型（Large Language Model, LLM）推理加速框架，支持 Dream 和 LLaDA 等模型的高效推理。

新闻

• (🔥 新) [2026/01/26] Fast-dLLM v1/v2 被 ICLR-2026 接收 🎉🎉🎉
• [2025.10.08] 我们开源了 Fast-dLLM v2。请访问我们的网页、模型和论文!
• [2025.08.01] 我们的 Fast-dLLM 在线演示已上线：https://fast-dllm.hanlab.ai/，欢迎体验！
• [2025.07.06] 在 llada/eval_gsm8k.sh 中新增基于因子的并行策略和 LLaDA-1.5 评估
• [2025.07.04] 我们更新了论文，包含最新改进和评估结果
• [2025.06.30] Fast-dLLM 已集成到 LLaDA-V 中。使用 Fast-dLLM 后，推理延迟从 60 秒降至 6 秒！体验地址：这里!!

待办事项

我们将努力完成以下目标：

• [✅] 推理和评估代码
• [✅] Fast-dLLM v2 的训练代码
• [🚀] 支持 vllm

演示

https://github.com/user-attachments/assets/32bbff97-6e60-4e14-95c0-2cbec136476f

项目结构

.
├── dream/          # Dream 模型相关代码
├── llada/          # LLaDA 模型相关代码
└── .gitignore      # Git 忽略配置

核心特性

• 支持 Dream 和 LLaDA 模型的快速推理
• 多种推理优化策略
• 代码生成与评估能力
• 交互式聊天界面

关键技术

1. 分块解码的键值缓存（Key-Value Cache） 我们为掩码扩散模型（Masked Diffusion Model, MDM）提出了高效的分块解码 KV 缓存机制。通过在每个分块内复用多个步骤的注意力键值激活，避免了冗余计算并显著加速推理。此外，我们的 DualCache 扩展还缓存了掩码后缀令牌，实现了几乎无精度损失的显著加速。

2. 置信度感知的并行解码 我们引入了置信度感知的并行解码方案。在每一步中，仅对置信度超过阈值的令牌进行并行解码，而不确定的令牌保持掩码状态以供后续步骤处理。这种选择性策略有效平衡了解码效率和输出质量。

3. 整体性能表现 引入 KV 缓存机制后，在所有任务和序列长度上均取得显著加速效果，通常比基础模型快 2-3.6 倍。当单独应用并行解码策略时，进一步加速效果明显，在评估设置中可达 4-6 倍加速，且生成长度越长效果越显著。

安装指南

1. 克隆仓库：

git clone https://github.com/NVlabs/Fast-dLLM.git
cd fast-dllm

2. 安装依赖：

pip install -r requirements.txt

使用方法

1. 使用 LLaDA 模型

交互式聊天

python llada/chat.py --gen_length 128 --steps 128 --block_size 32

参数说明：

• --gen_length: 生成文本的最大长度
• --steps: 采样步数
• --block_size: 缓存块大小
• --use_cache: 是否启用缓存
• --if_cache_position: 是否启用双缓存
• --threshold: 置信度阈值

网页演示

我们提供了基于 Gradio 的网页演示。首先安装 Gradio：

pip install gradio

然后运行演示：

cd llada
python app.py

模型评估

基准测试	生成长度	LLaDA	+缓存	+并行	+缓存+并行 (Fast-dLLM)
GSM8K (5-shot)	256	79.3 6.73 (1×)	79.5 21.23 (3.2×)	79.2 16.53 (2.5×)	78.5 54.4 (8.1×)
	512	77.5 3.23 (1×)	77.0 10.43 (3.3×)	77.6 18.63 (5.8×)	77.2 35.3 (11.0×)
HumanEval (0-shot)	256	41.5 30.5 (1×)	42.7 40.73 (1.3×)	43.9 101.53 (3.3×)	43.3 114.1 (3.7×)
	512	43.9 18.4 (1×)	45.7 29.33 (1.6×)	43.3 57.13 (3.1×)	44.5 73.7 (4.0×)

每个单元格显示准确率（百分比，顶行）和解码吞吐量（中行，每秒生成令牌数），底行为相对基础 LLaDA 的加速比。

GSM8K 和 HumanEval 基准的详细评估说明请参考 LLaDA 评估指南。

2. 使用 Dream 模型

GSM8K 和 HumanEval 基准的详细评估说明请参考 Dream 评估指南。

贡献

欢迎提交问题和 Pull Request！

许可证

本项目采用 Apache 2.0 许可证。详情请查看 LICENSE 文件。

引用

如果您发现本工作有帮助，请引用我们的论文：

@misc{wu2025fastdllmv2efficientblockdiffusion,
      title={Fast-dLLM v2: Efficient Block-Diffusion LLM}, 
      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Shizhe Diao and Yonggan Fu and Zhijian Liu and Pavlo Molchanov and Ping Luo and Song Han and Enze Xie},
      year={2025},
      eprint={2509.26328},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2509.26328}, 
}
@misc{wu2025fastdllmtrainingfreeaccelerationdiffusion,
      title={Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding}, 
      author={Chengyue Wu and Hao Zhang and Shuchen Xue and Zhijian Liu and Shizhe Diao and Ligeng Zhu and Ping Luo and Song Han and Enze Xie},
      year={2025},
      eprint={2505.22618},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.22618}, 
}

致谢

我们感谢LLaDA和Dream作者的优秀工作及开源贡献。同时感谢Qwen2.5提供的基础模型架构，以及LMFlow训练框架的支持。

Fast-DLLM 快速上手指南

环境准备

系统要求

• Linux/macOS 系统
• Python 3.8+
• Git

前置依赖

# 建议使用国内镜像加速
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

# 1. 克隆仓库
git clone https://github.com/NVlabs/Fast-dLLM.git
cd Fast-dllm

# 2. 安装依赖（使用清华源加速）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. LLaDA模型交互聊天

# 运行交互式聊天（默认参数）
python llada/chat.py

常用参数说明：

• --gen_length: 生成文本最大长度（默认128）
• --steps: 采样步数（默认128）
• --block_size: 缓存块大小（默认32）

2. 启动Web演示

# 安装Gradio（国内源加速）
pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 启动Web服务
cd llada
python app.py

3. 模型评估示例

# 查看评估结果表格（详见llada/eval.md）
# 推荐使用GSM8K和HumanEval基准测试

验证安装

运行以下命令测试基础功能：

# 测试LLaDA生成能力
python llada/chat.py --gen_length 64 --steps 64

🚀 提示：使用--use_cache和--if_cache_position参数可启用缓存加速功能，具体性能对比见官方文档评估表格。