| 论文（EAGLE） | 论文（EAGLE-2） | 论文（EAGLE-3） | 博客 |

EAGLE（用于提升语言模型效率的外推算法）是一种新的基准方法，能够在保证性能的前提下实现大型语言模型（LLMs）的快速解码。该方法通过外推LLMs的次顶层上下文特征向量，显著提升生成效率。

• EAGLE的特点是：
  • 经过第三方评估认证，目前是最快的推测性解码方法。
  • 在gpt-fast上实现了2倍的速度提升。
  • 比原生解码快3倍（13B）。
  • 比Lookahead快2倍（13B）。
  • 比Medusa快1.6倍（13B）。 - 能够在生成文本分布上证明与原生解码的一致性。 - 训练时间仅需1-2天，可在8张RTX 3090显卡上进行测试，因此即使显卡资源有限的用户也能负担得起。
  • 可与其他并行化技术结合使用，如vLLM、DeepSpeed、Mamba、FlashAttention、量化以及硬件优化等。

EAGLE-2利用草稿模型的置信度分数来近似接受率，动态调整草稿树结构，从而进一步提升性能。

• EAGLE-2的特点是：
  • 比原生解码快4倍（13B）。
  • 比EAGLE-1快1.4倍（13B）。

EAGLE-3取消了EAGLE中的特征预测约束，并在训练过程中通过训练时测试来模拟这一过程。考虑到顶层特征仅限于下一个标记的预测，EAGLE-3用低、中、高层次语义特征的融合来替代它们。EAGLE-3在确保无损性能的同时，进一步提升了生成速度。

• EAGLE-3的特点是：
  • 比原生解码快5.6倍（13B）。
  • 比EAGLE-1快1.8倍（13B）。

推理在2张RTX 3090显卡上以fp16精度使用Vicuna 13B模型进行。

支持

EAGLE已被合并到以下主流LLM服务框架中（按字母顺序排列）。

• AMD ROCm
• AngelSlim
• AWS NeuronX Distributed Core
• CPM.cu
• 英特尔® Transformer扩展
• 英特尔® PyTorch LLM库
• MLC-LLM
• NVIDIA NeMo框架
• NVIDIA TensorRT-LLM
• NVIDIA TensorRT模型优化器
• PaddleNLP
• SGLang
• SpecForge
• speculators
• vLLM

更新

2025.9.18: EAGLE-3被NeurIPS'25接收。

2025.7.23: 我们强烈建议使用SpecForge，配合SGLang即可直接训练EAGLE-3。

2025.3.19: EAGLE-3发布。

2024.8.8: 现在支持Qwen-2。

2024.6.27: EAGLE-2发布。

2024.2.25: EAGLE经第三方评估认证为最快的推测性解码方法。

2024.1.17: 现在支持Mixtral-8x7B-Instruct。

2023.12.8: EAGLE v1.0发布。

待办事项

• 支持非贪婪推理（可证明保持文本分布一致）。
• 支持更多LLMs，例如Mixtral 8x7B。
• 支持LLaMA-3。
• 支持Qwen-2。
• 支持vLLM（请查看的实现）。
• EAGLE-3。
• EAGLE-3的训练代码。
• 支持LLaMA-4。
• 支持Qwen-3的官方EAGLE-3。
• EAGLE-4。

默认主分支是EAGLE-3和EAGLE-2的实现。若要使用EAGLE-1，请切换至v1分支。

目录

• 设置与安装
• EAGLE-3权重
• EAGLE权重
• 推理
  • 通过UI
  • 通过代码
• 训练
  • 生成训练数据
  • 训练自回归头
  • 对自定义模型进行推理
• 评估

设置与安装

git clone https://github.com/SafeAILab/EAGLE.git
cd EAGLE
python -m venv ~/venvs/ea_env
source ~/venvs/ea_env/bin/activate
pip install -r requirements.txt

EAGLE-3 权重

注： 本仓库仅支持官方的EAGLE-3检查点。非官方检查点的性能可能会有所不同。如果您想与EAGLE-3进行对比，请务必使用官方检查点及官方草稿树设置。

Hugging Face 上的EAGLE-3 模型

基础模型	EAGLE-3 模型	官方
Vicuna-13B v1.3 lmsys/vicuna-13b-v1.3	yuhuili/EAGLE3-Vicuna1.3-13B	是
LLaMA-3.1-8B-Instruct meta-llama/Llama-3.1-8B-Instruct	yuhuili/EAGLE3-LLaMA3.1-Instruct-8B	是
LLaMA-3.3-70B-Instruct meta-llama/Llama-3.3-70B-Instruct	yuhuili/EAGLE3-LLaMA3.3-Instruct-70B	是
DeepSeek-R1-Distill-LLaMA-8B deepseek-ai/DeepSeek-R1-Distill-Llama-8B	yuhuili/EAGLE3-DeepSeek-R1-Distill-LLaMA-8B	是
LLaMA-4-Scout-17B-16E-Instruct meta-llama/Llama-4-Scout-17B-16E-Instruct	lmsys/sglang-EAGLE3-Llama-4-Scout-17B-16E-Instruct-v1	否
LLaMA-4-Maverick-17B-128E-Instruct meta-llama/Llama-4-Maverick-17B-128E-Instruct	lmsys/sglang-EAGLE3-Llama-4-Maverick-17B-128E-Instruct-v1 nvidia/Llama-4-Maverick-17B-128E-Eagle3	否
Qwen3-1.7B Qwen/Qwen3-1.7B	AngelSlim/Qwen3-1.7B_eagle3	否
Qwen3-4B Qwen/Qwen3-4B	AngelSlim/Qwen3-4B_eagle3	否
Qwen3-8B Qwen/Qwen3-8B	Tengyunw/qwen3_8b_eagle3 AngelSlim/Qwen3-8B_eagle3 Zjcxy-SmartAI/Eagle3-Qwen3-8B-zh	否
Qwen3-14B Qwen/Qwen3-14B	AngelSlim/Qwen3-14B_eagle3	否
Qwen3-30B-A3B Qwen/Qwen3-30B-A3B	Tengyunw/qwen3_30b_moe_eagle3 AngelSlim/Qwen3-a3B_eagle3	否
Qwen3-32B Qwen/Qwen3-32B	AngelSlim/Qwen3-32B_eagle3 Zjcxy-SmartAI/Eagle3-Qwen3-32B-zh	否
Qwen3-235B-A22B Qwen/Qwen3-235B-A22B	nvidia/Qwen3-235B-A22B-Eagle3 lmsys/Qwen3-235B-A22B-EAGLE3	否
MiniCPM4-8B openbmb/MiniCPM4-8B	linglingdan/Eagle3_for_MiniCPM4	否
OLMoE-1B-7B-Instruct allenai/OLMoE-1B-7B-0125-Instruct	wantsleep/OLMoE_1B_7B_Eagle3	否
granite-3.1-1b-a400m-instruct ibm-granite/granite-3.1-1b-a400m-instruct	wantsleep/granite-3.1-1b-a400m-EAGLE3	否
GPT-OSS-120B openai/gpt-oss-120b	lmsys/EAGLE3-gpt-oss-120b-bf16 nvidia/gpt-oss-120b-Eagle3	否
GLM-4.7-Flash zai-org/GLM-4.7-Flash	thoughtworks/GLM-4.7-Flash-Eagle3	否

EAGLE 权重

注： 当前代码默认使用EAGLE-3。如果您希望使用EAGLE权重，请在EaModel.from_pretrained中指定use_eagle3=False。

注： 当目标模型为Qwen2时，请使用bf16精度而非fp16，以避免数值溢出。Qwen2的草稿模型训练数据集为ShareGPT，该数据集已移除非英文内容。因此，若您希望在中文等非英文数据上使用该模型，请使用相应数据进行训练。

Hugging Face 上的 EAGLE 模型

基础模型	EAGLE 模型	EAGLE 参数量	官方
Vicuna-7B v1.3	yuhuili/EAGLE-Vicuna-7B-v1.3	0.24B	是
Vicuna-13B v1.3	yuhuili/EAGLE-Vicuna-13B-v1.3	0.37B	是
Vicuna-33B v1.3	yuhuili/EAGLE-Vicuna-33B-v1.3	0.56B	是
LLaMA2-Chat 7B	yuhuili/EAGLE-llama2-chat-7B	0.24B	是
LLaMA2-Chat 13B	yuhuili/EAGLE-llama2-chat-13B	0.37B	是
LLaMA2-Chat 70B	yuhuili/EAGLE-llama2-chat-70B	0.99B	是
Mixtral-8x7B-Instruct v0.1	yuhuili/EAGLE-mixtral-instruct-8x7B	0.28B	是
LLaMA3-Instruct 8B	yuhuili/EAGLE-LLaMA3-Instruct-8B	0.25B	是
LLaMA3-Instruct 70B	yuhuili/EAGLE-LLaMA3-Instruct-70B	0.99B	是
Qwen2-7B-Instruct	yuhuili/EAGLE-Qwen2-7B-Instruct	0.26B	是
Qwen2-72B-Instruct	yuhuili/EAGLE-Qwen2-72B-Instruct	1.05B	是
LLaMA3.1-Instruct 8B	yuhuili/EAGLE-LLaMA3.1-Instruct-8B	0.25B	是
Qwen2.5-14B-Instruct	Zjcxy-SmartAI/Eagle-Qwen2.5-14B-Instruct	0.33B	否

推理

我们提供的推理代码会自动分配模型权重（将模型加载到多个 GPU 上），使您能够运行超出单个 GPU 内存限制的模型。

使用 UI

我们提供了一个建议的 Web 界面，您可以通过运行以下命令来使用。模型完全加载后，终端会输出一个 URL，您可以在浏览器中输入该 URL 进行访问。

python -m eagle.application.webui --ea-model-path [EAGLE 权重路径]\ 
		--base-model-path [原始模型路径]\
		--model-type [vicuna\llama2\llama3]\
        --total-token [int]

total-token 是草稿令牌的数量。对于较小的模型和较先进的 GPU，此值可以设置得更大。根据具体的设备和模型进行调整可以获得更好的效果。如果设置为 -1，EAGLE-2 将自动配置该参数。

使用代码

您可以使用我们提供的 "eagenerate" 来加速生成，就像使用 Hugging Face 的 'generate' 一样。以下是一个示例。

from eagle.model.ea_model import EaModel
from fastchat.model import get_conversation_template
model = EaModel.from_pretrained(
    base_model_path=base_model_path,
    ea_model_path=EAGLE_model_path,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
    device_map="auto",
    total_token=-1
)
model.eval()
your_message="Hello"
conv = get_conversation_template("vicuna")
conv.append_message(conv.roles[0], your_message)
conv.append_message(conv.roles[1], None)
prompt = conv.get_prompt()
input_ids=model.tokenizer([prompt]).input_ids
input_ids = torch.as_tensor(input_ids).cuda()
output_ids=model.eagenerate(input_ids,temperature=0.5,max_new_tokens=512)
output=model.tokenizer.decode(output_ids[0])

注意：Vicuna、LLaMA2-Chat 和 LLaMA3-Instruct 都是聊天模型。您需要使用正确的聊天模板，否则会导致模型输出异常并影响 EAGLE 的性能。

训练

cd eagle/traineagle3
deepspeed main.py --deepspeed_config ds_config.json

我们强烈建议使用 SpecForge 来开箱即用地使用 SGLang 训练 EAGLE-3。

自定义模型的推理

如果原始的 LLM 结构与 LLaMA 和 Mixtral 不同，您可以按照以下方式使用 EAGLE：

从 Transformers 库中复制 modeling_basemodelname.py 文件，并进行修改，以利用预分配的 kv_cache 来提升基础模型的速度。您可以参考 model/modeling_llama_kv.py 文件获取指导，其中需要修改的地方都标有 # [MODIFIED]。这些修改非常少。

评估

您可以通过以下命令在 MT-bench 上测试 EAGLE 的速度。模型会自动下载，您可能需要通过 huggingface-cli login 输入您的 Hugging Face 访问令牌。

python -m eagle.evaluation.gen_ea_answer_llama3chat --ea-model-path yuhuili/EAGLE3-LLaMA3.1-Instruct-8B --base-model-path meta-llama/Llama-3.1-8B-Instruct --use_eagle3

huggingface-cli login.

python -m eagle.evaluation.gen_ea_answer_qwen3 --ea-model-path /workspace/yunhai/Qwen3-4B_eagle3 --base-model-path Qwen/Qwen3-4B --use_eagle3

如果您需要具体的加速比，还需要运行以下命令来获取普通自回归的速度。

python -m eagle.evaluation.gen_baseline_answer_llama3chat --ea-model-path yuhuili/EAGLE3-LLaMA3.1-Instruct-8B --base-model-path meta-llama/Llama-3.1-8B-Instruct

以上两个命令会分别生成一个 .jsonl 文件，记录生成结果和实际耗时。然后，您可以使用 evaluation/speed.py 来计算速度比。

🌟 我们的贡献者

衷心感谢所有贡献者。

参考文献

有关技术细节和完整实验结果，请参阅 EAGLE 论文、EAGLE-2 论文 和 EAGLE-3 论文。

@inproceedings{li2024eagle, 
	author = {Yuhui Li and Fangyun Wei and Chao Zhang and Hongyang Zhang}, 
	title = {{EAGLE}: Speculative Sampling Requires Rethinking Feature Uncertainty}, 
	booktitle = {国际机器学习会议},
	year = {2024}
}
@inproceedings{li2024eagle2, 
	author = {Yuhui Li and Fangyun Wei and Chao Zhang and Hongyang Zhang}, 
	title = {{EAGLE-2}: Faster Inference of Language Models with Dynamic Draft Trees}, 
	booktitle = {自然语言处理中的经验方法},
	year = {2024}
}
@inproceedings{li2025eagle3,
    author = {Yuhui Li and Fangyun Wei and Chao Zhang and Hongyang Zhang},
    title = {{EAGLE-3}: Scaling up Inference Acceleration of Large Language Models via Training-Time Test}, 
    booktitle = {神经信息处理系统年度会议},
    year = {2025}
}

致谢

本项目受到了大语言模型社区中许多优秀项目的启发，例如 Medusa、FastChat 等。项目标志由 GPT-4 设计。我们还要感谢与 SGLang 团队（James Liu、Ke Bao、Yineng Zhang、Lianmin Zheng、Ying Sheng 等多位成员）、Tianle Cai、Hao Zhang、Ziteng Sun 等人的诸多宝贵讨论。

EAGLE 快速上手指南

EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) 是一种用于大语言模型（LLM）快速解码的推测性采样技术。它通过外推 LLM 的第二顶层上下文特征向量，在保持生成文本分布一致性的前提下，显著提升推理速度。最新版本的 EAGLE-3 相比普通解码速度提升可达 5.6 倍。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 - 3.11
• GPU: 支持 CUDA 的 NVIDIA GPU (推荐 RTX 3090 或更高，显存需满足目标模型需求)
  • 注：EAGLE-3 训练可在 8x RTX 3090 上完成，推理仅需单卡或双卡。
• 依赖库: PyTorch, Transformers, Accelerate 等 (将通过 requirements.txt 自动安装)

安装步骤

1. 克隆仓库

   git clone https://github.com/SafeAILab/EAGLE.git
   cd EAGLE
   

2. 创建虚拟环境并激活

   python -m venv ~/venvs/ea_env
   source ~/venvs/ea_env/bin/activate
   

3. 安装依赖 国内用户建议使用清华或阿里镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

当前主分支默认使用 EAGLE-3 实现。使用前请确保已下载对应的 EAGLE 权重模型（见下文模型列表）。

1. 获取模型权重

EAGLE 需要配合特定的“草稿模型”权重使用。你可以从 Hugging Face 下载官方支持的模型，例如针对 Vicuna-13B 的 EAGLE-3 模型：

• 基座模型：lmsys/vicuna-13b-v1.3
• EAGLE-3 权重：yuhuili/EAGLE3-Vicuna1.3-13B

2. 代码推理示例

以下是最简单的 Python 推理脚本示例：

import torch
from eagle.model import EaModel
from transformers import AutoTokenizer

# 配置路径
base_model_path = "lmsys/vicuna-13b-v1.3"       # 原始大模型路径
eagle_model_path = "yuhuili/EAGLE3-Vicuna1.3-13B" # EAGLE 权重路径

# 加载 Tokenizer
tokenizer = AutoTokenizer.from_pretrained(base_model_path)

# 加载 EAGLE 模型
# use_eagle3=True 为默认值，若需使用旧版 EAGLE-1 请设为 False
model = EaModel.from_pretrained(
    base_model_path=base_model_path,
    eagle_model_path=eagle_model_path,
    torch_dtype=torch.float16, # Qwen2 系列建议改为 torch.bfloat16 以防溢出
    device_map="auto"
)

# 准备输入
input_text = "Once upon a time,"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 执行推理
# EAGLE 会自动处理推测性解码过程
outputs = model.generate(
    **inputs,
    max_new_tokens=100,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

# 输出结果
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

3. 启动交互式 UI (可选)

项目自带简单的 Web UI 用于测试：

python demo.py --base-model lmsys/vicuna-13b-v1.3 --eagle-model yuhuili/EAGLE3-Vicuna1.3-13B

运行后在浏览器访问显示的本地地址即可进行对话测试。

提示：若需使用非官方支持的模型或自定义模型，请参考仓库中的 Train 章节进行微调训练。对于生产环境部署，推荐结合 vLLM 或 SGLang 框架使用，以获得更佳的并发性能。