更新

• [2025/10] 🔥 发布 Eagle 2.5 源代码。
• [2025/09] 🔥 Eagle 2.5 被 NeurIPS 2025 接受。
• [2025/09] 🎉 Eagle 2 已在 Torch-TRT 中得到支持。
• [2025/07] 🎉 发布 Eagle 2.5 模型。
• [2025/06] 🔥 Eagle 2.5 被采用为 GR00T-N1.5 的 VLM 主干。更多详情请参阅 技术博客。
• [2025/04] 🎉 发布 Eagle 2.5 技术报告。
• [2025/03] 🔥 Eagle 2 被采用为 GR00T-N1 的 VLM 主干（系统-2）。更多详情请参阅 GTC 发布会 和 白皮书。
• [2025/01] 🎉 发布 Eagle 2 技术报告 和 模型。
• [2025/01] 🎉 Eagle 被 ICLR 2025 Spotlight 接受。
• [2024/08] 🎉 发布 Eagle。

资源

🌟 从这里开始：设置环境、训练模型和运行评估

• 📚 Eagle-2.5 入门

🌐 玩乐场

• 🤗 Huggingface Space 上的演示
  • https://huggingface.co/spaces/nvidia/Eagle-2.5-8B-demo

简介

Eagle 2.5 是一系列面向长上下文多模态学习的前沿视觉-语言模型（VLM）。尽管大多数现有 VLM 专注于短上下文任务，Eagle 2.5 却致力于解决长视频理解与高分辨率图像理解的挑战，为两者提供了一个通用框架。Eagle 2.5 最多可支持 512 帧视频，并联合使用图像和视频数据进行训练。

我们还推出了 Eagle-Video-110K，这是一个全新的数据集，包含故事级和片段级标注，专为长视频理解而设计。该数据集包含超过 11 万个标注样本，涵盖问答、定位和摘要等任务。视频时长从几分钟到 3 小时不等，将长视频推理的能力推向了极限。

🚀 全面优异的表现：

• 在 10 个长视频基准测试中，有 6 个达到 SOTA 水平
• 在 5 项视频任务中，有 3 项表现优于 GPT-4o（0806）
• 在 6 项视频任务中，有 4 项表现优于 Gemini 1.5 Pro
• 在多个关键数据集上，表现与 Qwen2.5-VL-72B 相当或更优
• 在 Video-MME 数据集上，使用 512 帧输入时，准确率达到 72.4%
• 图像理解能力强劲，相比 Eagle 2 显著提升，与 Qwen2.5-VL 表现相当。

🎯 关键创新

• 信息优先采样：
  • 图像区域保留（IAP）：优化图像拼接方式，以保留大部分原始图像面积和宽高比，从而保持细粒度细节。
  • 自动降级采样（ADS）：动态平衡视觉和文本输入，确保在上下文长度限制范围内，既能完整保留文本内容，又能最大化视觉信息量。
• 渐进式混合后训练：
  • 在训练过程中逐步增加上下文长度，提升模型处理不同大小输入的能力，并通过动态采样提高信息密度。
• 多样性驱动的数据配方：
  • 结合开源数据（人工标注和合成数据）以及我们自建的 Eagle-Video-110K 数据集，该数据集采用多样性驱动策略收集，并配有故事级和片段级问答对标注。

⚡ 效率与框架优化

• GPU 内存优化：
  • 集成基于 Triton 的融合算子，替代 PyTorch 的 MLP、RMSNorm 和 RoPE 实现。
  • 通过融合线性层 + 交叉熵损失（移除中间 logits 存储）以及将隐藏状态卸载到 CPU，进一步降低 GPU 内存占用。
  • 这种优化使得单个 GPU 上的 8B 模型能够支持高达 32K 的上下文长度。
• 分布式上下文并行：
  • 采用基于 Ulysses 和 Ring/Context Parallelism 构建的两层通信组，并在此基础上引入 USP。
  • 实现 ZigZag Llama3 风格的上下文并行，通过全归约 KV 来减少通信延迟。
• 视频解码加速：
  • 优化稀疏视频帧采样，快速解析视频元数据，提升长视频解码效率并降低内存消耗。
• 推理加速：
  • 支持 vLLM 部署，进一步降低内存占用并加速推理过程。

模型详情

• 模型类型：长上下文视觉-语言模型
• 架构：
  • 视觉编码器：Siglip2-So400m-Patch16-512
  • 语言模型：Qwen2.5-7B-Instruct
  • 多模态基础架构：基于拼接的视觉输入的 LLaVA
• 支持的输入：
  • 长视频序列（最多 512 帧）
  • 高分辨率图像（输入尺寸可达 4K HD）
  • 多页文档
  • 长文本
• 训练策略：
  • 渐进式混合后训练，上下文长度从 32K 扩展到 128K
  • 信息优先采样，以最佳方式保留视觉和文本信息
• 训练数据：
  • 开源视频和文档数据集
  • Eagle-Video-110K（11 万条带有双层标注的长视频）

模型库

📦 Eagle 2.5 模型

模型名称	日期	LLM 主干	视觉编码器	最大长度	下载
Eagle2.5-8B	2025.04.16	Qwen2.5-7B-Instruct	SigLIP2	128K	🤗 HF 链接

📦 Eagle 2 模型

模型名称	日期	LLM 主干	视觉编码器	最大长度	下载
Eagle2-1B	2025.01.11	Qwen2.5-0.5B-Instruct	SigLIP	16K	🤗 HF 链接
Eagle2-2B	2025.01.11	Qwen2.5-1.5B-Instruct	SigLIP	16K	🤗 HF 链接
Eagle2-9B	2025.01.11	Qwen2.5-7B-Instruct	SigLIP + ConvNext	16K	🤗 HF 链接
Eagle2-34B	2025.01.11	Qwen2.5-32B-Instruct	SigLIP + ConvNext	16K	🤗 HF 链接

基准测试结果

🎥 视频基准测试

基准测试	GPT-4o	Gemini-1.5 Pro	InternVL2.5-8B	Qwen2.5-VL-8B	Eagle2.5-8B
MVBenchtest	-	-	72.0	69.6	74.8
Perception_testval	-	-	-	70.5	82.0
EgoSchemafullset	-	72.2	-	65.0	72.2
MMB-Video	1.63	1.30	1.68	1.79	1.94
MLVUval	-	-	68.9	70.2	77.6
LVBenchval	66.7	64.0	60.0	56.0	66.4
Video-MMEw/o subtitle	71.9	75.0	64.2	65.1	72.4
Video-MMEw subtitle	77.2	81.3	66.9	71.6	75.7
CG-BenchClue	58.6	50.9	-	44.5	55.8
CG-BenchLong	44.9	37.8	-	35.5	46.6
CG-BenchmIoU	5.73	3.85	-	2.48	13.4
HourVideoDev	-	37.2	-	-	44.5
HourVideoTest	-	37.4	-	-	41.8
Charade-STAmIoU	35.7	-	-	43.6	65.9
HD-EPIC	-	37.6	-	-	42.9
HRVideoBench	-	-	-	-	68.5
EgoPlanval	-	-	-	-	45.3

🦾 身体智能基准测试

基准测试	GPT-4o	Gemini-1.5 Pro	InternVL2.5-8B	Qwen2.5-VL-8B	Eagle2.5-8B
OpenEQA	-	-	-	-	63.5
ERQA	47.0	41.8	-	-	38.3
EgoPlanval	-	-	-	-	45.3

🖼️ 图像基准测试

基准测试	GPT-4o	Gemini-1.5 Pro	InternVL2.5-8B	Qwen2.5-VL-8B	Eagle2.5-8B
DocVQAtest	92.8	93.1	93.0	95.7	94.1
ChartQAtest	85.7	87.2	84.8	87.3	87.5
InfoVQAtest	79.2	81.0	77.6	82.6	80.4
TextVQAval	77.4	78.8	79.1	84.9	83.7
OCRBenchtest	736	754	822	864	869
MMstartest	64.7	59.1	62.8	63.9	66.2
RWQAtest	75.4	67.5	70.1	68.5	76.7
AI2Dtest	84.6	79.1	84.5	83.9	84.5
MMMUval	69.1	62.2	56.0	58.6	55.8
MMBench_V11test	83.1	74.6	83.2	82.6	81.7
MMVetGPT-4-Turbo	69.1	64.0	62.8	67.1	62.9
HallBenchavg	55.0	45.6	50.1	52.9	54.7
MathVistatestmini	63.8	63.9	64.4	68.2	67.8
平均得分	74.9	71.7	73.1	75.6	75.6

所有数据均直接摘自 Eagle 2.5 技术报告中的表 2 和表 3。

引用

如果您觉得本项目有用，请引用我们的工作：

@booktitle{chen2025eagle2.5,
    title={Eagle 2.5: 推动前沿视觉语言模型的长上下文后训练},
    author={陈果、李志奇、王世豪、蒋金东、刘一成、陆立东、黄德安、卞元民、勒马蒂厄、埃尔利希·马克、陆彤、王丽敏、卡坦扎罗·布莱恩、考茨·扬、陶安德鲁、俞志定、刘桂林},
    booktitle={NeurIPS},
    year={2025}
}

@article{li2025eagle2,
    title={Eagle 2：为前沿视觉语言模型从零开始构建后训练数据策略}, 
    author={李志奇、陈果、刘士龙、王世豪、维巴尚 VS、季义申、兰世怡、张浩、赵艺琳、拉达克里希南·苏布哈什里、钱娜丁、萨普拉·卡兰、德什穆克·阿马拉·桑杰、林塔马基·图奥马斯、勒马蒂厄、卡尔曼诺夫·伊利亚、沃格特勒·卢卡斯、菲舍尔·菲利普、黄德安、罗马·蒂莫、陆彤、阿尔瓦雷斯·何塞 M.、卡坦扎罗·布莱恩、考茨·扬、陶安德鲁、刘桂林、俞志定},
    journal={arXiv:2501.14818},
    year={2025}
}

@inproceedings{shi2025eagle,
    title = {Eagle：探索混合编码器多模态大模型的设计空间}, 
    author={施敏、刘福晓、王世豪、廖世嘉、拉达克里希南·苏布哈什里、黄德安、尹宏旭、萨普拉·卡兰、雅库布·亚塞尔、希普里·希、卡坦扎罗·布莱恩、陶安德鲁、考茨·扬、俞志定、刘桂林},
    booktitle={ICLR},
    year={2025}
}

许可证/使用条款

• 代码根据 LICENSE 文件中提供的 Apache 2.0 许可证发布。此仓库中的部分代码被复用，并受其原始许可证约束。某些文件已被修改，并在适当位置添加了相应的署名和额外的许可证声明。
• 预训练的 Eagle 2 和 2.5 模型权重根据 NVIDIA 许可证 发布。这些模型为研究预览版，仅供非商业用途，且受以下许可证和条款约束：
  • Qwen2.5-7B-Instruct 模型许可证：Apache-2.0
  • Eagle 2 - PaliGemma SigLIP 模型许可证：Gemma 许可证
  • Eagle 2 - CLIP ConvNeXt 模型许可证：MIT
  • Eagle 2.5 - SigLIP2 模型许可证：Apache-2.0
  • 模型通过 Qwen 进行改进。
• 如需为 Eagle 贡献代码，请参阅 贡献指南。
• 请用户确保其对数据集和模型权重的使用符合所有适用的法律法规。

致谢

• LLaVA、LLaVA-HR 和 InternVL：Eagle 代码库整合了来自这些仓库的修改组件。衷心感谢这些优秀的开源项目。
• LMMs-Eval 和 VLMEvalKit：我们使用这些仓库的衍生作品进行评估。非常感谢这些出色的工具。
• 感谢 Cambrian、LLaVA-One-Vision、The Cauldron 等众多作品在开源数据方面所做出的努力。
• 团队特别感谢 NVIDIA TSE 团队，包括陈富、金宇超、乐安和乔什·帕克，他们在 Eagle 的 TensorRT 优化和边缘部署方面做出了卓越的工作。

Eagle 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 通过 WSL 支持）
• Python 版本：3.10+
• CUDA 版本：11.8+

前置依赖

• PyTorch >= 2.0
• Transformers >= 4.36
• HuggingFace CLI 工具
• 其他依赖可通过 pip install -r requirements.txt 安装

推荐使用国内镜像源加速安装，例如：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库：

git clone https://github.com/NVlabs/EAGLE.git
cd EAGLE

2. 安装依赖：

pip install -r requirements.txt

3. 下载模型（以 Eagle2.5-8B 为例）：

mkdir models
cd models
wget https://huggingface.co/nvidia/Eagle2-1B/resolve/main/pytorch_model.bin
cd ..

基本使用

1. 启动 HuggingFace Space 的 Demo：

https://huggingface.co/spaces/nvidia/Eagle-2.5-8B-demo

2. 使用本地模型进行推理（示例）：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("nvidia/Eagle2-1B")
model = AutoModelForCausalLM.from_pretrained("nvidia/Eagle2-1B")

input_text = "What is the main event in this video?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

注意：实际使用中需根据具体任务调整输入和输出逻辑。