英伟达发布Eagle 2.5视觉语言AI模型：8B参数媲美GPT-4o

4月23日，英伟达最新推出Eagle 2.5，一款专注于长上下文多模态学习的视觉-语言模型（VLM）。该模型专注于理解大规模视频和图像，尤其擅长处理高分辨率图像和长视频序列。

8B参数挑战72B大模型

尽管参数规模仅为8B，Eagle 2.5在Video-MME基准测试（512帧输入）中得分高达72.4%，媲美Qwen2.5-VL-72B和InternVL2.5-78B等更大规模模型。这意味着在视觉-语言理解任务中，小模型也能达到大模型的效果。

两大关键训练策略

Eagle 2.5的成功离不开两项关键训练策略：

信息优先采样（Information-First Sampling）：通过图像区域保留（IAP）技术，保留超过60%的原始图像区域，同时减少宽高比失真；自动降级采样（ADS）则根据上下文长度动态平衡视觉和文本输入，确保文本完整性和视觉细节的优化。

渐进式后训练（Progressive Post-Training）：逐步扩展模型上下文窗口，从32K到128K token，让模型在不同输入长度下保持稳定性能，避免过拟合单一上下文范围。

专用训练数据集

Eagle 2.5的训练数据管道整合了开源资源和定制数据集Eagle-Video-110K，该数据集专为理解长视频设计，采用双重标注方式：

• 自上而下：采用故事级分割，结合人类标注章节元数据、GPT-4生成的密集描述
• 自下而上：利用GPT-4o为短片段生成问答对，抓取时空细节

这些策略结合SigLIP视觉编码和MLP投影层，确保了模型在多样化任务中的灵活性。

游侠云AI普通

收藏 链接