Meta开源Llama 4：首批原生多模态MoE模型带来三大突破

2025年4月，Meta正式发布Llama 4模型家族，这是Llama系列首次采用原生多模态和混合专家（MoE）架构的版本。此次发布包含三款模型：Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth（预览中），标志着开源AI模型进入全新时代。

Llama 4 Scout：千万级上下文窗口的轻量冠军

Llama 4 Scout拥有170亿活跃参数和16个专家，总参数量达到1090亿。其最大亮点是支持1000万token的上下文窗口，这在同类开源模型中尚属首次。Scout在多模态理解、代码生成和推理能力上均有显著提升，适合需要处理超长文档和复杂上下文的应用场景。

Scout采用了创新的iRoPE（interleaved Rotary Position Embedding）架构，使其能够高效处理超长序列输入。在多项基准测试中，Scout的表现超越了同级别的Gemma 3和Mistral等模型。

Llama 4 Maverick：性能比肩GPT-4o的开源强者

Llama 4 Maverick是Llama 4系列的旗舰模型，拥有170亿活跃参数和128个专家，总参数量高达4000亿。在综合评测中，Maverick的表现与GPT-4o和Gemini 2.0 Flash持平甚至超越，同时保持了开源模型的可访问优势。

Maverick在以下关键领域表现突出：

• 多模态理解：图像、视频和文本的统一理解能力
• 代码生成：在HumanEval等编程基准上取得领先成绩
• 指令遵循：更准确地理解和执行复杂指令
• 推理能力：在数学和逻辑推理任务上显著进步

Llama 4 Behemoth：万亿参数的终极形态

Llama 4 Behemoth目前仍在训练中，预计拥有2880亿活跃参数和16个专家，总参数量可能超过2万亿。Meta表示，Behemoth在数学和科学推理等高难度任务上的表现已经超越了GPT-4.5和Claude 3.5 Sonnet等闭源模型。

原生多模态：从文本到全感知的飞跃

与此前Llama系列在文本模型基础上”附加”视觉能力不同，Llama 4从训练之初就采用了原生多模态设计。模型在预训练阶段就同时学习了文本、图像和视频数据，使其具备了真正的跨模态理解和推理能力。

这意味着Llama 4不仅能够”看懂”图片，还能理解图片中的上下文关系、进行视觉推理，甚至处理视频内容。这种原生多模态能力为开发者构建更智能的AI应用提供了坚实基础。

开源策略与社区影响

Meta延续了Llama系列的开源策略，Llama 4 Scout和Maverick已在Hugging Face上开放下载。开发者可以免费使用这些模型进行研究和商业应用（在一定使用量限制内）。

这一发布对AI行业的影响深远：

• 降低门槛：中小开发者也能使用顶级多模态模型
• 推动创新：开源社区可以在此基础上进行微调和优化
• 竞争格局：对OpenAI、Google等闭源模型形成有力竞争

Llama 4的发布标志着开源AI正式进入多模态时代，Meta通过持续的开源投入，正在重塑AI技术的民主化进程。

游侠云AI普通

收藏 链接