AIGC宇宙 AIGC宇宙

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

作者:漾仔
2025-04-06 05:34
Meta推出Llama 4系列AI模型,含Scout、Maverick和尚在训练的Behemoth。已上架Scout和Maverick,性能各有亮点。#Meta #Llama4系列AI模型#

Meta 现已发布旗下最新 Llama 4 系列 AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和 Llama 4 Behemoth,Meta 透露相应模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

目前,Meta 已将系列模型中的 Scout 和 Maverick 上架到 Hugging Face(点此访问),而 Behemoth 模型则还在训练中。其中 Scout 可以在单个英伟达 H100 GPU 上运行,而 Maverick 则需要英伟达 H100 DGX AI 平台或“同等性能的设备”。

Meta 表示,Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,所谓“混合专家架构”基本上是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

例如,Maverick 总共有 4000 亿个参数,但在 128 个“专家”模型中只有 170 亿个活跃参数(参数数量大致与模型的问题解决能力相对应)。Scout 有 170 亿个活跃参数、16 个“专家”模型以及总计 1090 亿个参数。

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

不过值得注意的是,Llama 4 系列中没有一个模型是像 OpenAI 的 o1 和 o3-mini 那样真正意义上的“推理模型”。作为比较,“推理模型”会对其答案进行事实核查,并且通常能更可靠地回答问题,但因此也比传统的“非推理”模型花费更长的时间来给出答案。

Meta 内部测试显示,Maverick 模型最适合用于“通用 AI 助手和聊天”等应用场景,该模型在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现超过了 OpenAI 的 GPT-4o 和谷歌的 Gemini 2.0 等模型。然而 Maverick 与谷歌的 Gemini 2.5 Pro、Anthropic 的 Claude 3.7 Sonnet 和 OpenAI 的 GPT-4.5 等功能更强大的最新模型相比仍有一定进步空间。

Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率

而 Scout 的优势则是总结文档、基于大型代码库进行推理。该模型支持 1000 万个词元(“词元”代表原始文本的片段,例如单词“fantastic”可拆分为“fan”、“tas”和“tic”),因此一次可以处理“多达数百万字的文本”。

AI在线注意到,Meta 还进一步预告了其 Behemoth 模型,据该公司称,Behemoth 有 2880 亿个活跃参数、16 个“专家”模型,总参数数量接近 2 万亿个。Meta 的内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth 的表现优于 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Pro,但不如 Gemini 2.5 Pro。

相关资讯

硅基流动:下线部分未备案模型,用户请注意迁移

近日,硅基流动在其更新公告中宣布,为了进一步优化资源配置,提供更先进、优质、合规的技术服务,将于2025年3月6日对部分模型进行下线处理。 此次下线的模型主要为未经审查的国外模型,特别是生图模型,仅保留KColor。 请用户注意,如果之前接入了公告中提及的模型,务必在3月6日前完成迁移。
3/5/2025 10:00:25 AM
AI在线

Meta AI 全球市场扩张,并上线网页版 meta.ai

Meta 公司近日宣布 Llama 3 大语言模型之外,扩展 Meta AI 服务到美国之外的 13 个国家和地区,还宣布上线专门的聊天网站:meta.ai。Meta 公司在新闻稿中表示开始在全球市场扩展 Meta AI,在澳大利亚、加拿大、南非和新加坡等国家和地区推出英语版本。IT之家附上 Meta AI 扩展的国家和地区如下澳大利亚加拿大加纳牙买加马拉维新西兰尼日利亚巴基斯坦新加坡南非乌干达赞比亚津巴布韦Meta AI 整合了 Llama 3 大语言模型,速度更快、智能性更高、功能更强,是执行各种任务的理想选择
4/19/2024 9:15:51 AM
故渊

刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本

今天凌晨,大新闻不断。一边是 OpenAI 的高层又又又动荡了,另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可将多个 API 提供商打包在一起以便模型方便地调用各种工具或外部模型。此外,他们还发布了最新的安全保障措施。真・Open AI
9/26/2024 2:33:00 PM
机器之心
  • 1