AIGC宇宙 AIGC宇宙

4B

小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型

小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型
英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。图源：英伟达Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来，英伟达在深度和宽度方向上使用了结构化剪枝技术。AI在线注：剪枝是一种删除网络中不那么重要的层或神经元的技术，保留其性能的情况下，目的是减小模型的大小和复杂度。英伟达通过从模型中删除 16 层来
8/17/2024 7:21:02 AM
故渊
  • 1