AIGC宇宙 AIGC宇宙

UE8M0 FP8

DeepSeek刚提到FP8,英伟达就把FP4精度推向预训练,更快、更便宜

前些天,DeepSeek 在发布 DeepSeek V3.1 的文章评论区中,提及了 UE8M0 FP8 的量化设计,声称是针对即将发布的下一代国产芯片设计。 这件事一下引发了巨大反响,不仅是关于新一代国产芯片设计、大模型在国产芯片训练的话题,也顺势引发了大家对大模型量化策略的关注。 FP8,其全称为 8-bit floating point(8 位浮点数),是一种超低精度的数据表示格式,相较于 FP32(单精度)或 FP16(半精度)等传统浮点格式,FP8 可以在尽量保持数值稳定性和模型精度的前提下,进一步降低存储和计算开销(参见机器之心文章:用FP8训练大模型有多香?
8/27/2025 8:52:00 PM
机器之心
  • 1