AIGC宇宙 AIGC宇宙

FP8

FP8 训练新范式：减少 40% 显存占用，训练速度提高 1.4 倍

FP8 训练新范式：减少 40% 显存占用，训练速度提高 1.4 倍
近期DeepSeek V3 引爆国内外的社交媒体，他们在训练中成功应用了 FP8 精度，显著降低了 GPU 内存使用和计算开销。 这表明，FP8 量化技术在优化大型模型训练方面正发挥着越来越重要的作用。 近期，来自伯克利，英伟达，MIT 和清华的研究者们提出了显存高效的 FP8 训练方法：COAT（Compressing Optimizer states and Activation for Memory-Efficient FP8 Training），致力于通过 FP8 量化来压缩优化器状态和激活值，从而提高内存利用率和训练速度。
3/7/2025 10:02:10 AM
机器之心
DeepSeek R2要提前发布！这是有关R2的几个传闻：100%国产算力部署！能耗降低25%，多模态模型！

DeepSeek R2要提前发布！这是有关R2的几个传闻：100%国产算力部署！能耗降低25%，多模态模型！
DeepSeek 今天有两个大新闻：一个是开源了自家用于助力V3/R1模型训练与推理的一个FP8通用矩阵乘法 (GEMM) 加速库，这一块相信不少业内人士会感兴趣，据悉性能高达1350 TFLOPS，进一步揭秘了为什么现在的DeepSeek可以吐字这么流畅，训练和计算成本为什么如此低廉。 不过更为让人震惊的，相信还是第二个：DeepSeek原定于要5月初发布的DeepSeek R2，现在正在争取提前甚至尽可能早的发布！ 这一提前发布R2的消息，是路透社当地时间周二发布的，路透社跟三位知情人士了解到：DeepSeek原本计划在5月初发布R2，但现在希望尽早发布，但没有提供具体细节。
2/26/2025 2:51:00 PM
  • 1