FP8
FP8 训练新范式:减少 40% 显存占用,训练速度提高 1.4 倍
近期DeepSeek V3 引爆国内外的社交媒体,他们在训练中成功应用了 FP8 精度,显著降低了 GPU 内存使用和计算开销。 这表明,FP8 量化技术在优化大型模型训练方面正发挥着越来越重要的作用。 近期,来自伯克利,英伟达,MIT 和清华的研究者们提出了显存高效的 FP8 训练方法:COAT(Compressing Optimizer states and Activation for Memory-Efficient FP8 Training),致力于通过 FP8 量化来压缩优化器状态和激活值,从而提高内存利用率和训练速度。
3/7/2025 10:02:10 AM
机器之心
DeepSeek R2要提前发布!这是有关R2的几个传闻:100%国产算力部署!能耗降低25%,多模态模型!
DeepSeek 今天有两个大新闻:一个是开源了自家用于助力V3/R1模型训练与推理的一个FP8通用矩阵乘法 (GEMM) 加速库,这一块相信不少业内人士会感兴趣,据悉性能高达1350 TFLOPS,进一步揭秘了为什么现在的DeepSeek可以吐字这么流畅,训练和计算成本为什么如此低廉。 不过更为让人震惊的,相信还是第二个:DeepSeek原定于要5月初发布的DeepSeek R2,现在正在争取提前甚至尽可能早的发布! 这一提前发布R2的消息,是路透社当地时间周二发布的,路透社跟三位知情人士了解到:DeepSeek原本计划在5月初发布R2,但现在希望尽早发布,但没有提供具体细节。
2/26/2025 2:51:00 PM
- 1
资讯热榜
苹果发布全新Xcode 26开发者工具:内置ChatGPT先进AI功能
那个男人回来了!Ilya现身多伦多大学毕业典礼:AI 像是用数字方式复制出来的大脑!不管你愿不愿意,AI都将深刻影响你的一生!
DeepSeek前高管秘密创业,新AI Agent项目已获顶级VC押注
支持MCP!开源智能体开发框架 Rowboat:打造你的智能助手只需几分钟
苹果将 ChatGPT 和其他 AI 模型引入 Xcode
消息称 OpenAI 已同谷歌敲定一份云 AI 算力交易,减少对微软依赖
苹果 WWDC 2025:iOS 26升级视觉智能,AI 助力屏幕内容识别
“程序员炸锅”!Claude一夜撤离 Windsurf,OpenAI 收购遭"精准狙击"
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
AI创作
Gemini
论文
马斯克
Stable Diffusion
算法
英伟达
代码
Anthropic
芯片
开发者
生成式
蛋白质
腾讯
神经网络
训练
3D
研究
生成
智能体
苹果
计算
机器学习
Sora
AI设计
Claude
AI for Science
GPU
AI视频
人形机器人
搜索
华为
百度
场景
大语言模型
xAI
预测
伟达
深度学习
Transformer
LLM
字节跳动
Agent
模态
具身智能
神器推荐
工具
文本
视觉
LLaMA
算力
Copilot
驾驶
大型语言模型
API
RAG
应用
架构