利用率
训大模型为啥这么贵?专家:一半以上算力被浪费了
人工智能时代,大模型的发展带来了智能算力需求的大爆发。据估算,自 2012 年以来,AI 模型训练算力需求每 3~4 个月就翻一番,每年训练 AI 模型所需算力增长幅度高达 10 倍。同时,OpenAI 曾在 2020 年提出 Scaling law 定律。该定律指出,大模型的最终性能与计算量、模型参数量及训练数据量的大小密切相关。换言之,若要提升大模型的能力,就需要不断增加模型参数和训练数据量,这就需要部署大规模的训练集群,随着集群规模的不断扩大,训练成本也呈指数级增长。9月13日,在百度智能云举办的媒体技术沙龙
9/13/2024 6:55:00 PM
新闻助手
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
模型
机器人
谷歌
大模型
Midjourney
智能
开源
用户
学习
GPT
微软
Meta
图像
AI创作
技术
论文
Stable Diffusion
马斯克
Gemini
算法
蛋白质
芯片
代码
生成式
英伟达
腾讯
神经网络
研究
计算
Anthropic
3D
Sora
AI for Science
AI设计
机器学习
开发者
GPU
AI视频
华为
场景
人形机器人
预测
百度
苹果
伟达
Transformer
深度学习
xAI
模态
字节跳动
Claude
大语言模型
搜索
具身智能
驾驶
神器推荐
文本
Copilot
LLaMA
算力
安全
视觉
视频生成
训练
干货合集
应用
大型语言模型
科技
亚马逊
智能体
DeepMind
特斯拉