MatMul-free
从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗
让语言模型「轻装上阵」。一直以来,矩阵乘法(MatMul)稳居神经网络操作的主导地位,其中很大原因归结为 GPU 专门针对 MatMul 操作进行了优化。这种优化使得 AlexNet 在 ILSVRC2012 挑战赛中一举胜出,成为深度学习崛起的历史性标志。在这当中,有个值得注意的点是,AlexNet 利用 GPU 来提高训练速度,超越了 CPU 的能力,至此,GPU 的加入使得深度学习仿佛赢得了「硬件彩票」。尽管 MatMul 在深度学习中很流行,但不得不承认的是它占据了计算开销的主要部分,主要表现为 MatMu
6/11/2024 12:42:00 AM
机器之心
- 1
资讯热榜
6秒视频10秒生成!全新AI视频神器 Grok Imagine 深度体验+元提示词分享
AI玩拼图游戏暴涨视觉理解力,告别文本中心训练,无需标注的多模态大模型后训练范式
OpenAI 为 ChatGPT 推出智能记忆清理功能,Plus 用户率先体验
大的来了:谷歌Gemini 3.0 Pro单次生成网页版操作系统,Win、Mac、Linux一网打尽
大模型降本增效,稀疏注意力机制的魔力在哪?
AI圈重磅发布!九大章节深度解读313页的State of AI 2025报告
卡神新项目刷屏!AI老鸟深度解析Karpathy的开发Trick,网友:700块复刻ChatGPT!终于能亲自研究ChatGPT
英国政府提出 AI 节省 450 亿英镑计划,但专家质疑其可行性
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
机器人
数据
大模型
Midjourney
开源
Meta
智能
微软
用户
AI新词
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
论文
LLM
代码
算法
芯片
Stable Diffusion
苹果
腾讯
AI for Science
Agent
Claude
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
研究
人形机器人
生成
AI视频
百度
大语言模型
Sora
工具
GPU
具身智能
RAG
华为
计算
字节跳动
AI设计
搜索
AGI
大型语言模型
场景
视频生成
深度学习
架构
DeepMind
视觉
预测
Transformer
伟达
编程
AI模型
特斯拉
生成式AI
神器推荐