AIGC宇宙 AIGC宇宙

4090成A100平替?上交大推出推理引擎PowerInfer,token生成速率只比A100低18%

作者:机器之心
2023-12-20 06:01
机器之心报道机器之心编辑部PowerInfer 使得在消费级硬件上运行 AI 更加高效。上海交大团队,刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址::?在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上,PowerInfer 对比 llama.cpp 实现了 11 倍加速!PowerInfer 和 llama.cpp 都在相同的硬件上运行,并充分利用了 RTX 4090 上的 VRAM。在单个 NVIDIA RTX 4090 GPU

机器之心报道

机器之心编辑部

PowerInfer 使得在消费级硬件上运行 AI 更加高效。

上海交大团队,刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。

图片

项目地址:https://github.com/SJTU-IPADS/PowerInfer

图片

论文地址:https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf

速度有多快?

在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上,PowerInfer 对比 llama.cpp 实现了 11 倍加速!

4090成A100平替?上交大推出推理引擎PowerInfer,token生成速率只比A100低18%

PowerInfer 和 llama.cpp 都在相同的硬件上运行,并充分利用了 RTX 4090 上的 VRAM。

在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中,PowerInfer 的平均 token 生成率为 13.20 个 token / 秒,峰值为 29.08 个 token / 秒,仅比顶级服务器级 A100 GPU 低 18%。

图片

图片

具体来说,PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活(hot-activated)神经元被预加载到 GPU 上以便快速访问,而冷激活(cold-activated)神经元(大部分)则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。

PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用,即将支持 Mistral-7B。

PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性,其特征是神经元激活中的幂律分布。

图片

下图 7 展示了 PowerInfer 的架构概述,包括离线和在线组件。

图片

这种分布表明,一小部分神经元(称为热神经元)跨输入一致激活,而大多数冷神经元则根据特定输入而变化。PowerInfer 利用这种机制设计了 GPU-CPU 混合推理引擎。

图片

PowerInfer 进一步集成了自适应预测器和神经元感知稀疏算子,优化了神经元激活和计算稀疏性的效率。

看到这项研究后,网友激动的表示:单卡 4090 跑 175B 大模型不再是梦。

图片

了解更多内容,请查看原论文。

相关标签:

相关资讯

手机跑大模型提速 4-5 倍:微软亚研院开源新技术 T-MAC,有 CPU 就行

有 CPU 就能跑大模型,性能甚至超过 NPU / GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在 CPU 上高效部署低比特大语言模型一般来说,要想在手机、PC、树莓派等端侧设备上使用大语言模型,我们需要解决存储和计算问题。常见的方法是模型量化,即将模型的参数量化到较低的比特数,比如 4 比特、3 比特甚至更低,这样模型所需的存储空间和计算资源就会减少。不过这也意味着,在执行推理时,需要进行混合精
8/9/2024 12:58:46 PM
汪淼

思考一下,联邦学习可以训练大语言模型吗?

满足在垂直领域中的应用需求,能用联邦学习训练LLM吗?
7/10/2023 2:34:00 PM
机器之心

Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源

跨国科技公司 Yandex 最近推出了 YaFSDP,这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具,用于增强 GPU 通信并减少 LLM 训练中的内存使用量,与 FSDP 相比,其训练速度提升最高可达 26%,具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献,将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目
6/11/2024 5:18:00 PM
新闻助手
  • 1