AIGC宇宙 AIGC宇宙

计算

手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行

手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行
有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，比如 4 比特、3 比特甚至更低，这样模型所需的存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精
8/9/2024 12:58:46 PM
汪淼
  • 1