AIGC宇宙 AIGC宇宙

Meta 发布基于 Code Llama 的 LLM 编译器:优化代码大小、反汇编

作者:沛霖(实习)
2024-06-28 01:25
感谢Meta 官方在 X 平台宣布推出 LLM 编译器,这是一个基于 Meta Code Llama 构建的模型家族,具有额外的代码优化和编译器功能。这些模型可以模拟编译器,预测代码大小的最佳传递,并可反汇编代码,可以针对新的优化和编译器任务进行微调。Meta 在 HuggingFace 上公开了 LLM 编译器的 7B 和 13B 模型,采用宽松的许可协议,允许用于研究和商业用途。IT之家附链接:,LLM 在各种软件工程和编码任务中展示其能力,然而在代码和编译器优化领域的应用仍然未被充分探索。为了解决这一问题,M
感谢Meta 官方在 X 平台宣布推出 LLM 编译器,这是一个基于 Meta Code Llama 构建的模型家族,具有额外的代码优化和编译器功能。这些模型可以模拟编译器,预测代码大小的最佳传递,并可反汇编代码,可以针对新的优化和编译器任务进行微调。

Meta 发布基于 Code Llama 的 LLM 编译器:优化代码大小、反汇编

Meta 在 HuggingFace 上公开了 LLM 编译器的 7B 和 13B 模型,采用宽松的许可协议,允许用于研究和商业用途。

IT之家附链接:https://huggingface.co/collections/facebook/llm-compiler-667c5b05557fe99a9edd25cb

研究人员在论文中表示,LLM 在各种软件工程和编码任务中展示其能力,然而在代码和编译器优化领域的应用仍然未被充分探索。为了解决这一问题,Meta 引入了 LLM 编译器,这是一个专为代码优化任务设计的预训练模型套件。

LLM 编译器模型在包含 5460 亿个 LLVM-IR 和汇编代码标记的庞大语料库上进行了训练,并经过指令微调以解释编译器行为,旨在为学术研究人员和行业从业者在编译器优化方面的进一步研究和开发提供一个可扩展的、具有成本效益的基础。

LLM 编译器在代码大小优化方面取得了显著成果。在测试中,该模型的优化潜力达到了自动调整搜索的 77%,这一结果可以显著缩短编译时间,提高各种应用的代码效率。

相关标签:

相关资讯

OpenAI 将参与外部供应商设计流程,以获符合需求 AI 硬件

据英媒 Data Centre Dynamics 报道,OpenAI 正招募软硬件协同设计工程师,帮助外部供应商设计符合 OpenAI 自身需求的 AI 硬件。OpenAI 官网页面显示,该职位位于美国加州旧金山,将与其硬件工程师团队一同工作。对内,该职位需要同 OpenAI 内部的机器学习工程师、内核工程师、编译器开发人员合作,了解他们对高性能加速器在机器学习技术、算法、数值近似、编程表达性和编译器优化等方面的愿景和需求。对外,该职位需要同多个外部供应商一起实现 AI 硬件的性能和可编程性目标,并协同第三方开发最
3/8/2024 7:43:38 PM
溯波(实习)

Meta 推出 LLM Compiler 代码优化模型,可搭配其他 AI 改善代码生成 / 编译能力

Meta 前天推出了一款名为“LLM Compiler”的模型,该模型基于 Meta 现有的 Code Llama 打造,主打代码优化,目前相关模型已登陆 Hugging Face,提供 70 亿参数及 130 亿参数两个版本,允许学术及商业使用,IT之家附项目地址如下:点此访问。Meta 认为,尽管业界各大语言模型已在各种编程代码任务中展现了出色的能力,但此类模型在代码优化还有进步空间,目前推出的 LLM Compiler 模型便是一款专为优化代码任务设计的预训练模型,能够模拟编译器对代码进行优化,或将“已经过优
6/30/2024 5:47:55 PM
漾仔

为什么要纯C语言手搓GPT-2,Karpathy回应网友质疑

Karpathy:for fun.几天前,前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型(LM)训练变得简单 —— 使用纯 C 语言 / CUDA,不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如,训练 GPT-2(CPU、fp32)仅需要单个文件中的大约 1000 行干净代码(clean code),可以立即编
4/11/2024 3:18:00 PM
机器之心
  • 1