代码

明确了：文本数据中加点代码，训练出的大模型更强、更通用

代码知识原来这么重要。如今说起大语言模型（LLM），写代码能力恐怕是「君子六艺」必不可少的一项。在预训练数据集中包含代码，即使对于并非专门为代码设计的大模型来说，也已是必不可少的事。虽然从业者们普遍认为代码数据在通用 LLM 的性能中起着至关重要的作用，但分析代码对非代码任务的精确影响的工作却非常有限。在最近由 Cohere 等机构提交的一项工作中，研究者系统地研究了代码数据对通用大模型性能的影响。论文链接：「预训练中使用的代码数据对代码生成以外的各种下游任务有何影响」。作者对范围广泛的自然语言推理任务、世界知识任

8/22/2024 6:20:00 PM

机器之心

ChatGPT 无法取代人类程序员： IEEE 35 页论文测出困难编码正确率仅为 0.66%

【新智元导读】6 月，IEEE 刊登了一篇对 ChatGPT 代码生成任务进行系统评估的论文，数据集就是程序员们最爱的 LeetCode 题库。研究揭示了 LLM 在代码任务中出现的潜在问题和能力局限，让我们能够对模型做出进一步改进，并逐渐了解使用 ChatGPT 写代码的最佳姿势。有了 ChatGPT，还需要人类程序猿编码吗？上个月，一项发表在 IEEE TSE 期刊（Transactions on Software Engineering）上的研究评估了 ChatGPT 所生成的代码在功能性、复杂性和安全性方面

7/8/2024 4:46:28 PM

清源

Meta 推出 LLM Compiler 代码优化模型，可搭配其他 AI 改善代码生成 / 编译能力

Meta 前天推出了一款名为“LLM Compiler”的模型，该模型基于 Meta 现有的 Code Llama 打造，主打代码优化，目前相关模型已登陆 Hugging Face，提供 70 亿参数及 130 亿参数两个版本，允许学术及商业使用，IT之家附项目地址如下：点此访问。Meta 认为，尽管业界各大语言模型已在各种编程代码任务中展现了出色的能力，但此类模型在代码优化还有进步空间，目前推出的 LLM Compiler 模型便是一款专为优化代码任务设计的预训练模型，能够模拟编译器对代码进行优化，或将“已经过优

6/30/2024 5:47:55 PM

漾仔

Meta 发布基于 Code Llama 的 LLM 编译器：优化代码大小、反汇编

感谢Meta 官方在 X 平台宣布推出 LLM 编译器，这是一个基于 Meta Code Llama 构建的模型家族，具有额外的代码优化和编译器功能。这些模型可以模拟编译器，预测代码大小的最佳传递，并可反汇编代码，可以针对新的优化和编译器任务进行微调。Meta 在 HuggingFace 上公开了 LLM 编译器的 7B 和 13B 模型，采用宽松的许可协议，允许用于研究和商业用途。IT之家附链接：，LLM 在各种软件工程和编码任务中展示其能力，然而在代码和编译器优化领域的应用仍然未被充分探索。为了解决这一问题，M

6/28/2024 1:25:58 PM

沛霖（实习）

为什么要纯C语言手搓GPT-2，Karpathy回应网友质疑

Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编

4/11/2024 3:18:00 PM

机器之心

Gemini 修 bug 神了！录网页视频把代码库甩给它就行，网友想要访问权限

谷歌 Gemini 修改 bug 让网友大开眼界！X 一小伙分享，为测试 Gemini 1.5 Pro，自己在编写一个网页的代码时故意留了 3 个 bug，并分别录制了网页 bug 视频。接着把代码库打包成文件连同视频一起输给了 Gemini 1.5 Pro，提示它找到并修复代码中的所有 bug，且要提供一个简要指南以及所做更改的说明。没想到，Gemini 1.5 Pro 还真就分分钟正确识别并修复了每一个 bug。小伙将这种玩法 po 出来后热度不断攀升，网友们纷纷一键三连，转赞收藏量过万。其本人还在评论区强调，

3/10/2024 2:30:22 PM

清源