AIGC宇宙 AIGC宇宙

Andrej Karpathy

被忽略的起点？Karpathy揭秘最初的注意力论文被Transformer光芒掩盖的故事

被忽略的起点？Karpathy揭秘最初的注意力论文被Transformer光芒掩盖的故事
几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。 其中最值得注意的一个故事是真正首次提出注意力机制的论文其实是 Dzmitry Bahdanau、Kyunghyun Cho 和 Yoshua Bengio 的《Neural Machine Translation by Jointly Learning to Align and Translate》，这比《Attention is All you Need》还早 3 年，但很显然，这篇论文并没有收获后者那般的关注。                             Karpathy 长推文的不完整截图实际上，这个故事来自 Dzmitry Bahdanau 发给 Karpathy 的一封邮件。
12/4/2024 3:51:00 PM
机器之心
Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习

Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习
耽误业界好多年？ 「这是有史以来最大、最令人困惑的研究生涯错误，」Andrej Karpathy 感叹道。 上个周末，OpenAI 创始成员、研究科学家、原特斯拉前 AI 高级总监、AI 领域的大神 Andrej Karpathy 一直在后悔。
11/18/2024 1:30:00 PM
机器之心
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活

五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
论老黄卖铲子的技术含量。2019 年 2 月，OpenAI 发布了 GPT-2，因为在文本生成上的优异表现，以及对于预训练 Transformer 架构的充分运用，被认为是如今大预言模型的「始祖」。五年后的今天，训练 GPT-2 这样 15 亿参数的大模型，只需要花费 672 美元，在一个 8XH100 的 GPU 节点上跑 24 个小时就可以搞定了。本周四，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 在他纯 C 语言复现 GPT-2 大模型的项目「llm.c」的最新
7/12/2024 3:32:00 PM
机器之心
纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了
「Real men program in C.」众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？也许很多人开过这样的脑洞，现在有大佬实现了。今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。GitHub 链接：，立即引发了机器学习社区的热烈讨论，项目的 Star 量不到七个小时就冲上了 2000。有网友表示，
4/9/2024 2:56:00 PM
机器之心
突发！AI大牛Andrej Karpathy离开OpenAI

突发！AI大牛Andrej Karpathy离开OpenAI
Andrej Karpathy 又离职了！刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI离职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的个人项目。Karpathy在官宣离职的推文中写道，「是的，我昨天离开了OpenAI。首先，没发生什么特别的事情，这不是由于任何特定事件、问题或者争议导致的（但请继续提供阴谋论，因为它们确实很有趣 :））。实际上，在过去的大约一年时间里，在OpenAI的经历真的很棒——团队非常强大，人们非常棒，路线图也非常令人兴奋，我认为我们都有
2/15/2024 5:43:00 PM
机器之心
  • 1