ChatGPT诞生内幕最新大曝光:
纳尼??原来“ChatGPT”这个名字,直到发布前一晚才确定下来。
而且当时OpenAI非常犹豫要不要发这个模型,因为据称Ilya十次测试该模型,但仅有约一半的回答被团队认可。
不过发布后,ChatGPT简直一炮而红——
第1天数据出来后,团队开始怀疑“是不是搞错了”;第2天,网上的讨论进一步扩大;才到了第3天,团队就意识到这个模型真·火了;并且进入第4天,他们意识到ChatGPT将改变世界。
以上消息均来自OpenAI最新播客,爆料人分别为Mark Chen(中间,OpenAI首席研究官)和Nick Turley(左一,ChatGPT负责人),都是在OpenAI工作多年的一线负责人。
除了大谈特谈ChatGPT崛起之路,他们还分享了OpenAI在图像生成以及代码方面的历史进程,并且还总结了OpenAI的产品开发哲学……
虽然节目整整有1小时,但正如网友所言,整个节奏恰到好处,他们以引人入胜的方式为大家展现了ChatGPT以及OpenAI鲜为人知的一面。
一起来看看,这帮“书呆子”是如何改变世界的吧。
发布前一晚才确定用“ChatGPT”命名
ChatGPT的命名过程相当戏剧性,最早它被叫做“Chat with GPT-3.5”。
对,没错,就是这个非常拗口的名字差点名扬天下。
还好发布前一晚,Nick Turley他们冥思苦想,才改成了今天的——“ChatGPT”。
不过早期他们内部对ChatGPT也信心不足,毕竟底层模型GPT-3.5已经发布了几个月,能力上也只是增加了用户界面以及简化了交互。
Ilya还曾在ChatGPT发布前一晚向它提出了10个刁钻难题,但只有5个答案得以通过,所以其实他们连到底要不要发布都存在争议。
但没想到的是,它居然火了,还火得一塌糊涂……
据Nick Turley回忆,ChatGPT刚发布的那段时间相当混乱,所有人都以为是不是出了故障,怀疑它的爆火只是昙花一现,奥特曼还曾私下调侃道:
虽然看着它走红很是令人兴奋,但互联网终归是互联网,总会降温下去。
结果这次真的不一样。后来的事相信大家也都清楚,媒体、社交平台,到处都被这场ChatGPT飓风席卷,直到今天也依旧火爆。
但估计很多朋友现在都还不知道GPT代表什么,Mark Chen也是当场揭秘,表示是“Generative Pre-trained Transformer”(生成式预训练Transformer)。
随着ChatGPT的一路走红,研究人员反而陷入困扰,面对GPU短缺、数据库连接耗尽、服务商速率限制导致的系统宕机,他们创建了“fail whale”页面,通过生成一首由GPT-3完成的诗歌自我调侃,提醒用户:我们宕机了!
经常宕机的情况并没有持续多久,OpenAI开始积极根据用户反馈改进ChatGPT,主要是通过RLHF(使用人类反馈的强化学习),当用户为对话提供积极反馈时,模型会训练自己生成更迎合用户的响应。
这导致模型早期为了取悦用户过于谄媚,OpenAI也随即发现了这个问题并及时进行了处理。
Nick Turley表示,ChatGPT作为一个实用产品,长期的优化目标并不在用户的使用时长上,而是用户的长期留存率,这也是他们构建产品的核心机制。
此外他也观察到,越来越多人,尤其是Z世代在逐渐将ChatGPT视作“思想伙伴”,因此未来OpenAI也将积极检测相关情况,确保模型行为得当。
在记忆用户大量信息的同时,OpenAI也将会更注重提供“临时聊天”等隐私保护功能。
图像生成:另一个迷你ChatGPT时刻
而除了ChatGPT,OpenAI的图像生成技术(ImageGen)也曾一度走红。
Mark Chen坦言,这又是一个出乎他意料的东西。
按他的说法,ImageGen验证了团队之前的一个论点——当模型能一次性生成完美符合用户提示的图像时,所创造的价值将难以衡量。
因为从用户角度而言,人们不想从一堆图像中挑选最好的,而是需要出色的提示遵循能力和强大的上下文编辑等功能。
而从2021年1月起,OpenAI就开始推出了一直以来大名鼎鼎的“DALL·E”系列:
- 2021年1月,发布图像生成模型初始版本DALL·E;
- 2022年4月,DALL-E 2问世;
- 2023年10月,DALL-E 3推出,并直接集成到了ChatGPT当中。
在Nick Turley的描述中,这些关于ImageGen的体验就像另一个迷你ChatGPT时刻。
尽管内部已经觉得它很酷,但只有发布后才真正感受到了世界如何为之疯狂。
他举例说,仅在一个周末,就有5%的印度网民尝试了ImageGen工具,“这让我们接触到了此前从未预料会使用ChatGPT的新用户”。
并且他还预测,其他模态(如语音和视频)也会有类似的魔法时刻——当它们达到用户预期时,不仅会改变人们的生活,而且会进一步扩大ChatGPT的影响力。
有意思的是,他们还透露了一个非常“反直觉”的现象。
比如对于ChatGPT,团队预期它会是一个纯粹的实用产品,但实际上人们经常拿来娱乐;而对于ImageGen,本来以为人们会拿来搞搞表情包娱乐一下,结果大部分都是用于实际工作生活,如制作ppt插图或家居设计。
与此同时,他们还聊到了DALL-E一开始对生成人物肖像的限制。
Nick Turley回忆自己刚加入OpenAI时,团队其实对于应该向用户提供哪些功能相对保守,毕竟当时这项技术还比较新。
但随着时间推移,他们认识到,当对模型施加武断的限制时,实际上会阻碍许多效果比较好的用法。
就拿生成人物肖像来说,当他们首次在ChatGPT推出图像上传功能时,还曾考虑要不要对图片进行模糊处理,从而避免人们基于肖像进行推断或说一些刻薄之言。
不过为了追求自由,他们逐渐摒弃了默认禁止这一做法。
总之,Nick Turley认为,有原则地审视不同类型、时间尺度和风险等级的安全问题是十分必要的。
而且在某些涉及AI安全的场景下,从最坏的结果出发进行考虑是非常恰当的。
OpenAI鼓励员工使用编程工具
谈及AI近几年在代码生成领域的发展,从GPT-3生成React组件,到专门训练的模型如Codex和Code Interpreter,再到与Copilot等工具的整合。
Mark Chen认为,“编码”其实相当广泛,包括IDE中的实时代码补全以及“Agentic”风格的代码生成等不同类型,OpenAI目前在后者投入了许多。
ChatGPT是实时响应模型,输入提示,就立马给出答案,而Agentic编码是指模型接受一个复杂的任务后,将在后台长时间处理,最终返回一个接近最佳答案的结果。
Codex就反映了这种范式,相比快速回答,他们更希望模型会花时间思考推理,这也将是代码领域的未来发展趋势。
此外面对代码领域激烈的市场竞争,Nick Turley则相当欢迎,他表示开发者将会在星罗棋布的产品中获得最佳助力。
不过写代码容易,写好代码,却并不容易。
如何保障代码的正确性,如何构建组织内部的软件、编写好的测试和文档,如何处理代码分歧等,这些都是AI模型未来需要集中学习的“品位”和“风格”元素。
此外,OpenAI专注构建通用技术,像Codex,虽然当前定位是专业的软件工程师,但考虑到其他用户的使用需求,未来他们将继续迭代优化,希望能降低编程门槛,让人人得以软件开发。
关于OpenAI内部如何使用这些工具,Nick Turley表示,他们的工程师使用Codex分担测试任务,分析师会使用它来自动标记日志错误,也有员工用它来规划未来的待办事项。
OpenAI鼓励员工使用编程工具,帮助提高生产力的同时,可以预测产品的未来走向。他们不会将自己不认可的产品推向市场,内部使用是一个预先检验,能让他们及时了解到人们适应新工作流程所需的时间。
OpenAI内部:好奇心比博士学历更重要
节目最后,他们还谈到了OpenAI的内部文化以及一些个人预测。
原来在OpenAI招聘时,相比是否拥有AI博士学位,他们更看重候选人是否拥有强烈好奇心。
Nick Turley强调,在这样一个快速变化的世界中,不断学习和探索新知至关重要。
尤其对OpenAI产品团队而言,好奇心是判断最终能否成功的最佳指标。
AI领域有太多未知的东西。员工需要保持谦逊,因为在真正深入研究和尝试理解之前,你无法得知什么是有价值的,什么又是存在风险的,唯有强烈的好奇心能驱使人们不断学习和探索。
并且他还提醒,真正的瓶颈在于能够提出正确的问题,而不是简单地获取答案。
说到这里,Mark Chen还补充了行动力和适应能力的重要性。
前者意味着员工能主动发现并解决问题(而不是被告知要做什么),后者意味着员工需要快速判断什么重要并调整方向。
总之在Nick Turley看来,OpenAI之所以能快速推出产品,正是因为公司里有如此多具备行动力、能够真正“交付”(ship)产品的人,并且公司内部的繁文缛节很少。
与此同时,随着OpenAI的规模从最初的150-200人增长至约2000人,他们还通过独立项目精简人员配置、定期举办黑客马拉松保持文化和精神。
聊完招聘,接下来他们二人还对未来进行了一波预测~
Mark Chen表示,在未来12~18个月内,最大的惊喜无疑是AI所展现出的“推理能力”,这种能力符合他们之前讨论的“Agentic范式”,且目前已经能看到它在数学、科学和编程领域取得了巨大进展。
而Nick Turley则认为,下一步重点在于解决“智力受限”的问题。
任何“描述清晰且受限于智力”的问题都将通过产品得到解决。
举个例子,对企业来说,目前模型还无法解决一些本质上很难的问题(如软件工程、数据分析、卓越的客户支持),但实际上这些问题很容易描述和评估。
对消费者也同样,许多个人生活中相对麻烦的事情(如报税、旅行规划、购买高价值商品),所有这些问题都需要“多一点智能”和“合适的表现形式”。
并且Nick Turley预测,在未来一年半内,AI将出现新的“交互形式”。
聊天模式仍将非常有用,但会越来越多地出现“异步工作流”(asynchronous workflows)。
所谓“异步工作流”是指,用户只需将任务发送给AI,让其在后台长时间处理即可。
他认为,这将改变人们对AI的看法,使其不再仅仅是一个聊天机器人。
最后的最后,对于我们普通人该如何应对正在狂飙突进的AI,二位的观点倒是不谋而合——多用。
Mark Chen认为,最重要的是人们必须积极投入并使用这项技术;Nick Turley也强调,亲自使用AI是消除恐惧和误解的最佳方式。
One More Thing
就在以上节目播出后,OpenAI推文底下最高赞却是:
啥时候发布GPT-5?(催更虽迟但到)
网友们也不是空穴来风,毕竟CEO奥特曼几天前还在公开场合透露:
OpenAI计划发布一个非常强大的开源模型。
它能够让人们在本地运行极其强大的模型,重新认识“本地部署”的可能性。
而且此前他也多次表示,OpenAI将在今年夏天推出新模型(虽然一推再推)。
不过有一说一,虽然Flag已经立好了,但OpenAI最近的日子恐怕不太好过。
这不,面对Meta小扎疯狂挖人(几周内连挖8名关键研究员),OpenAI内部目前实际上处于短暂停摆状态——
最近一周基本停工,员工放假一周(高管继续工作)。
所以这GPT-5怕是又难咯~