AIGC宇宙 AIGC宇宙

预训练“卡壳”:SemiAnalysis 爆料 OpenAI 连续两年半未跑通新前沿大模型

据 SemiAnalysis 最新报告,自2024年5月 GPT-4o 发布以来,OpenAI 尚未完成任何一次“面向下一代前沿模型”的大规模预训练部署,其顶尖团队多次尝试扩展参数与数据规模,均因收敛困难或性能倒挂而中途叫停。 这导致被外界寄予厚望的 GPT-5系列实质上仍是 GPT-4o 的优化变体,未能实现架构级突破。 与此同时,谷歌 TPUv7已在 Gemini3等模型上完成大规模预训练验证,同等算力集群的总体拥有成本(TCO)比英伟达方案低约30%。

据 SemiAnalysis 最新报告,自2024年5月 GPT-4o 发布以来,OpenAI 尚未完成任何一次“面向下一代前沿模型”的大规模预训练部署,其顶尖团队多次尝试扩展参数与数据规模,均因收敛困难或性能倒挂而中途叫停。这导致被外界寄予厚望的 GPT-5系列实质上仍是 GPT-4o 的优化变体,未能实现架构级突破。

与此同时,谷歌 TPUv7已在 Gemini3等模型上完成大规模预训练验证,同等算力集群的总体拥有成本(TCO)比英伟达方案低约30%。SemiAnalysis 指出,OpenAI 甚至“尚未真正部署 TPU”,仅传出评估消息,就迫使英伟达在现有 GPU 集群报价上让步,为 OpenAI 节省约三成成本——侧面凸显 TPU 的性价比优势。

行业观点认为,预训练 Scaling 定律正遭遇数据、算力与模型配方三重瓶颈:优质互联网数据接近枯竭,合成数据成本高达1亿美元/1TB,十万卡集群故障频发,更大规模 MoE 的超参数亦难摸索。OpenAI 的停滞被视为整个赛道进入“后 Scaling 时代”的标志性信号,各家开始转向推理模型、自博弈 RL 与多模态后训练寻求增量突破。

相关资讯

自有歪果仁为DeepSeek「辩经」:揭穿围绕DeepSeek的谣言

围绕 DeepSeek 的谣言实在太多了。 面对 DeepSeek R1 这个似乎「一夜之间」出现的先进大模型,全世界已经陷入了没日没夜的大讨论。 从它的模型能力是否真的先进,到是不是真的只用了 550W 进行训练,再到神秘的研究团队,每个角度都是话题。
2/5/2025 2:37:00 PM
机器之心

程序员购买OGOpenAI.com域名转向DeepSeek

最近,一名软件工程师以 “不到一顿 Chipotle 餐的价格” 购买了 OGOpenAI.com 域名,并将其重定向至中国人工智能实验室 DeepSeek 的网站。 该实验室在开源 AI 领域崭露头角,吸引了广泛的关注。 据软件工程师阿纳奈・阿罗拉(Ananay Arora)向《TechCrunch》透露,他的初衷是为了支持 DeepSeek,因为该实验室最近推出了一款名为 DeepSeek-R1的开放版本模型,声称在某些基准测试中表现优于 OpenAI 的 o1。
1/23/2025 4:32:00 PM
AI在线

腾讯云上线DeepSeek全系API接口并打通联网搜索

腾讯云宣布完成对深度求索(DeepSeek)大模型的深度整合——正式上线DeepSeek-R1和V3原版模型的API接口,并创新性接入自研大模型知识引擎,同步开放联网搜索能力。 凭借腾讯云在推理并发和生成速率等方面的优化,用户可以获得更加稳定、安全、低门槛的使用体验。 开发者只需在云上简单三步即可实现API接口调用,并通过大模型知识引擎提供的文档解析、拆分、embedding、多轮改写等能力,灵活构建专属的AI服务。
2/8/2025 2:09:00 PM
AI在线
testab