AIGC宇宙 AIGC宇宙

GPU

DeepSeek新模型被硅谷夸疯了！用二维视觉压缩一维文字，单GPU能跑，“谷歌核心机密被开源”

DeepSeek新模型被硅谷夸疯了！用二维视觉压缩一维文字，单GPU能跑，“谷歌核心机密被开源”
DeepSeek最新开源的模型，已经被硅谷夸疯了！ 因为实在太DeepSeek了。 3B规模、指数级效能变革、大道至简，甚至被认为把谷歌Gemini严防死守的商业机密开源了。
10/21/2025 8:03:21 AM
前董事长罕见曝OpenAI的“痛苦与困境”：我们正走向计算稀缺世界！内部GPU分配如玩俄罗斯方块，Sora2实为被削弱的原始模型

前董事长罕见曝OpenAI的“痛苦与困境”：我们正走向计算稀缺世界！内部GPU分配如玩俄罗斯方块，Sora2实为被削弱的原始模型
编辑 | 听雨“我们正走向一个计算极度稀缺的世界，而能源将是下一个巨大的瓶颈。 ”“未来，所有的授权都会变成‘角色扮演’授权。 ”“我们希望能建立可以自主思考一年、甚至十年的AI。
10/14/2025 2:43:11 PM
听雨
刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈

刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈
过去一年，OpenAI在算力上斥资70亿美元。 其中，大模型研发占了最大头——50亿美元，而推理计算仅用了20亿美元。 图片可见，LLM训练正吞噬无尽的算力，这也是OpenAI最近一直在大举扩展超算建设与合作的重要原因。
10/11/2025 10:34:49 AM
新智元
如何在 LLM 推理中战胜不确定性

如何在 LLM 推理中战胜不确定性
最近thinkingmachines的一篇博文在内外网引起了无数的关注和转载，这篇文章的核心内容先是解释了一下为什么LLM推理会有不确定性，随后文章还给出了具体的解决方案。 在详细介绍文章的内容之前，我们先来说一下thinkingmachines这家公司。 它是由前OpenAI首席技术官Mira Murati与多位前OpenAI高管联合创立。
9/28/2025 1:25:00 AM
技不辱你
​报道称：OpenAI 与博通合作开发自家 AI 芯片，明年开始量产

​报道称：OpenAI 与博通合作开发自家 AI 芯片，明年开始量产
OpenAI 正在与美国芯片制造商博通合作，计划在明年推出自家的人工智能（AI）芯片。 这一举动是 OpenAI 在行业内寻求独立于第三方半导体公司的重要一步。 根据《金融时报》的报道，这款新型图形处理单元(GPU)将专门用于 OpenAI 的内部用途，而不会对外销售。
9/9/2025 11:15:23 AM
AI在线
刚刚，Ilya官宣出任SSI CEO！送走「叛徒」联创，豪言不缺GPU

刚刚，Ilya官宣出任SSI CEO！送走「叛徒」联创，豪言不缺GPU
小扎到处挖人的举动，不仅是惹恼了奥特曼，连Ilya都忍无可忍，被炸出来了！ 就在刚刚，消失许久的Ilya忽然现身X。 他发文表示，自己已亲自挂帅「安全超级智能」（SSI）的CEO。
7/4/2025 8:33:30 AM
新智元
免费GPU算力部署DeepSeek-R1 32B

免费GPU算力部署DeepSeek-R1 32B
前言DeepSeek-R1发布最新版本DeepSeek-R1-0528，显著提升了模型的思维深度与推理能力，在数学、编程与通用逻辑等多个基准测评中取得了当前国内所有模型中首屈一指的优异成绩，并且在整体表现上已接近其他国际顶尖模型，如 o3 与 Gemini-2.5-Pro。 另外，API接口还增加了Function Calling和JsonOutput 的支持。 DeepSeek-R1团队已经证明，大模型的推理模式可以蒸馏到小模型中，与通过强化学习在小模型上发现的推理模式相比，性能更优。
6/12/2025 9:48:27 AM
DeepSeek开源周第六天：极致推理优化系统，提高GPU计算效率

DeepSeek开源周第六天：极致推理优化系统，提高GPU计算效率
在人工智能（AI）技术快速发展的今天，DeepSeek 团队推出了其全新的 DeepSeek-V3/R1推理系统。 这一系统旨在通过更高的吞吐量和更低的延迟，推动 AGI(通用人工智能)的高效发展。 为了实现这一目标，DeepSeek 采用了跨节点专家并行(Expert Parallelism，EP)技术，显著提高了 GPU 的计算效率，并在降低延迟的同时，扩展了批处理规模。
3/3/2025 9:45:00 AM
AI在线
尴尬！OpenAI CEO称内部GPU短缺，GPT-4.5发布将分阶段进行

尴尬！OpenAI CEO称内部GPU短缺，GPT-4.5发布将分阶段进行
日前，，OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）在社交平台 X 上宣布，因公司 GPU 资源耗尽，最新模型 GPT-4.5的发布将被迫采取分阶段的方式。 阿尔特曼表示，GPT-4.5的规模巨大且成本高昂，因此需要 “成千上万” 的 GPU 才能支持更多的 ChatGPT 用户接入该模型。 据悉，GPT-4.5将首先向 ChatGPT Pro 的订阅用户开放，预计于本周四启动。
2/28/2025 9:03:00 AM
AI在线
没有数据、没有GPU的情况下怎么训练DeepSeek

没有数据、没有GPU的情况下怎么训练DeepSeek
春节期间，AI 界热闹非凡，到处都是关于 DeepSeek 的报道。 大家都知道，训练好的模型通常需要昂贵的专用 GPU，这对很多想试试微调技术的人来说，真是一道门槛。 好消息来了：你完全可以用免费的 Google Colab Notebook 来实现微调。
2/13/2025 9:45:31 AM
MobotStone
扎克伯格表示，2025年底Meta将拥有130万个用于AI的GPU

扎克伯格表示，2025年底Meta将拥有130万个用于AI的GPU
Meta 首席执行官马克・扎克伯格在最近的一篇 Facebook 帖子中宣布，公司计划在2025年大幅提升资本支出，旨在在激烈的人工智能竞争中保持领先地位。 扎克伯格表示，Meta 预计在2025年的资本支出将达到600亿到800亿美元，主要用于数据中心建设和扩充 AI 开发团队。 这一预算范围几乎是 Meta 去年350亿到400亿美元支出的两倍。
1/25/2025 10:26:00 AM
AI在线
英伟达年终核弹！全新B300为o1推理大模型打造，RTX5090也曝光了

英伟达年终核弹！全新B300为o1推理大模型打造，RTX5090也曝光了
英伟达老黄，成了今年的圣诞老黄。 AI芯片大礼包刚刚曝光：GPU新核弹B300，以及附带CPU的超级芯片GB300。 高算力，在产品层面上相比B200在FLOPS上提高50%大显存，从192GB提升到288GB，也是提高了50%。
12/26/2024 11:45:48 AM
Meta 构建分布式 RoCEv2 网络：探索串联数万片 GPU，训练千亿参数级 AI 模型

Meta 构建分布式 RoCEv2 网络：探索串联数万片 GPU，训练千亿参数级 AI 模型
Meta 公司于 8 月 5 日发布博文，表示为了满足大规模分布式 AI 训练对网络的需求，构建了基于 RoCEv2 协议的大规模 AI 网络。RoCEv2 的全称是 RDMA Over Converged Ethernet version 2，是一种节点间通信传输方式，用于大部分人工智能容量。Meta 公司已成功扩展了 RoCE 网络，从原型发展到部署了众多集群，每个集群可容纳数千个 GPU。这些 RoCE 集群支持广泛的生产型分布式 GPU 训练工作，包括排名、内容推荐、内容理解、自然语言处理和 GenAI 模
8/7/2024 7:35:32 AM
故渊
小扎自曝砸重金训 Meta Llama 4 模型：24 万块 GPU 齐发力，预计 2025 年发布

小扎自曝砸重金训 Meta Llama 4 模型：24 万块 GPU 齐发力，预计 2025 年发布
Llama 3.1 刚发布不久，Llama 4 已完全投入训练中。这几天，小扎在二季度财报会上称，Meta 将用 Llama 3 的十倍计算量，训练下一代多模态 Llama 4，预计在 2025 年发布。这笔账单，老黄又成为最大赢家十倍计算量，是什么概念？要知道，Llama 3 是在两个拥有 24,000 块 GPU 集群完成训练。也就是说，Llama 4 训练要用 24 万块 GPU。那么，Meta 存货还够不够？还记得小扎曾在年初宣布，计划到年底要部署 35 万块英伟达 H100。他还透露了更多的细节，Meta
8/5/2024 1:30:22 PM
汪淼
Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量

Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量
每 3 个小时 1 次、平均 1 天 8 次，Llama 3.1 405B 预训练老出故障，H100 是罪魁祸首？最近有人从 Meta 发布的 92 页超长 Llama 3.1 论文中发现了华点：Llama 3.1 在为期 54 天的预训练期间，经历了共 466 次任务中断。其中只有 47 次是计划内的，419 次纯属意外，意外中 78% 已确认或怀疑是硬件问题导致。而且 GPU 问题最严重，占了 58.7%。Llama 3.1 405 模型是在一个含 16384 块 Nvidia H100 80GB GPU 集群
7/29/2024 5:54:34 PM
清源
13瓦功耗处理10亿参数，接近大脑效率，消除LLM中的矩阵乘法来颠覆AI现状

13瓦功耗处理10亿参数，接近大脑效率，消除LLM中的矩阵乘法来颠覆AI现状
编辑 | 萝卜皮通常，矩阵乘法 (MatMul) 在大型语言模型（LLM）总体计算成本中占据主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这方面的成本只会增加。加州大学、LuxiTech 和苏州大学的研究人员声称开发出一种新方法，通过消除过程中的矩阵乘法来更有效地运行人工智能语言模型。这从根本上重新设计了目前由 GPU 芯片加速的神经网络操作方式。研究人员描述了如何在不使用 MatMul 的情况下创建一个自定义的 27 亿参数模型，性能与当前最先进的 Transformer 模型相当。该研究以「Scal
7/4/2024 3:42:00 PM
ScienceAI
Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源

Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源
跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具，用于增强 GPU 通信并减少 LLM 训练中的内存使用量，与 FSDP 相比，其训练速度提升最高可达 26%，具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献，将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目
6/11/2024 5:18:00 PM
新闻助手
「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑

「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
Karpathy：中肯的，一针见血的。如何在不到一年的时间里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提，掌握核心算法是关键，但实际上，工程实践中冒出来的挑战，也实在令人头疼。一年前，乘着大模型的热潮，Yi Tay 离开了工作 3 年多的谷歌，参与创办了一家名为 Reka 的公司并担任首席科学家，主攻大型语言模型。在谷歌时，Yi T
3/7/2024 3:14:00 PM
机器之心