数据
o1也会「想太多」?腾讯AI Lab与上海交大揭秘o1模型过度思考问题
本文的共同通讯作者为涂兆鹏和王瑞,涂兆鹏为腾讯专家研究员,研究方向为深度学习和大模型,在国际顶级期刊和会议上发表学术论文一百余篇,引用超过9000次。 担任SCI期刊NeuroComputing副主编,多次担任ACL、EMNLP、ICLR等国际顶级会议领域主席。 王瑞为上海交通大学副教授,研究方向为计算语言学。
1/8/2025 1:08:55 PM
机器之心
奥特曼家里也内讧了!亲妹告他长期虐待,刻意隐瞒遗产;家里其他人联名否认
我去,OpenAI CEO奥特曼的亲妹妹,一纸状书,把她亲哥给告了! 想不到让奥特曼再次陷入舆论危机的矛头,这次居然来自家庭内部,来自小他9岁的妹妹安妮·奥特曼(Annie Altman)。 事态紧急,奥特曼立刻联名母亲和两位弟弟,共同发布回应:不,指控不实。
1/8/2025 11:57:28 AM
量子位
1/10训练数据超越GPT-4o!清华等提出隐式过程奖励模型PRIME,在线刷SOTA
告诉我,我会忘记,教我,我会记住,让我参与,我就能学会。 ——本杰明·富兰克林 打破数据墙,我们还能做些什么? 近日,来自清华UIUC等机构的研究者提出了PRIME(Process Reinforcement through IMplicit REwards):通过隐式奖励来进行过程强化。
1/8/2025 9:00:00 AM
新智元
RTX5090震撼发布,国行16499元起,黄仁勋「美国队长」pose亮翻全场
老黄穿上了新皮衣,拿来了新 GPU。 今天上午,全世界的目光都集中在了拉斯维加斯。 北京时间 1 月 7 日上午 10 点半,英伟达 CEO 黄仁勋在拉斯维加斯 CES 2025 展会上发表了主题演讲(keynote),涉及到的话题包括 GPU、AI、游戏、机器人等等。
1/7/2025 2:00:00 PM
机器之心
手机「自动驾驶」大揭秘!vivo万字综述探讨大模型手机自动化
导言你是否想过,手机能像电影钢铁侠中的智能管家贾维斯那般,一句话就能顺畅自如地完成各种复杂任务。 最近国内外的手机厂商和 AI 公司纷纷发布了手机 AI 智能体相关产品,让曾经的幻想逐渐有了可行性。 vivo 作为行业领跑者,在十月的开发者大会上推出了其手机智能体产品 “PhoneGPT",能帮用户实现一句话点咖啡、订外卖、甚至能够一句话找到最近的私房菜馆并通过 AI 实现电话预定包厢,被网友们称作 “i 人救星”。
1/7/2025 1:22:58 PM
机器之心
陈丹琦团队降本大法又来了:数据砍掉三分之一,性能却完全不减
陈丹琦团队又带着他们的降本大法来了——数据砍掉三分之一,大模型性能却完全不减。 他们引入了元数据,加速了大模型预训练的同时,也不增加单独的计算开销。 在不同模型规模(600M - 8B)和训练数据来源的情况下,均能实现性能方面的提升。
1/7/2025 12:55:00 PM
量子位
AAAI 2025 | IML领域稀疏化视觉Transformer,代码已开源
SparseViT 的主要科研成员来自四川大学吕建成团队,合作方为澳门大学潘治文教授团队。 论文:《Can We Get Rid of Handcrafted Feature Extractors? SparseViT: Nonsemantics-Centered, Parameter-Efficient Image Manipulation Localization through Spare-Coding Transformer》论文链接::,图像处理变得非常方便。
1/7/2025 12:00:00 AM
机器之心
仅需一万块钱!清华团队靠强化学习让 7B模型数学打败GPT-4o
OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力,在基于模仿学习的Scaling Law逐渐受到质疑的今天,基于探索的强化学习有望带来新的Scaling Law。 近日,清华大学NLP实验室、上海AI Lab、清华大学电子系、OpenBMB社区等团队提出一种新的结合过程奖励的强化学习方法——PRIME(Process Reinforcement through IMplicit REwards)。 采用PRIME方法,研究人员不依赖任何蒸馏数据和模仿学习,仅用8张A100,花费一万块钱左右,不到10天时间,就能高效训练出一个数学能力超过 GPT-4o、Llama-3.1-70B的7B模型 Eurus-2-7B-PRIME。
1/6/2025 12:46:16 PM
量子位
你的专属“钢铁侠”助手OS Agents来了!浙大联手OPPO、零一万物等10个机构推出全新综述
电影《钢铁侠》中,托尼·斯塔克的助手贾维斯(J.A.R.V.I.S.)能帮他控制各种系统并自动完成任务,曾让无数观众羡慕不已。 现在,这样的超级智能助手,终于变成现实了! 随着多模态大语言模型的爆发式进化,OS Agents横空出世,它们能无缝操控电脑和手机,为你自动搞定繁琐任务。
1/3/2025 3:44:09 PM
量子位
动物版谷歌翻译来了?Nature:用AI解码野性的呼唤!
每一种动物都有其独特的历史。 来自加拿大Carleton University的鲸鱼生物学家Shane Gero,花了20年时间试图了解鲸鱼是如何交流的。 比如,同一个家族的鲸鱼会发出特定的声音,而不同区域的抹香鲸(Physeter macrocephalus)有自己的「方言」。
1/3/2025 1:00:00 PM
新智元
多模态模型已落地多领域,OpenBayes贝式计算获评「大模型最具潜力创业企业 TOP 10」
缩放定律的放缓带来的技术路径演变在 2024 年的 NeurIPS 会议上,Ilya Sutskever 提出了一系列关于人工智能发展的挑战性观点,尤其集中于 Scaling Law 的观点:「现有的预训练方法将会结束」,这不仅是一次技术的自然演进,也可能标志着对当前「大力出奇迹」方法的根本性质疑。 Ilya 讨论了预训练模型的局限性,预见 AI 系统需要发展出更加接近人类思考方式的推理能力。 他强调,为了突破当前的局限并继续提升 AI 的能力,必须寻找新的训练方法。
1/2/2025 2:20:00 PM
机器之心
全面打破GPT-4垄断、DeepSeek打下训练成本...2024年大模型领域进展全复盘
刚刚过去的 2024 年是生成式 AI 大发展的一年,我们见证了 OpenAI Sora 的崛起,大模型服务价格的飞速下降,以及国内开源大模型的奋起直追。 这全方位的快速发展让我们对下一波 AI 的新技术大规模应用充满了信心。 对于身在 AI 领域的工程师和学者们来说,他们看待这一年的观点会有不同吗?
1/2/2025 1:15:00 PM
机器之心
微软论文意外「走光」,OpenAI参数全泄密!GPT-4o仅200B,o1 300B
谁能想到,微软在一篇医学领域的论文里,竟然把OpenAI模型的参数全「曝光」了! GPT-4参数约1.76万亿GPT-4o参数约2000亿GPT-4o mini参数约80亿o1-preview参数约3000亿o1-mini参数约1000亿Claude 3.5 Sonnet参数约1750亿研究人员:参数均为估算值让所有人难以置信的是,GPT-4o系列的参数如此少,mini版甚至只有8B。 有网友猜测,4o mini是一个大约有40B参数的MoE模型,其中激活参数为8B。
1/2/2025 1:00:00 PM
新智元
ViT作者飞机上也要读的改进版Transformer论文,花2个小时详细批注解读分享出来
ViT核心作者Lucas Beyer,长文分析了一篇改进Transformer架构的论文,引起推荐围观。 他前不久从谷歌跳槽到OpenAI,这次是在飞机上阅读论文并写下了分析。 这篇论文被他简写为DiffTranformer,不过不是Sora底层架构的那个Diffusion Transformer,而是不久前来自微软的Differencial Transformer。
12/31/2024 2:30:00 PM
量子位
AAAI 2025 | 用于韦伯区位问题的去奇异性次梯度方法
暨南大学通用机器学习课题组由网络空间安全学院和信息科学技术学院的多名青年教师、博士生、硕士生和本科生共同组成,研究方向包括通用逼近理论、分布外泛化、非凸优化、稀疏学习、深度学习框架的基础模块开发、优化器开发、隐私保护与增强等。 自 2024 年 4 月至 12 月,课题组作为第一单位已获得所有 CCF A 机器学习国际顶级会议 ICML(2 篇)、NeurIPS 和人工智能国际顶级会议 IJCAI、AAAI 录用论文共 5 篇。 本文第一作者为课题组负责人赖兆荣,通讯作者为博士生李程,其他合作作者为课题组教师吴小天、方良达、陈子良。
12/30/2024 2:00:00 PM
机器之心
港科大开源VideoVAE+,视频重建质量全面超越最新模型
港科大团队重磅开源 VideoVAE ,提出了一种强大的跨模态的视频变分自编码器(Video VAE),通过提出新的时空分离的压缩机制和创新性引入文本指导,实现了对大幅运动视频的高效压缩与精准重建,同时保持很好的时间一致性和运动恢复。 论文地址:: 模型大幅超过最新模型包括英伟达在 2024.11 发布的 Cosmos Tokenizer,同时也超越一众方法包括腾讯在 2024.12 发布的 Hunyuan Video,CogvideoX VAE,WF-VAE,CV-VAE,Open Sora,Open Sora Plan, Easy Animate-VAE。 什么是 VideoVAE 模型VideoVAE 模型(Video Variational Autoencoder)是一种基于深度学习的生成模型,用于对视频数据进行压缩、重建和生成,讲视频从 RGB 像素空间投影到低维度的 latent 空间。
12/30/2024 1:40:00 PM
机器之心
南大周志华:百万模型进入学件基座系统,很多我们没预期过的事也有可能实现 | MEET 2025
大模型时代,全世界AI从业者追赶OpenAI GPT系列的脚步仍未停歇,但也有人,坚持深耕在国产原创的另一条大模型之路上。 南京大学副校长、国际人工智能联合会理事会主席周志华教授,就是其中代表。 他提出的“学件范式”,旨在从数据隐私角度着手,通过模型 规约的方式构建基座系统,让用户的需求能被自动匹配到合适的模型、模型组合上,安全、可靠地复用他人开发的模型工具。
12/30/2024 12:30:00 PM
量子位
低精度只适用于未充分训练的LLM?腾讯提出LLM量化的scaling laws
论文标题:Low-Bit Quantization Favors Undertrained LLMs: Scaling Laws for Quantized LLMs with 100T Training Tokens论文链接:(low-bit quantization)和低比特大语言模型(low-bit LLM)近期受到了广泛的关注,因为有一些研究发现,它们能够以更小的模型规模、更低的内存占用和更少的计算资源,取得与 fp16 或 bf16 精度相当的性能表现。 这一发现让低比特语言模型一度被认为是实现模型高效化的一个非常有前景的方向。 然而,这一观点受到了腾讯 AI Lab 的挑战。
12/30/2024 10:35:00 AM
机器之心
资讯热榜
全新开源的DeepSeek-OCR,可能是最近最惊喜的模型!
告别抽卡!Vidu Q2多图参考生视频功能重磅上线
OpenAI首款ChatGPT浏览器发布!现在就能免费下载使用
刚刚,ChatGPT终于可以走遍整个互联网了!OpenAI深夜炸街:原生ChatGPT集成、即时理解、主动执行,浏览器赛道鲨疯了
OpenAI强化Sora 2保护政策,确保艺人声音与肖像权不被侵犯
Andrej Karpathy评DeepSeek-OCR论文:图像输入可能成为大语言模型新方向
独立开源大佬的疯狂实验:Claude Code蛮力出奇迹!40 分钟跑通 DeepSeek-OCR,我一行代码都没写
谷歌新版Gemini马甲被扒! LMArena实测:唯一能看懂表的AI, GPT-5乱答
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
机器人
数据
大模型
Midjourney
开源
Meta
智能
微软
用户
AI新词
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
LLM
论文
代码
算法
芯片
腾讯
AI for Science
Stable Diffusion
苹果
Agent
Claude
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
人形机器人
研究
AI视频
生成
大语言模型
RAG
百度
具身智能
Sora
工具
GPU
华为
计算
字节跳动
AI设计
搜索
大型语言模型
AGI
视频生成
场景
深度学习
DeepMind
架构
视觉
生成式AI
预测
Transformer
编程
AI模型
伟达
特斯拉
Copilot