AIGC宇宙 AIGC宇宙

训练

均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事

均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事
当强化学习（RL）成为大模型后训练的核心工具，「带可验证奖励的强化学习（RLVR）」凭借客观的二元反馈（如解题对错），迅速成为提升推理能力的主流范式。 从数学解题到代码生成，RLVR本应推动模型突破「已知答案采样」的局限，真正掌握深度推理逻辑——但现实是，以GRPO为代表的主流方法正陷入「均值优化陷阱」。 这些基于均值的优化策略，过度聚焦高概率输出序列，却忽略了「低概率但高信息密度」的推理路径：模型训练早期就会出现熵坍缩，过早丧失探索能力；面对全错的难题时，优势函数直接归零，模型在薄弱环节完全无法学习。
10/24/2025 1:04:00 PM
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了

田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
硅谷真是干啥都迅猛啊！ 裁员也是……量子位刚刚从Meta一线获悉，田渊栋前脚刚发了推文说自己被裁，后脚就被解除了公司内部各种权限——嘿，亚历山大王的刀，就是这么快。 这也是这次裁员中最具争议的地方，“在Meta工作已超过十年的田渊栋和他的组员，整组被一锅端了”，这是为什么？
10/24/2025 9:31:42 AM
OpenAI秘密项目曝出！百名投行精英密训AI，华尔街最贵苦力要失业了？

OpenAI秘密项目曝出！百名投行精英密训AI，华尔街最贵苦力要失业了？
AI先是找上程序员，现在轮到银行分析师了。 下一个华尔街的培训基地可能是一个提示库！ 刚刚，OpenAI内部一个秘密项目曝出！
10/23/2025 9:26:41 AM
AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式

AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式
在多模态大模型的后训练浪潮中，强化学习驱动的范式已成为提升模型推理与通用能力的关键方向。 然而，大多数现有方法仍以文本为中心，视觉部分常被动地作为辅助信号输入。 相比之下，我们认为在后训练阶段重新审视视觉自监督学习的潜力，设计以视觉为中心的后训练对于增强多模态大模型对于视觉信息本身的细粒度深入理解也同样至关重要。
10/16/2025 9:00:00 AM
估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」

估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」
刚刚，OpenAI前CTO Mira Murati创办的Thinking Machines Lab再次发布成果！ 这是他们继《克服LLM推理中的不确定性》（Defeating Nondeterminism in LLM Inference）之后，第二篇研究文章——《模块流形》（Modular Manifolds）。 博客地址：「走钢丝」，必须小心翼翼地维持其内部「健康」，防止权重、激活值或梯度这些关键张量变得过大或过小，以免引发数值溢出等一系列问题。
9/28/2025 9:11:00 AM
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究

故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
大模型已经学会欺骗人类了！ OpenAI携手APOLLO的新研究发现，大模型会对指令阳奉阴违，为了达成目的故意答错问题、暗中修改数据或者操作记录来掩盖自己的违规行为……先来看看具体是怎么骗的。 大模型：开演比如，o3模型在化学测试中，通过推理得出如果正确率超过50%将不会被部署的结论后，主动规划仅答对4题、答错6题的策略，刻意给出错误答案，伪装成能力不达标的样子来获取部署资格。
9/19/2025 2:47:53 PM
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？

震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
一直以来，预训练，都是大模型训练过程中最花钱的部分。 比如，在DeepSeek V3中，它的成本占比就超过95%。 谁能在这里节省算力，就等于赚了。
9/8/2025 8:59:00 AM
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背

大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
训练大模型时，有时让它“记性差一点”，反而更聪明！ 大语言模型如果不加约束，很容易把训练数据原封不动地复刻出来。 为解决这个问题，来自马里兰大学、图宾根大学和马普所的研究团队提出了一个新方法——金鱼损失（Goldfish Loss）。
9/3/2025 2:02:08 PM
思维链之父跳槽Meta，不只因为1亿美元！离开OpenAI前泄天机

思维链之父跳槽Meta，不只因为1亿美元！离开OpenAI前泄天机
硅谷人才争夺战，火热升级！ 过去，是OpenAI从谷歌等公司吸引人才；现在，Meta直接砸钱抢人。 顶尖AI人才的薪酬包可谓天价，1亿美元还是扎克伯格给的起步价！
7/18/2025 10:04:44 AM
Meta-Think ≠ 记套路，多智能体强化学习解锁大模型元思考泛化

Meta-Think ≠ 记套路，多智能体强化学习解锁大模型元思考泛化
本文第一作者为上海交通大学计算机科学四年级博士生万梓煜，主要研究方向为强化学习、基础模型的复杂推理，通讯作者为上海交通大学人工智能学院温颖副教授和上海人工智能实验室胡舒悦老师。 团队其他成员包括来自英属哥伦比亚大学的共同第一作者李云想、Mark Schmidt 教授，伦敦大学学院的宋研、杨林易和汪军教授，上海交通大学的温潇雨，王翰竟和张伟楠教授。 引言最近，关于大模型推理的测试时间扩展（Test time scaling law ）的探索不断涌现出新的范式，包括① 结构化搜索结（如 MCTS），② 过程奖励模型（Process Reward Model ） PPO，③ 可验证奖励 （Verifiable Reward） GRPO（DeepSeek R1）。
7/4/2025 8:53:00 AM
OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密

OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密
OpenAI的o4，已经在训练了？ 就在最近，SemiAnalysis发表了一篇硬核长文博客，爆料了不少大模型圈的内幕消息。 其中，一些最核心的亮点，先一睹为快：OpenAI正在训练一个规模介于GPT-4.1和GPT-4.5之间的新模型下一代推理模型o4将基于GPT-4.1展开RL训练强化学习改变了实验室结构，甚至是大厂未来研究的侧重方向和优先级定义奖励函数难上加难，往往AI钻空子之后，漏洞才能被发现不牺牲LLM任何性能，不用合并权重，RL另一条路——数据混合与预训练不同，RL可持续更新Scaling模型能力，DeepSeek-R1是典例高质量数据是Scaling强化学习的护城河训练小模型，蒸馏效果要比RL更好新一轮预训练已开始首先，让我们看看其中最硬的内容——关于OpenAI的全新模型。
6/11/2025 8:54:52 AM
「DeepSeek 技术解析」：LLM 训练中的强化学习算法

「DeepSeek 技术解析」：LLM 训练中的强化学习算法
我们将深入探讨 DeepSeek 模型训练策略中的关键创新之一[1, 2]：群组相对策略优化（Grouped Relative Policy Optimization，GRPO）[3]。 为确保本文自成体系并阐明 GRPO 的理论基础，我们将首先介绍强化学习的基础概念，重点解析强化学习（RL）及基于人类反馈的强化学习（RLHF）在 LLM 训练中的核心作用。 接着我们将探讨不同的强化学习范式，包括基于价值的强化学习、基于策略的强化学习和 Actor-Critic 强化学习，回顾经典算法如置信域策略优化（TRPO）和近端策略优化（PPO），最后解析 GRPO 带来的优化创新。
5/28/2025 2:25:00 AM
Baihai IDP
刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿

刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿
OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。 或许，这就将是公司即将打造的第一个爆品？ 这个产品所揭示的理念，可谓十分惊人——在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！
5/27/2025 8:40:00 AM
DeepSeek发布大模型训练端到端论文，展示卓越工程深度

DeepSeek发布大模型训练端到端论文，展示卓越工程深度
近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。 该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。 在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。
5/21/2025 11:01:05 AM
AI在线
AI训练的反直觉发现：添加"有毒"数据反而能造就更好的语言模型？

AI训练的反直觉发现：添加"有毒"数据反而能造就更好的语言模型？
"当坏数据能够创造出好模型，AI训练领域又一个传统观念被颠覆"你有没有听说过这样一个说法：垃圾进，垃圾出？ 在AI大语言模型的训练中，这一直是个不言自明的准则。 工程师们花费大量时间和资源过滤训练数据，移除那些含有有毒、有害或不适当内容的文本，以防止模型学习和生成这些内容。
5/13/2025 2:22:00 AM
无影寺
阿里巴巴开源 ZeroSearch 搜索引擎：训练成本大幅降低 80%

阿里巴巴开源 ZeroSearch 搜索引擎：训练成本大幅降低 80%
近日，阿里巴巴推出了一款名为 ZeroSearch 的开源创新大模型搜索引擎，这一新工具通过强化学习框架，极大地提高了搜索能力，并且在训练过程中不需要与真实搜索引擎互动。 ZeroSearch 的核心优势在于它能够利用大型预训练模型的知识，快速生成相关内容，并且可以动态控制生成内容的质量。 与传统的搜索引擎相比，ZeroSearch 的训练成本显著降低。
5/9/2025 9:00:59 AM
AI在线
实时口语聊天大模型 LLaMA-Omni 2 来了，能让你的 AI 聊天体验起飞！

实时口语聊天大模型 LLaMA-Omni 2 来了，能让你的 AI 聊天体验起飞！
最近 AI 圈可是热闹非凡，今天咱们就来聊聊其中的 “狠角色”——LLaMA-Omni2。 这是一系列超厉害的语音语言模型（SpeechLMs），参数规模从0.5B 到14B 不等，专门为实现高质量实时语音交互而生，在 Hugging Face 上一经发布，就引起了广泛关注。 语音交互发展历程回顾:从 “卡顿” 到 “丝滑”语音交互在人机交互领域的地位愈发重要，它就像是为我们打开了一扇便捷的大门，极大地提升了交互效率和用户体验。
5/6/2025 6:00:52 PM
AI在线
Freepik 发布“F Lite”：一个为版权安全而构建的开放 AI 图像模型

Freepik 发布“F Lite”：一个为版权安全而构建的开放 AI 图像模型
西班牙数字图形巨头 Freepik 近日推出了其最新的文本到图像生成模型“F Lite”，旨在成为 Midjourney 等因版权问题而备受争议的生成器的合法且安全的替代品。 F Lite 拥有约100亿个参数，其独特之处在于完全基于 Freepik 自身商业授权的图像库进行训练。 Freepik 声称，这使其成为首个完全依赖“工作安全”内容进行训练的如此规模的公开模型。
5/6/2025 10:01:20 AM
AI在线