训练

Meta-Think ≠ 记套路，多智能体强化学习解锁大模型元思考泛化

本文第一作者为上海交通大学计算机科学四年级博士生万梓煜，主要研究方向为强化学习、基础模型的复杂推理，通讯作者为上海交通大学人工智能学院温颖副教授和上海人工智能实验室胡舒悦老师。团队其他成员包括来自英属哥伦比亚大学的共同第一作者李云想、Mark Schmidt 教授，伦敦大学学院的宋研、杨林易和汪军教授，上海交通大学的温潇雨，王翰竟和张伟楠教授。引言最近，关于大模型推理的测试时间扩展（Test time scaling law ）的探索不断涌现出新的范式，包括① 结构化搜索结（如 MCTS），② 过程奖励模型（Process Reward Model ） PPO，③ 可验证奖励（Verifiable Reward） GRPO（DeepSeek R1）。

7/4/2025 8:53:00 AM

OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密

OpenAI的o4，已经在训练了？就在最近，SemiAnalysis发表了一篇硬核长文博客，爆料了不少大模型圈的内幕消息。其中，一些最核心的亮点，先一睹为快：OpenAI正在训练一个规模介于GPT-4.1和GPT-4.5之间的新模型下一代推理模型o4将基于GPT-4.1展开RL训练强化学习改变了实验室结构，甚至是大厂未来研究的侧重方向和优先级定义奖励函数难上加难，往往AI钻空子之后，漏洞才能被发现不牺牲LLM任何性能，不用合并权重，RL另一条路——数据混合与预训练不同，RL可持续更新Scaling模型能力，DeepSeek-R1是典例高质量数据是Scaling强化学习的护城河训练小模型，蒸馏效果要比RL更好新一轮预训练已开始首先，让我们看看其中最硬的内容——关于OpenAI的全新模型。

6/11/2025 8:54:52 AM

「DeepSeek 技术解析」：LLM 训练中的强化学习算法

我们将深入探讨 DeepSeek 模型训练策略中的关键创新之一[1, 2]：群组相对策略优化（Grouped Relative Policy Optimization，GRPO）[3]。为确保本文自成体系并阐明 GRPO 的理论基础，我们将首先介绍强化学习的基础概念，重点解析强化学习（RL）及基于人类反馈的强化学习（RLHF）在 LLM 训练中的核心作用。接着我们将探讨不同的强化学习范式，包括基于价值的强化学习、基于策略的强化学习和 Actor-Critic 强化学习，回顾经典算法如置信域策略优化（TRPO）和近端策略优化（PPO），最后解析 GRPO 带来的优化创新。

5/28/2025 2:25:00 AM

Baihai IDP

刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿

OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。或许，这就将是公司即将打造的第一个爆品？这个产品所揭示的理念，可谓十分惊人——在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！

5/27/2025 8:40:00 AM

DeepSeek发布大模型训练端到端论文，展示卓越工程深度

近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。

5/21/2025 11:01:05 AM

AI在线

AI训练的反直觉发现：添加"有毒"数据反而能造就更好的语言模型？

"当坏数据能够创造出好模型，AI训练领域又一个传统观念被颠覆"你有没有听说过这样一个说法：垃圾进，垃圾出？在AI大语言模型的训练中，这一直是个不言自明的准则。工程师们花费大量时间和资源过滤训练数据，移除那些含有有毒、有害或不适当内容的文本，以防止模型学习和生成这些内容。

5/13/2025 2:22:00 AM

无影寺

阿里巴巴开源 ZeroSearch 搜索引擎：训练成本大幅降低 80%

近日，阿里巴巴推出了一款名为 ZeroSearch 的开源创新大模型搜索引擎，这一新工具通过强化学习框架，极大地提高了搜索能力，并且在训练过程中不需要与真实搜索引擎互动。 ZeroSearch 的核心优势在于它能够利用大型预训练模型的知识，快速生成相关内容，并且可以动态控制生成内容的质量。与传统的搜索引擎相比，ZeroSearch 的训练成本显著降低。

5/9/2025 9:00:59 AM

AI在线

实时口语聊天大模型 LLaMA-Omni 2 来了，能让你的 AI 聊天体验起飞！

最近 AI 圈可是热闹非凡，今天咱们就来聊聊其中的 “狠角色”——LLaMA-Omni2。这是一系列超厉害的语音语言模型（SpeechLMs），参数规模从0.5B 到14B 不等，专门为实现高质量实时语音交互而生，在 Hugging Face 上一经发布，就引起了广泛关注。语音交互发展历程回顾:从 “卡顿” 到 “丝滑”语音交互在人机交互领域的地位愈发重要，它就像是为我们打开了一扇便捷的大门，极大地提升了交互效率和用户体验。

5/6/2025 6:00:52 PM

AI在线

Freepik 发布“F Lite”：一个为版权安全而构建的开放 AI 图像模型

西班牙数字图形巨头 Freepik 近日推出了其最新的文本到图像生成模型“F Lite”，旨在成为 Midjourney 等因版权问题而备受争议的生成器的合法且安全的替代品。 F Lite 拥有约100亿个参数，其独特之处在于完全基于 Freepik 自身商业授权的图像库进行训练。 Freepik 声称，这使其成为首个完全依赖“工作安全”内容进行训练的如此规模的公开模型。

5/6/2025 10:01:20 AM

AI在线

海豚语言被谷歌大模型破译！跨物种交流大门打开，哈萨比斯：下一个是狗

神奇！人类和海豚真的能实现跨物种交流了？！

4/15/2025 9:53:52 AM

量子位

DeepSeek玩家能提前拿苹果新品！只要15万元，在家跑满血版R1

号称地表最强的M3 Ultra，本地跑满血版DeepSeek R1，效果到底如何？其实，有些DeepSeek玩家们已经提前拿到手做过实测了。例如这位Alex老哥就是其中之一：他提前拿到了两台搭载M3 Ultra的Mac Studio，配置是这样的：M3 Ultra（32 核中央处理器、80 核图形处理器和 32 核神经网络引擎）512G统一内存1TB固态硬盘具体来说，Alex老哥用配备Thunderbolt 5互连技术（传输速率为 80Gbps）的EXO Labs设备，来运行完整的DeepSeek R1模型（671B、8-bit）。

3/13/2025 12:41:37 PM

量子位

AI屠戮白领，大学文凭变「废纸」！美高中重开体力课，年薪40万不是梦

OpenAI首个NextGenAI联盟正式成立！联盟汇聚了15家领先研究机构，包括Caltech、MIT、哈佛等顶尖学府，创始阵容堪称豪华。其中，研究资助、计算资金和API访问权限都将由OpenAI负责提供，全力支持学生、教育工作者和研究人员探索AI前沿应用。

3/6/2025 9:30:00 AM

新智元

DeepSeek新注意力机制引热议！梁文锋亲自提交预印本，目标明确降低计算成本

DeepSeek新注意力机制论文一出，再次引爆讨论热度。依然是熟悉的画风，熟悉的味道——那边马斯克疯狂烧了20万张卡训出Grok 3，这厢DeepSeek重点关注的依然是压缩计算和推理成本。具体来说，新论文提出了一种可原生训练的稀疏注意力机制，名为NSA（Native Sparse Attention）。

2/19/2025 4:01:37 PM

量子位

DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升

用代码训练大模型思考，其他方面的推理能力也能提升。 DeepSeek团队最新研究，利用300多万个实例，将代码转换成思考过程，构建出数据集CODEI/O，对Qwen、Llama等模型进行了训练。结果，在各种类型的推理任务当中，模型性能都取得了全面提升，包括在非代码类的推理任务上，也展现出了良好的迁移能力。

2/17/2025 2:43:51 PM

量子位

DeepSeek R1 搭建个人 AI 知识库

前言上一篇文章写到了部署本地deepseek，基于这篇文章，继续讲一下如何搭建自己的知识库。可能很多人会有疑问，本地部署有什么优势呢。其实如果不是有特别的技术研究和比较私密的数据，可以不用搭建。

2/12/2025 12:12:59 PM

cqhly

Deepseek的前世今生

DeepSeek（深度求索）引起硅谷“恐慌”，性能超越了美国的顶尖模型，且研发成本更低，使用的芯片性能也较弱。甚至有人猜测DeepSeek（深度求索）模型对美国股市都构成了威胁。中国AI公司证明了用有限的计算资源，足以做出顶尖水平的模型。

2/12/2025 11:25:39 AM

小扒

刚刚，OpenAI发布o1模型新突破，推理时间增强对抗鲁棒性

今天凌晨2点，OpenAI发布了一项新技术研究，通过增加推理时间、算力资源来大幅度提升模型的对抗鲁棒性。与传统的对抗训练样本方法不同的是，OpenAI提出的新方法不需要对大模型进行专门的对抗训练，也不需要提前了解攻击的具体形式。只需要通过增加推理时间和算力资源，模型就可以更充分地利用其推理能力表现出更强的鲁棒性。

1/23/2025 10:45:52 AM

AIGC开放社区

资讯热榜

OpenAI 重申今夏推出最强模型 GPT-5，具备完整多模态 AI 能力 ChatGPT 商业推荐被曝引用不可靠信息来源，专家提醒用户勿盲目信任谷歌 Gemini 待发布新技能曝光：AI 帮你生成插画故事书 ChatGPT 又遇“奶奶漏洞”，网友成功让 GPT-4o 主动生成“Win7 密钥” ChatGPT 推出“一起学习”功能：不直接给答案，引导用户自主思考 OpenAI 筹划进军硬件市场，CEO 奥尔特曼曾称 AI 革命不一定需要新硬件资讯/神器/素材全都有！2025年6月设计素材周刊第四波他一人撑起谷歌90%的AI宣传，劈柴真是挖到鬼才了

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 Meta GPT 学习图像技术 Gemini AI创作马斯克论文 Anthropic 代码英伟达算法 Stable Diffusion 智能体训练芯片开发者蛋白质生成式腾讯苹果 AI新词神经网络 3D Claude 研究 LLM 生成机器学习计算 Sora AI for Science 人形机器人 AI视频 AI设计 GPU xAI 华为百度搜索大语言模型 Agent 场景字节跳动预测深度学习伟达大型语言模型工具 Transformer 视觉 RAG 神器推荐具身智能亚马逊 Copilot 模态 AGI LLaMA 文本算力驾驶