上海交通大学
学术打假!清华上交大研究颠覆认知:强化学习竟是大模型推理的"绊脚石"
【研究颠覆】清华大学与上海交通大学联合发表的最新论文,对业界普遍认为"纯强化学习(RL)能提升大模型推理能力"的观点提出了挑战性反驳。 研究发现,引入强化学习的模型在某些任务中的表现,反而逊色于未使用强化学习的原始模型。 【实验验证】研究团队在数学、编码和视觉推理三大领域进行了系统性实验:数学任务:在GSM8K、MATH500等基准测试中,RL模型在低采样次数(k值)下准确率提升,但在高k值时问题覆盖率显著下降编码任务:RLVR训练模型在HumanEval 等测试中单样本pass@1分数提高,但在高采样数(k=128)时覆盖率下降视觉推理:Qwen-2.5-VL-7B模型在多模态任务中表现一致,RL未改变其基本问题解决策略【学界争议】研究结果引发学界激烈讨论:支持方认为RL提高了采样效率但限制了推理能力开发反对方指出可能是奖励结构缺陷而非RL本身问题中立观点建议结合蒸馏等其他方法增强推理【本质思考】研究团队提出关键区分:能力:模型解决问题的潜质与逻辑链条效率:在给定能力范围内得出答案的速度与稳定性强化学习更像是"能力调控器"而非"能力创造器",它能让模型更擅长做已知的事,但难以开发新的推理路径。
4/23/2025 2:00:43 PM
AI在线
- 1
资讯热榜
Lovart 实战深度测评!仅需4小时帮你完成一整套品牌全案设计!
OpenAI 董事会主席:如果你想快速烧掉百万美元,就开发自己的 AI 模型吧
腾讯Robotics X具身智能开放平台Tairos发布,融合左脑、右脑、小脑
业界首个,腾讯混元 3D 世界模型正式发布并开源
奥尔特曼警告:把 ChatGPT 当作心理治疗师并不安全,对话内容不受法律保护
WAIC 2025 主论坛演讲 | MiniMax 创始人闫俊杰:每个人的 AI
8个月1亿美元ARR神话:Lovable是如何"干翻"OpenAI和Cursor的?
基于 DeepSeek 大模型,河南引入“AI 智审”系统实现货物口岸通关申报“秒级”筛查
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
用户
Meta
微软
GPT
学习
技术
图像
Gemini
AI创作
马斯克
论文
智能体
Anthropic
英伟达
代码
算法
Stable Diffusion
训练
芯片
开发者
蛋白质
腾讯
生成式
LLM
苹果
Claude
神经网络
AI新词
3D
研究
机器学习
生成
AI for Science
Agent
xAI
计算
人形机器人
Sora
AI视频
GPU
AI设计
百度
华为
搜索
大语言模型
工具
场景
具身智能
字节跳动
RAG
大型语言模型
预测
深度学习
伟达
视觉
Transformer
AGI
视频生成
神器推荐
亚马逊
Copilot
DeepMind
架构
模态
应用