AIGC宇宙 AIGC宇宙

训练

「DeepSeek 技术解析」：LLM 训练中的强化学习算法

「DeepSeek 技术解析」：LLM 训练中的强化学习算法
我们将深入探讨 DeepSeek 模型训练策略中的关键创新之一[1, 2]：群组相对策略优化（Grouped Relative Policy Optimization，GRPO）[3]。 为确保本文自成体系并阐明 GRPO 的理论基础，我们将首先介绍强化学习的基础概念，重点解析强化学习（RL）及基于人类反馈的强化学习（RLHF）在 LLM 训练中的核心作用。 接着我们将探讨不同的强化学习范式，包括基于价值的强化学习、基于策略的强化学习和 Actor-Critic 强化学习，回顾经典算法如置信域策略优化（TRPO）和近端策略优化（PPO），最后解析 GRPO 带来的优化创新。
5/28/2025 2:25:00 AM
Baihai IDP
刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿

刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿
OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。 或许，这就将是公司即将打造的第一个爆品？ 这个产品所揭示的理念，可谓十分惊人——在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！
5/27/2025 8:40:00 AM
DeepSeek发布大模型训练端到端论文，展示卓越工程深度

DeepSeek发布大模型训练端到端论文，展示卓越工程深度
近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。 该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。 在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。
5/21/2025 11:01:05 AM
AI在线
AI训练的反直觉发现：添加"有毒"数据反而能造就更好的语言模型？

AI训练的反直觉发现：添加"有毒"数据反而能造就更好的语言模型？
"当坏数据能够创造出好模型，AI训练领域又一个传统观念被颠覆"你有没有听说过这样一个说法：垃圾进，垃圾出？ 在AI大语言模型的训练中，这一直是个不言自明的准则。 工程师们花费大量时间和资源过滤训练数据，移除那些含有有毒、有害或不适当内容的文本，以防止模型学习和生成这些内容。
5/13/2025 2:22:00 AM
无影寺
阿里巴巴开源 ZeroSearch 搜索引擎：训练成本大幅降低 80%

阿里巴巴开源 ZeroSearch 搜索引擎：训练成本大幅降低 80%
近日，阿里巴巴推出了一款名为 ZeroSearch 的开源创新大模型搜索引擎，这一新工具通过强化学习框架，极大地提高了搜索能力，并且在训练过程中不需要与真实搜索引擎互动。 ZeroSearch 的核心优势在于它能够利用大型预训练模型的知识，快速生成相关内容，并且可以动态控制生成内容的质量。 与传统的搜索引擎相比，ZeroSearch 的训练成本显著降低。
5/9/2025 9:00:59 AM
AI在线
实时口语聊天大模型 LLaMA-Omni 2 来了，能让你的 AI 聊天体验起飞！

实时口语聊天大模型 LLaMA-Omni 2 来了，能让你的 AI 聊天体验起飞！
最近 AI 圈可是热闹非凡，今天咱们就来聊聊其中的 “狠角色”——LLaMA-Omni2。 这是一系列超厉害的语音语言模型（SpeechLMs），参数规模从0.5B 到14B 不等，专门为实现高质量实时语音交互而生，在 Hugging Face 上一经发布，就引起了广泛关注。 语音交互发展历程回顾:从 “卡顿” 到 “丝滑”语音交互在人机交互领域的地位愈发重要，它就像是为我们打开了一扇便捷的大门，极大地提升了交互效率和用户体验。
5/6/2025 6:00:52 PM
AI在线
Freepik 发布“F Lite”：一个为版权安全而构建的开放 AI 图像模型

Freepik 发布“F Lite”：一个为版权安全而构建的开放 AI 图像模型
西班牙数字图形巨头 Freepik 近日推出了其最新的文本到图像生成模型“F Lite”，旨在成为 Midjourney 等因版权问题而备受争议的生成器的合法且安全的替代品。 F Lite 拥有约100亿个参数，其独特之处在于完全基于 Freepik 自身商业授权的图像库进行训练。 Freepik 声称，这使其成为首个完全依赖“工作安全”内容进行训练的如此规模的公开模型。
5/6/2025 10:01:20 AM
AI在线
海豚语言被谷歌大模型破译！跨物种交流大门打开，哈萨比斯：下一个是狗

海豚语言被谷歌大模型破译！跨物种交流大门打开，哈萨比斯：下一个是狗
神奇！ 人类和海豚真的能实现跨物种交流了？ ！
4/15/2025 9:53:52 AM
量子位
DeepSeek玩家能提前拿苹果新品！只要15万元，在家跑满血版R1

DeepSeek玩家能提前拿苹果新品！只要15万元，在家跑满血版R1
号称地表最强的M3 Ultra，本地跑满血版DeepSeek R1，效果到底如何？ 其实，有些DeepSeek玩家们已经提前拿到手做过实测了。 例如这位Alex老哥就是其中之一：他提前拿到了两台搭载M3 Ultra的Mac Studio，配置是这样的：M3 Ultra（32 核中央处理器、80 核图形处理器和 32 核神经网络引擎）512G统一内存1TB固态硬盘具体来说，Alex老哥用配备Thunderbolt 5互连技术（传输速率为 80Gbps）的EXO Labs设备，来运行完整的DeepSeek R1模型（671B、8-bit）。
3/13/2025 12:41:37 PM
量子位
AI屠戮白领，大学文凭变「废纸」！美高中重开体力课，年薪40万不是梦

AI屠戮白领，大学文凭变「废纸」！美高中重开体力课，年薪40万不是梦
OpenAI首个NextGenAI联盟正式成立！ 联盟汇聚了15家领先研究机构，包括Caltech、MIT、哈佛等顶尖学府，创始阵容堪称豪华。 其中，研究资助、计算资金和API访问权限都将由OpenAI负责提供，全力支持学生、教育工作者和研究人员探索AI前沿应用。
3/6/2025 9:30:00 AM
新智元
DeepSeek新注意力机制引热议！梁文锋亲自提交预印本，目标明确降低计算成本

DeepSeek新注意力机制引热议！梁文锋亲自提交预印本，目标明确降低计算成本
DeepSeek新注意力机制论文一出，再次引爆讨论热度。 依然是熟悉的画风，熟悉的味道——那边马斯克疯狂烧了20万张卡训出Grok 3，这厢DeepSeek重点关注的依然是压缩计算和推理成本。 具体来说，新论文提出了一种可原生训练的稀疏注意力机制，名为NSA（Native Sparse Attention）。
2/19/2025 4:01:37 PM
量子位
DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升

DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升
用代码训练大模型思考，其他方面的推理能力也能提升。 DeepSeek团队最新研究，利用300多万个实例，将代码转换成思考过程，构建出数据集CODEI/O，对Qwen、Llama等模型进行了训练。 结果，在各种类型的推理任务当中，模型性能都取得了全面提升，包括在非代码类的推理任务上，也展现出了良好的迁移能力。
2/17/2025 2:43:51 PM
量子位
DeepSeek R1 搭建个人 AI 知识库

DeepSeek R1 搭建个人 AI 知识库
前言上一篇文章写到了部署本地deepseek，基于这篇文章，继续讲一下如何搭建自己的知识库。 可能很多人会有疑问，本地部署有什么优势呢。 其实如果不是有特别的技术研究和比较私密的数据，可以不用搭建。
2/12/2025 12:12:59 PM
cqhly
Deepseek的前世今生

Deepseek的前世今生
DeepSeek（深度求索）引起硅谷“恐慌”，性能超越了美国的顶尖模型，且研发成本更低，使用的芯片性能也较弱。 甚至有人猜测DeepSeek（深度求索）模型对美国股市都构成了威胁。 中国AI公司证明了用有限的计算资源，足以做出顶尖水平的模型。
2/12/2025 11:25:39 AM
小扒
刚刚，OpenAI发布o1模型新突破，推理时间增强对抗鲁棒性

刚刚，OpenAI发布o1模型新突破，推理时间增强对抗鲁棒性
今天凌晨2点，OpenAI发布了一项新技术研究，通过增加推理时间、算力资源来大幅度提升模型的对抗鲁棒性。 与传统的对抗训练样本方法不同的是，OpenAI提出的新方法不需要对大模型进行专门的对抗训练，也不需要提前了解攻击的具体形式。 只需要通过增加推理时间和算力资源，模型就可以更充分地利用其推理能力表现出更强的鲁棒性。
1/23/2025 10:45:52 AM
AIGC开放社区
  • 1