AIGC宇宙 AIGC宇宙

大模型

模态编码器|CLIP详细解读

模态编码器|CLIP详细解读
下面来详细了解一下多模态大模型模态编码器部分。 今天首先来看下CLIP，OpenAI发表在2021年ICML上的一篇工作。 项目地址：：在自然语言处理（NLP）领域，通过大规模的文本数据预训练模型（如GPT-3）已经取得了显著的成果，但在计算机视觉领域，预训练模型仍然依赖于人工标注的图像数据集，严重影响了其在未见类别上的泛化性和可用性（需要用额外的有标注数据）。
4/7/2025 3:30:00 AM
Goldma
多模态模型结构与训练总结

多模态模型结构与训练总结
01、模型结构一般的多模态模型架构包含5个部分，分别是：模态编码器、输入映射器、大模型骨干、输出映射器以及模态生成器。 模态编码器（Modality Encoder, ME）将多种模态输入编码成特征表示，公式如下X表示模态，表示各种预训练好的编码器。 目前模态主要分为：视觉模态、语音模态、3D点云模态，其中视觉模态主要包括图像和视频，对于视频，视频通常被均匀采样成5帧图像，然后进行与图像相同的预处理。
4/7/2025 12:00:00 AM
Goldma
消息称谷歌 Gemini AI 部门高层调整：掌门人 Sissie Hsiao 下台、原 Google Labs 主管上位

消息称谷歌 Gemini AI 部门高层调整：掌门人 Sissie Hsiao 下台、原 Google Labs 主管上位
据外媒 Semafor 报道，谷歌旗下 Gemini AI 部门近期发生重大人事变动，长期担任该部门负责人的 Sissie Hsiao 卸任，由负责开发 NotebookLM 的主管接任。
4/5/2025 10:05:12 AM
漾仔
谷歌迄今最贵 AI 模型：Gemini 2.5 Pro API 定价公布，每百万输入 tokens 1.25 美元起

谷歌迄今最贵 AI 模型：Gemini 2.5 Pro API 定价公布，每百万输入 tokens 1.25 美元起
而对于超过200000个tokens的输入，费用为每百万输入tokens 2.50美元（现汇率约合 18.2 元人民币），输出tokens为每百万15美元（现汇率约合 109 元人民币）。
4/5/2025 7:10:33 AM
清源
仅需10万不到，DeepSeek R1 671B大模型本地部署实战指南

仅需10万不到，DeepSeek R1 671B大模型本地部署实战指南
最近帮一个朋友部署本地的671b版本的deepseek r1，需求是要完全本地部署，但是又不想花太高的成本，没有并发要求，我一想，用ktransformers框架来部署完全合适。 关于机器配置，在挑挑拣拣评比之后，设备选择如下，最终选择的是其中的服务器配置。 这套设备下来总成本不到10万，相比如动辄几百万的满血版deepseek R1或者花个五六十万买个deepseek 70b的一体机要值当的多，且不说70b并不是真正的deepseek r1，效果还不如32b的QWQ，就光说一体机的升级也是个麻烦事，买了机器基本就和模型绑定了，以后新模型出来后想升级就难了。
4/3/2025 3:57:48 PM
贝塔街的万事屋
机器学习|从0开发大模型之复现DeepSeek的aha moment

机器学习|从0开发大模型之复现DeepSeek的aha moment
前面一篇文章介绍了《从0开发大模型之DeepSeek的GRPO》，并且实现了一个简单版本的 GRPO 代码，不过从工程领域来看，并没有复现DeepSeek-R1，于是最近申请了48G的显存，结合一些开源的方案复现aha monent，并给出完整的代码和工具链。  1、什么是 aha monent DeepSeek-R1 论文中提到，模型让作者「见证了强化学习的力量和美感」，在DeepSeek-R1-Zero的中间版本，「顿悟时刻」来了：模型学会了以人类的语气进行反思。 aha monent 2、使用什么的基座模型和训练数据 由于显卡只有48G，可以用基座模型Qwen2.5，模型大小：0.5B，1.5B，3B训练数据有很多：（可以直接在huggingface上找到）    a.AI-MO/NuminaMath-TIR：包括72K行的数学问题，解决方案和答案，是从 NuminaMath-CoT 数据集提炼出来的   b.
4/3/2025 3:46:53 PM
周末程序猿
机器学习|从0开发大模型之DeepSeek的GRPO

机器学习|从0开发大模型之DeepSeek的GRPO
DeepSeek-R1的发布为国产大模型争光了（太强了），不过 GRPO 算法源自 DeepSeekMath 7B 模型，该模型在 MATH 基准测试中取得了优异成绩，论文发表于2024年2月份：，以下是该论文的摘要原文：复制翻译如下：复制对比数据1、什么是GRPOGRPO 是一种在线学习算法，核心思想是通过组内相对奖励来估计基线，从而避免使用额外的价值函数模型。 通过在训练期间使用受训模型自身生成的数据来迭代改进，GRPO 旨在最大化生成补全的优势，同时确保模型保持接近参考策略，下图是论文中的算法流程图：GRPOGRPO 是 PPO (Proximal Policy Optimization，近端策略优化，是一种强化学习算法，由OpenAI于2017年提出，旨在解决策略梯度方法中的训练不稳定问题) 的变体，主要区别是：GRPO 省略 value function modelGRPO 奖励计算，改成了一个 q 生成多个 r，然后 reward 打分GRPO算法流程：采样一组输出并计算每个输出的奖励对组内奖励进行归一化处理使用归一化后的奖励计算优势函数通过最大化目标函数更新策略模型迭代训练，逐步优化策略模型论文中的伪代码2、奖励设计huggingface 库提供 GRPOTrainer 可以直接使用 GRPO 训练，参数包括定义奖励模型和函数。 2.1 奖励模型复制这里的 reward_funcs 参数可以传入奖励模型。
4/3/2025 3:40:41 PM
周末程序猿
Dify+大模型：重构企业基因的“数智引擎”——解锁AI工业化落地新范式

Dify+大模型：重构企业基因的“数智引擎”——解锁AI工业化落地新范式
当AI开发进入“流水线时代”2025年，全球企业AI应用开发呈现“冰火两重天”：一边是OpenAI、DeepSeek等大模型参数突破百万亿级，另一边却是78%的企业困在“PPT智能”阶段——AI应用开发周期长、场景碎片化、数据孤岛难破。 Dify与大模型的结合，正在打破这一僵局。 它不仅是工具，更是企业AI能力工业化的流水线，让大模型从“技术狂欢”走向“价值落地”。
4/3/2025 1:07:50 PM
推推君
为什么AI需要向量数据库？

为什么AI需要向量数据库？
大模型火遍全球，DeepSeek、OpenAI、谷歌、百度、抖音等科技巨头争相发布自家产品。 多数人会想当然认为，大模型越大越强大，参数量越多就越聪明。  现实呢？
4/3/2025 11:04:40 AM
大模型RL不止数学代码！7B奖励模型搞定医学法律经济全学科， 不用思维链也能做题

大模型RL不止数学代码！7B奖励模型搞定医学法律经济全学科， 不用思维链也能做题
一个7B奖励模型搞定全学科，大模型强化学习不止数学和代码。 o1/r1的强化学习很强，但主要探索了数学和代码领域，因为这两个领域的数据结构化程度高，奖励函数/奖励模型比较好设计。 那么，想提升大模型在其他学科领域的能力该怎么办？
4/3/2025 9:23:08 AM
量子位
AI算法 | 训练数据的数量、质量及语言分布等因素对中文大模型性能的影响

AI算法 | 训练数据的数量、质量及语言分布等因素对中文大模型性能的影响
已有LLM研究探索了训练数据对模型性能的影响，但这些研究大多集中在英文模型上，对于中文模型的研究相对较少。 今天来看一篇来自贝壳的研究团队在2023年的一篇工作——《Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation》。 这篇工作的核心目标是提升中文指令跟随语言模型的性能。
4/3/2025 7:00:00 AM
Goldma
谷歌 AI 笔记应用 NotebookLM 新增“发现资料”功能，可自动检索相关网络资源

谷歌 AI 笔记应用 NotebookLM 新增“发现资料”功能，可自动检索相关网络资源
谷歌NotebookLM推出“发现资料”新功能，基于Gemini技术自动搜索网络资源，提升学习研究效率。用户只需输入兴趣点，AI即可推荐相关资源并生成摘要。#AI学习工具##NotebookLM#
4/3/2025 6:50:40 AM
远洋
万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源

万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源
当前，MoE 架构是业界拓展模型规模的重要方向，然而，其在分布式训练中存在的大量通信开销，仍严重制约了训练效率和成本。 为攻克这一瓶颈，豆包大模型团队提出了一个全新的通信优化系统 COMET，通过更精准、细粒度的计算-通信重叠技术，在大规模 MoE 模型上可达到单层 1.96 倍加速，端到端平均 1.71 倍效率提升，且在不同并行策略、输入规模及硬件环境下均表现稳定。 目前，COMET 已实际应用于万卡级生产集群，助力 MoE 模型高效训练，并已累计节省了数百万 GPU 小时资源。
4/3/2025 12:00:00 AM
豆包大模型团队
超实用！Prompt程序员使用指南，大模型各角色代码实战案例

超实用！Prompt程序员使用指南，大模型各角色代码实战案例
提示词（Prompt）是输入给大模型（LLM）的文本指令，用于明确地告诉大模型你想要解决的问题或完成的任务，也是大语言模型理解用户需求并生成准确答案的基础。 因此 prompt 使用的好坏，直接决定了大模型生成结果的质量（是否符合预期）。 图片Prompt 基本使用为了让大模型生成更符合预期的结果，我们在使用 Prompt 时，可以使用以下模版。
4/3/2025 12:00:00 AM
磊哥
Gemini Canvas 全民玩疯了！免费可用！谷歌：我们的TPU烫麻了，简直火上浇油！皮查伊：我们是SOTA！氛围编程来了

Gemini Canvas 全民玩疯了！免费可用！谷歌：我们的TPU烫麻了，简直火上浇油！皮查伊：我们是SOTA！氛围编程来了
编辑 | 云昭出品 | 51CTO技术栈（微信号：blog51cto）自Gemini2.5 Pro发布后，被OpenAI的“吉卜力”画风成功“阻击”的谷歌，逆势火了一把。 4月1日凌晨，谷歌发布了“Google Gemini Canvas”，引起了社媒用户的疯狂转发。 图片从提示到原型只需几分钟，任何人都可以使用Canvas进行编码和创作。
4/2/2025 12:23:06 PM
云昭
代码显示谷歌正在开发儿童版 Gemini：能编故事，还能辅导作业

代码显示谷歌正在开发儿童版 Gemini：能编故事，还能辅导作业
谷歌在 Gemini 的安全页面上提到，该 AI 针对青少年用户设有“更严格”的内容政策和默认保护措施。
4/2/2025 12:03:30 PM
清源
人工智能应用就是大模型能力+场景，基于大模型构建应用，首先要了解大模型的能力圈

人工智能应用就是大模型能力+场景，基于大模型构建应用，首先要了解大模型的能力圈
在关于大模型应用方面，虽然也了解和应用过其中的一些技术；但经过这段时间的实践和思考发现，对大模型应用的认识还很浅显，因此在此记录一下自己的思考。 大模型应用的思考大模型作为人工智能应用的底座技术，所有应用场景和技术都是构建在大模型之上；但很多时候我们都搞错了一件事，那就是我们没有搞清楚大模型能力和其它技术的关联和区别。 因此，在这里我们要搞清楚一个概念，那就是大模型能力；所谓大模型的能力，就是模型开发人员怎么把模型做的更好更强，其中设计到模型的设计，训练等；具体有神经网络架构，模型蒸馏等等。
4/2/2025 8:40:00 AM
DFires
大模型应用的能力分级

大模型应用的能力分级
对大模型应用的能力分级就像给学生打分一样，能让我们更清楚它的本事有多大。 能力分级能帮我们设定目标，知道AI现在能干什么，未来还要学什么。 有了统一的分级方式，大家就能公平比较不同AI的水平，推动技术进步。
4/2/2025 1:25:00 AM
曹洪伟