多模态

WAIC 2025｜阶跃发布新一代基模 Step 3：原生多模态，推理效率行业领先

在2025世界人工智能大会（简称“WAIC 2025”）开幕前夕，阶跃星辰今天在上海正式发布了新一代基础大模型——Step 3。作为阶跃的主力基座模型，Step 3兼顾智能与效率，旨在面向推理时代打造最适合应用的模型。 Step 3将于7月31日面向全球企业和开发者开源，为开源世界贡献最强多模态推理模型。

7/25/2025 9:43:00 PM

陈彩娴

多模态大模型的“安全锁”：SAPT 软提示调优技术

引言：多模态大模型的安全困境在人工智能技术飞速发展的当下，多模态大模型（VLM）正以前所未有的速度融入我们的生活，从智能助手到图像识别，从文本生成到跨模态任务处理，它们展现出了令人惊叹的能力。然而，随着 VLM 在实际应用中的广泛部署，一个不容忽视的问题逐渐浮出水面——其安全性漏洞正成为潜在的“ ticking bomb”。近期，一篇题为《The Safety Reminder: A Soft Prompt to Reactivate Delayed Safety Awareness in Vision-Language Models》的论文，为我们揭开了 VLM 安全性研究的新篇章。

7/11/2025 1:23:00 AM

果冻布丁兔

Gemini负责人爆料！多模态统一token表示，视觉至关重要

一水闻乐发自凹非寺. 量子位 | 公众号 QbitAI一次性揭秘Gemini多模态技术！就在刚刚，Gemini模型行为产品负责人Ani Baddepudi在谷歌自家的开发者频道开启了爆料模式。

7/3/2025 3:06:44 PM

闻乐

多模态推理模型（LMRM）：从感知到推理的演变

大家好，我是肆〇柒。当下，人工智能正以前所未有的速度改变着我们的生活与工作方式。其中，推理作为人工智能的核心能力之一，赋予了智能体在复杂环境中做出决策、得出结论以及进行知识泛化的能力。

6/10/2025 3:30:00 AM

肆零柒

多模态大模型不会画辅助线？最新评估得分：o3仅25.8%，远低于人类82.3%

多模态时代应如何评估模型的视觉输出能力？来自清华大学、腾讯混元、斯坦福大学、卡耐基梅隆大学等顶尖机构的研究团队联合发布了RBench-V：一款针对大模型的视觉推理能力的新型基准测试。过去的评估基准主要集中于评估多模态输入和纯文本推理过程。

5/28/2025 11:43:48 AM

深度解析大模型技术演进脉络：RAG、Agent与多模态的实战经验与未来图景

作者 | jaymie大模型作为产业变革的核心引擎。通过RAG、Agent与多模态技术正在重塑AI与现实的交互边界。三者协同演进，不仅攻克了数据时效性、专业适配等核心挑战，更推动行业从效率革新迈向业务重构。

5/20/2025 8:30:00 AM

腾讯技术工程

商汤科技迈向多模态大模型的新纪元

在过去的两年里，人工智能领域的关注点逐渐转向了大模型的技术发展，而商汤科技作为一家成立不到十年的公司，凭借其在计算机视觉领域的技术积累，正迅速转型，迎接这一浪潮。尽管在2023年之前，商汤主要聚焦于视觉模型，但随着 DeepSeek R1的发布，市场的重心开始向自然语言处理和大规模参数模型倾斜，商汤的策略也随之调整。商汤于4月10日推出的全新6000亿参数多模态大模型 “日日新 Sense Nova V6”，展现了强大的综合能力，与国际领先的 GPT-4.5和 Gemini2.0Pro 不相上下。

5/9/2025 4:00:51 PM

AI在线

从看见到理解，多模态大模型如何重塑行为检测

在人工智能技术快速迭代的今天，行为检测作为计算机视觉领域的重要分支，正迎来一场由多模态大模型引领的技术革命。作为曾在CV算法公司工作的从业者，我深刻体会到传统计算机视觉方法在实际落地中的诸多痛点。过去几年，许多行为检测、烟火检测等应用，往往因为高昂的训练成本和难以接受的误报率而被甲方叫停。

5/7/2025 1:00:00 AM

贝塔街的万事屋

Encoder-free无编码器多模态大模型EVEv2模型架构、训练方法浅尝

基于视觉编码器的MLLM的基本构成：MLLM通常由预训练的模态编码器、预训练的LLM和一个连接它们的模态接口三个模块组成。模态编码器(如：CLIP-ViT视觉编码器、Whisper音频编码器等)将原始信息（如图像或音频）压缩成更紧凑的表示。预训练的LLM则负责理解和推理处理过的信号。

4/28/2025 2:03:00 AM

余俊晖

机械臂+大模型+多模态：打造人机协作具身智能体

在人工智能快速发展的浪潮中，多模态大模型已成为技术前沿，使AI能够同时理解文本、图像、音频等多种信息。这一突破为具身智能体开辟了新天地。最近我在github中就找到了一个这样好玩的项目vlm_arm，其将机械臂与多模态大模型结合，打造一个能听人话、看图像、执行精准操作的人机协作智能体系统。

4/25/2025 2:30:00 AM

贝塔街的万事屋

阿里全模态Qwen2.5-Omni技术报告万字解读！

Qwen 团队最近发布了一款统一多模态大模型 Qwen2.5-Omni，开放了 7B 版本的权重。能够同时处理文本、图像、音频和视频输入，并以流式方式生成文本和语音响应。下面来详细看下：开源地址：论文地址：：地址： Face：：：官方体验：：：在日常生活中，人类能够同时感知视觉和听觉信息，并通过大脑处理这些信息后，以书写、说话或使用工具等方式进行反馈，从而与世界上的各种生物进行信息交流并展现智能。

4/14/2025 12:20:00 AM

Goldma

模态编码器 | CLIP改进之SigLIP，采用sigmoid损失的图文预训练

DeepMind对CLIP改进的一篇工作--SigLIP，发表在2023CVPR。简单看下研究动机：传统的对比学习方法如CLIP等依赖于 softmax 归一化，这需要一个全局视角来计算成对相似度，从而限制了批处理大小的扩展能力，并且在小批处理大小下表现不佳。因此本文提出了一个简单的成对 Sigmoid 损失函数用于语言-图像预训练（SigLIP）。

4/9/2025 2:10:00 AM

Goldma

模态编码器|CLIP详细解读

下面来详细了解一下多模态大模型模态编码器部分。今天首先来看下CLIP，OpenAI发表在2021年ICML上的一篇工作。项目地址：：在自然语言处理（NLP）领域，通过大规模的文本数据预训练模型（如GPT-3）已经取得了显著的成果，但在计算机视觉领域，预训练模型仍然依赖于人工标注的图像数据集，严重影响了其在未见类别上的泛化性和可用性（需要用额外的有标注数据）。

4/7/2025 3:30:00 AM

Goldma

多模态模型结构与训练总结

01、模型结构一般的多模态模型架构包含5个部分，分别是：模态编码器、输入映射器、大模型骨干、输出映射器以及模态生成器。模态编码器（Modality Encoder, ME）将多种模态输入编码成特征表示，公式如下X表示模态，表示各种预训练好的编码器。目前模态主要分为：视觉模态、语音模态、3D点云模态，其中视觉模态主要包括图像和视频，对于视频，视频通常被均匀采样成5帧图像，然后进行与图像相同的预处理。

4/7/2025 12:00:00 AM

Goldma

Soul App实时人像视频生成研究成果获国际学术顶会CVPR2025录用

近期，IEEE国际计算机视觉与模式识别会议（ Conference on Computer Vision and Pattern Recognition）CVPR 2025公布论文录用结果，社交平台Soul App技术论文《Teller: Real-Time Streaming Audio-Driven Portrait Animation with Autoregressive Motion Generation》（《基于自回归动作生成的实时流式音频驱动人像动画系统》）被接收。 Soul App团队在论文中提出了一个新的面向实时音频驱动人像动画（即Talking Head）的自回归框架，解决了视频画面生成耗时长的行业挑战外，还实现了说话时头部生成以及人体各部位运动的自然性和逼真性。此次论文的入选，也证明了Soul App在推动多模态能力构建特别是视觉层面能力突破上取得了阶段性成果。

3/21/2025 5:14:00 PM

新闻助手

智源开源多模态向量模型BGE-VL，助力多模态检索！

智源研究院开源了多模态向量模型BGE-VL，助力主要多模态检索任务达到SOTA。论文地址：：：：现有的多模态检索模型大多基于预训练的视觉-语言模型，这些模型主要通过文本-图像匹配任务进行预训练，对于其他常见的多模态任务（如组合图像检索和多模态文档检索）表现不足。为了增强模型的多任务能力，研究者们开始采用指令微调的方法，但高质量的指令微调数据稀缺且难以大规模获取。

3/19/2025 9:30:00 AM

Glodma

谷歌大招网友玩疯了！Gemini原生图像输出抢先推出，OpenAI一年领先优势归零

谷歌推出Gemini原生图像生成，测试版瞬间引爆网络。如果你迟到了，但没有好的借口，甚至还没有出家门——只需要一张自拍，然后让AI把你P到地铁故障现场。图片也可以凭空生成一个人物形象，把它放到原神游戏画面中（不用上传游戏截图），让角色往前走两步，再把视角往左移，走近一个建筑，开始爬墙。

3/14/2025 12:14:38 PM

【多模态&LLM】POINTS多模态大模型浅谈

NaViT概述NaViT利用序列打包训练，处理任意分辨率和长宽比的输入，在大规模监督和对比图像文本预训练中提高了训练效率，可以用于图像和视频分类、目标检测和语义分割，并在鲁棒性和公平性基准测试中取得了改进的结果。图片下面对NaViT在数据处理、模型架构和训练策略方面的优化总结：数据预处理：如上图展示了NaViT在处理任意分辨率的方法，将不同分辨率的图像分割成补丁（patches），然后应用令牌丢弃（token drop）操作，类似于dropout，以加速训练过程。预处理后，将三张图像生成的补丁展平为一个序列，不足的部分用填充（padding）补充。

1/8/2025 8:21:16 AM

余俊晖

资讯热榜

Lovart 实战深度测评！仅需4小时帮你完成一整套品牌全案设计！ OpenAI 董事会主席：如果你想快速烧掉百万美元，就开发自己的 AI 模型吧腾讯Robotics X具身智能开放平台Tairos发布，融合左脑、右脑、小脑业界首个，腾讯混元 3D 世界模型正式发布并开源奥尔特曼警告：把 ChatGPT 当作心理治疗师并不安全，对话内容不受法律保护 WAIC 2025 主论坛演讲｜ MiniMax 创始人闫俊杰：每个人的 AI 8个月1亿美元ARR神话：Lovable是如何"干翻"OpenAI和Cursor的？基于 DeepSeek 大模型，河南引入“AI 智审”系统实现货物口岸通关申报“秒级”筛查

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文智能体 Anthropic 英伟达代码算法 Stable Diffusion 训练芯片开发者蛋白质腾讯生成式 LLM 苹果 Claude 神经网络 AI新词 3D 研究机器学习生成 AI for Science Agent xAI 计算人形机器人 Sora AI视频 GPU AI设计百度华为搜索大语言模型工具场景具身智能字节跳动 RAG 大型语言模型预测深度学习伟达视觉 Transformer AGI 视频生成神器推荐亚马逊 Copilot DeepMind 架构模态应用