AIGC宇宙 AIGC宇宙

面壁智能开源 MiniCPM-V 2.6 模型:号称端侧 AI 多模态能力对标 GPT-4V,6G 内存可用

作者:沛霖(实习)
2024-08-07 10:05
面壁智能昨日开源了 MiniCPM-V 2.6 模型,官方表示将端侧 AI 多模态能力拉升至全面对标 GPT-4V 水平。官方称 MiniCPM-V 2.6 模型仅 8B 参数,取得 20B 以下单图、多图、视频理解 3 SOTA 成绩,有以下特点:“三合一最强”端侧多模态:首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V,单图理解越级比肩多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini多项功能首次上端:实时视频理解、多图联合理解、多图 ICL 视觉类比学习、多图

面壁智能昨日开源了 MiniCPM-V 2.6 模型,官方表示将端侧 AI 多模态能力拉升至全面对标 GPT-4V 水平

面壁智能开源 MiniCPM-V 2.6 模型:号称端侧 AI 多模态能力对标 GPT-4V,6G 内存可用

官方称 MiniCPM-V 2.6 模型仅 8B 参数,取得 20B 以下单图、多图、视频理解 3 SOTA 成绩,有以下特点:

“三合一最强”端侧多模态:首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V,单图理解越级比肩多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini

多项功能首次上端:实时视频理解、多图联合理解、多图 ICL 视觉类比学习、多图 OCR 等功能

最高多模态像素密度:类比知识密度,小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度(token density)

端侧友好:量化后端侧 6G 内存可用;端侧推理速度达 18 tokens / s,相比上代模型快 33%。发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言

统一高清框架:小钢炮的传统优势 OCR 能力延续了其 SOTA 性能水平,并进一步覆盖单图、多图、视频理解

AI在线附开源地址:

GitHub:  https://github.com/OpenBMB/MiniCPM-V

HuggingFace:https://huggingface.co/openbmb/MiniCPM-V-2_6

相关标签:

相关资讯

面壁智能获新一轮数亿元融资,高效端侧智能持续引领行业发展

近日,面壁智能完成新一轮数亿元融资,本轮融资由龙芯创投、鼎晖百孚、中关村科学城基金和赛富基金联合领投,北京市人工智能产业投资基金与清科创投跟投,万甲资本担任本轮独家财务顾问。 本轮融资完成后,面壁智能将进一步提速以端侧AI为代表的高效大模型商业化布局,以同等参数、更高性能、更低能耗、更快速度的高效大模型深度服务行业,为用户创造具体可感知的价值。 面壁智能是以「高效为第一性原理」的大模型公司。
12/11/2024 9:17:00 AM
新闻助手

率先开放语音、视频等多模态对话能力,这家中国公司又比OpenAI走快了一步

2023 年的 AI 领域,难以回避「大模型」这个关键词。
5/31/2023 2:30:00 PM
机器之心

178页!GPT-4V(ision)医疗领域首个全面案例测评:离临床应用与实际决策尚有距离

上海交大&上海AI Lab发布178页GPT-4V医疗案例测评,首次全面揭秘GPT-4V医疗领域视觉性能。
10/18/2023 9:39:00 AM
FM4Medicine
  • 1