AIGC宇宙 AIGC宇宙

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

作者:故渊
2024-05-30 10:32
谷歌在 I / O 2024 开发者大会上,宣布将 Gemini 1.5 Pro 上下文窗口增加至 200 万个 tokens,那么 Gemini 1.5 Pro 性能究竟有多强悍?根据 LMSYS Org 公布的总排行榜对比,通过 Arena Elo 系统的测量,Gemini-1.5-Pro-API-0514 和 Gemini-Advanced-0514 都接近 GPT-4o。上述两款模型在中文方面的表现也非常优秀,Gemini 1.5 Pro 在“hard prompts”类别中也非常接近。IT之家注:Aren

谷歌在 I / O 2024 开发者大会上,宣布将 Gemini 1.5 Pro 上下文窗口增加至 200 万个 tokens,那么 Gemini 1.5 Pro 性能究竟有多强悍?

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

根据 LMSYS Org 公布的总排行榜对比,通过 Arena Elo 系统的测量,Gemini-1.5-Pro-API-0514 和 Gemini-Advanced-0514 都接近 GPT-4o。

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

上述两款模型在中文方面的表现也非常优秀,Gemini 1.5 Pro 在“hard prompts”类别中也非常接近。

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

Arena Elo 基准测试:谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o

IT之家注:Arena Elo 系统通过让用户匿名投票决定哪个模型在随机对战中表现更好来衡量大型语言模型(LLMs)的技能,并像国际象棋中的 Elo 系统一样更新用户的评分,整体而言更加客观。

相关标签:

相关资讯

自缘身在最高层?OpenAI o1 pro竞赛级评测结果新鲜出炉

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。 如果您有优秀的工作想要分享,欢迎投稿或者联系报道。
12/22/2024 4:31:00 PM
机器之心

谷歌确认 Gemini Nano 本地大模型不会上线 Pixel 8 手机

谷歌官方表示,由于硬件限制,AI 语言大模型 Gemini Nano 不会上线谷歌 Pixel 8 手机,但未来会出现在其他高端设备上。IT之家获悉,Gemini 的前身是谷歌在 2023 年 2 月发布的聊天机器人 Bard,后者在 2024 年 2 月 8 日更名为 Gemini。谷歌计划将 Gemini 整合进旗下所有产品,并加入 Google One 订阅中。Gemini Nano 作为谷歌为移动设备推出的 Gemini 大模型版本,能够处理不需要连接外部服务器的本地任务,仅支持谷歌 Pixel 8 Pro
3/8/2024 5:56:25 PM
归泷(实习)

Gemini 修 bug 神了!录网页视频把代码库甩给它就行,网友想要访问权限

谷歌 Gemini 修改 bug 让网友大开眼界!X 一小伙分享,为测试 Gemini 1.5 Pro,自己在编写一个网页的代码时故意留了 3 个 bug,并分别录制了网页 bug 视频。接着把代码库打包成文件连同视频一起输给了 Gemini 1.5 Pro,提示它找到并修复代码中的所有 bug,且要提供一个简要指南以及所做更改的说明。没想到,Gemini 1.5 Pro 还真就分分钟正确识别并修复了每一个 bug。小伙将这种玩法 po 出来后热度不断攀升,网友们纷纷一键三连,转赞收藏量过万。其本人还在评论区强调,
3/10/2024 2:30:22 PM
清源
  • 1