AIGC宇宙 AIGC宇宙

昆仑万维推出开源Matrix-Game大模型,推动游戏世界的智能生成

近日,昆仑万维正式宣布开源其最新的 Matrix-Game 大模型,这一模型以其超过10亿参数的规模,成为了工业界首个开源的空间智能大模型,标志着交互式世界生成技术的重大突破。 Matrix-Game 不仅支持知名游戏《我的世界》,还专为开放式环境中的高质量生成和精确控制而设计。 Matrix-Game 大模型的核心在于其三大组成部分。

近日,昆仑万维正式宣布开源其最新的 Matrix-Game 大模型,这一模型以其超过10亿参数的规模,成为了工业界首个开源的空间智能大模型,标志着交互式世界生成技术的重大突破。Matrix-Game 不仅支持知名游戏《我的世界》,还专为开放式环境中的高质量生成和精确控制而设计。

Matrix-Game 大模型的核心在于其三大组成部分。首先是 “Matrix-Game-MC 数据集”,这个数据集通过自主构建,涵盖了大量的 Minecraft 游戏视频,包括无标签的大规模视频以及带有控制信号的可控视频数据,允许开发者高效建模复杂环境中的动态与交互模式。其次,Matrix-Game 主模型利用先进的扩散模型技术,能够根据用户的输入(例如键盘和鼠标操作)生成连贯、可控的互动视频,兼顾视觉效果、时间一致性和物理合理性。这意味着玩家能够在游戏中获得更真实的互动体验。

image.png

最后,Matrix-Game 还引入了 GameWorld Score 评测体系,这是一个全新的游戏交互世界评估标准,从视觉质量、时序质量、动作可控性和物理规则理解等多个维度来全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。这一评测体系将帮助开发者更好地理解模型的优势和不足。

Matrix-Game 能够在多种 Minecraft 场景中实现可控生成,支持角色在沙漠、森林等环境中的动态行为。用户只需通过简单的控制指令,即可体验到角色的移动、跳跃和攻击等动作。而且,这一模型支持自回归式的长视频生成,确保动作与视角的无缝衔接,为沉浸式体验和创意内容生成奠定了坚实基础。

昆仑万维的 Matrix-Game 大模型不仅是技术的创新,也是游戏开发的里程碑,期待其在未来的广泛应用。

项目页:https://matrix-game-homepage.github.io

相关资讯

类Sora模型到底懂不懂物理?字节完成系统性实验,图灵奖得主杨立昆赞转!

Sora爆火以来,“视频生成模型到底懂不懂物理规律”受到热议,但业界一直未有研究证实。 近日,字节跳动豆包大模型团队公布最新论文,研究历时8个月,围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,但暂时还无法真正理解物理规律,做到“举一反三”。 图灵奖得主、Meta首席AI科学家杨立昆点赞并转发了该研究,表示“结论不令人意外,但很高兴终于有人做了这个尝试!
11/8/2024 9:24:00 AM
新闻助手

跨年舞台歌手翻车惨烈,AI唱作俱佳,意外圈粉

AI好好用报道编辑:Sia刚刚过去的跨年舞台,依旧延续了群魔乱舞的台风。 假唱早已见怪不怪。 假唱。
1/6/2025 6:08:00 PM
AI好好用

从零开始,用英伟达T4、A10训练小型文生视频模型,几小时搞定

很翔实的一篇教程。OpenAI 的 Sora、Stability AI 的 Stable Video Diffusion 以及许多其他已经发布或未来将出现的文本生成视频模型,是继大语言模型 (LLM) 之后 2024 年最流行的 AI 趋势之一。在这篇博客中,作者将展示如何将从头开始构建一个小规模的文本生成视频模型,涵盖了从理解理论概念、到编写整个架构再到生成最终结果的所有内容。由于作者没有大算力的 GPU,所以仅编写了小规模架构。以下是在不同处理器上训练模型所需时间的比较。作者表示,在 CPU 上运行显然需要更长
7/1/2024 5:22:00 PM
机器之心
  • 1