AIGC宇宙 AIGC宇宙

Sora

OpenAI 首席技术官:不确定 Sora 的训练数据来自哪里

感谢OpenAI 近期推出了炙手可热的文本转视频生成模型 Sora,然而该公司首席技术官 (CTO) Mira Murati 在接受华尔街日报采访时却语焉不详,无法明确说明 Sora 的训练数据来源。在采访中,记者直接询问 Murati 关于 Sora 训练数据来源时,她仅以含糊的官方话术搪塞:“我们使用的是公开可用数据和许可数据。”当记者追问具体来源是否包含 YouTube 视频时,Murati 竟然表示“我实际上并不确定(I'm actually not sure about that)”,并拒绝回答有关 In
3/18/2024 4:07:57 PM
远洋

全球首个类 Sora 开源复现方案来了!全面公开所有训练细节和模型权重

全球首个开源的类 Sora 架构视频生成模型,来了!整个训练流程,包括数据处理、所有训练细节和模型权重,全部开放。这就是刚刚发布的 Open-Sora 1.0。它带来的实际效果如下,能生成繁华都市夜景中的车水马龙。还能用航拍视角,展现悬崖海岸边,海水拍打着岩石的画面。亦或是延时摄影下的浩瀚星空。自 Sora 发布以来,由于效果惊艳但技术细节寥寥,揭秘、复现 Sora 成为了开发社区最热议话题之一。比如 Colossal-AI 团队推出成本直降 46% 的 Sora 训练推理复现流程。短短两周时间后,该团队再次发布最
3/18/2024 2:58:56 PM
清源

从直观物理学谈到认知科学,Sora不是传统物理模拟器盖棺定论了?

本文篇幅很长,主题很多,但循序渐进,对「Sora 究竟是不是世界模拟器」这一说法给出了非常详实的解读。最近,OpenAI 的文生视频模型 Sora 爆火。除了能够输出高质量的视频之外,OpenAI 更是将 Sora 定义为一个「世界模拟器」(world simulators)。当然,这一说法遭到了包括图灵奖得主 Yann LeCun 在内很多学者的反驳。LeCun 的观点是:仅仅根据 prompt 生成逼真视频并不能代表一个模型理解了物理世界,生成视频的过程与基于世界模型的因果预测完全不同。近日,澳大利亚麦考瑞大学
3/18/2024 11:47:00 AM
机器之心

Sora竟是用这些数据训练的?OpenAI CTO坦白惹众怒

采访首次揭示出 Sora「有所为(比如,将生成效果逼向极限)」和「有所为不为(比如短期内不开放、不生成公众人物)」背后的深层考量——找到一条将 AI 融入日常生活的正确道路是极其困难的,但也绝对值得一试。OpenAI 的 Sora 在今年 2 月横空出世,把文生视频带向了新阶段。它能够根据文字提示生成超现实场景。Sora 的可适用人群受限,但是在各媒体平台上,Sora 的身影无处不在,大家都在期待着使用它。在前几天的访谈中,三位作者透露出 Sora 的更多细节,包括它处理手部时仍然存在困难,但正在优化。他们也对 S
3/15/2024 3:28:00 PM
机器之心

OpenAI 首席技术官:文生视频工具 Sora 数月内将公开发布,拟支持生成音频

《华尔街日报》当地时间 13(今)日刊登了对 OpenAI 首席技术官米拉・穆拉蒂的采访。她表示,Sora 将在今年推出,“可能要等几个月”。穆拉蒂表示,除了面向公众公开提供 Sora 外,OpenAI 还计划加入音频生成功能,可能会使场景更为逼真。此外,公司还计划允许用户自己编辑 Sora 生成的内容,“因为 AI 工具并不总能生成准确的结果”。她说,公司正在试图找寻方法,使用户可以自行编辑、创作影音内容。当被问及 OpenAI 使用了哪些数据来训练 Sora 时,穆拉蒂没有给出非常具体的答案:“我不打算详谈所使
3/13/2024 10:30:35 PM
清源

Sora 团队负责人称 Sora“还不是一个产品”,短期不会向公众开放

感谢近日,YouTube 频道 WVFRM Podcast 在其节目中,邀请了 OpenAI 旗下文生视频模型 Sora 的核心团队成员参与访谈。IT之家注:三名成员包括 Bill Peebles、Tim Brooks 和 Aditya Ramesh,均为 Sora 项目负责人。这三名负责人谈到了 Sora 何时可供用户使用的问题,其称目前 Sora 仍处于反馈获取阶段,“还不是一个产品,短期之内不会向公众开放。”对于什么时候把它变成一个产品,我们目前甚至没有任何时间表。我们正处于获取反馈阶段。我们肯定会改进它,但
3/13/2024 4:31:15 PM
清源

OpenAI 视频生成服务 Sora 引发隐私担忧,意大利数据监管机构展开调查

感谢意大利数据保护机构 (Garante) 周五宣布,已对微软支持的 OpenAI 公司开发的一项服务展开调查,这个名为 Sora 的服务可以根据文本提示生成视频。监管机构要求 OpenAI 澄清其向用户和非用户告知其产品 Sora 使用的数据的方式是否符合欧盟法规。OpenAI 公司暂未对此事发表评论。意大利数据监管机构是欧盟国家中最为积极的监管机构之一,一直致力于评估人工智能平台是否符合欧盟的数据隐私法规。IT之家注意到,去年该机构就以涉嫌违规使用用户数据为由,禁止了聊天机器人 ChatGPT 在意大利的使用。
3/10/2024 5:42:41 PM
远洋

想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速

作为 2024 开年王炸,Sora 的出现树立了一个全新的追赶目标,每个文生视频的研究者都想在最短的时间内复现 Sora 的效果。根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。在报告公布后,Sora 核心研发成员 William Peebles 和纽约大学计算机科学助理教授谢赛宁合著的论文《Scalable Diffusion Models with Transform
2/29/2024 3:06:00 PM
机器之心

重磅发布!Stable Video 零基础使用教程及应用案例

前言 上周 Stable Video 开放公测,可以生成 4s 视频,我第一时间体验了一波。 相比 Sora 可生成 60s 多角度多机位多角色的视频,Stable Video 效果没有那么惊艳。但是相比市面上主流的 AI 视频 Runway、pika 等还是有一定优势的,下文中我也会进行效果对比。 目前 Stable Video 对所有用户都可以免费开发,每天可领 150 积分,图生视频每使用一次消耗 10 积分,文生视频消耗 11 积分,还可以付费升级。 接下来让我们一起来试一试吧。 关于 Sora:一、初步体
2/28/2024 7:39:34 AM
yaoyao

从 Sora 的发展史,聊聊设计师如何面对 AI 焦虑

经过春节小休整,很多朋友都鼓起信心重新出发,因为吉祥话听多了还是会受用,没想到返岗途中还没来得及跟大家道句开工大吉,资讯话题就被Sora的发布信息填满。 关于这款神器的详细介绍:Sora的发布让人感叹科幻电影都不敢这样拍,而且很多权威平台都认为奥特曼的大招还没亮出来,几句话做60秒视频只是前戏,先吊吊大家胃口,为他后面融资铺垫。此图最近已经符号化了 Sora这个名字据说来自日文中的“空”(そら sora),象征“无限创造力”,众所周知,空也是佛家用语,以我的无知只能找来《道德经》的“无”来应战,无中生有,有生于无,
2/27/2024 12:40:44 AM
设计史太浓

Sora 面世,视频生成的 GPT-3 时刻来了

2月16日凌晨,正值中国春节法定节假日期间,OpenAI 毫无预兆地发布了 AI 视频生成大模型 Sora。 看过视频效果后,网友纷纷感叹「现实,不存在了。 」不夸张地说,Sora 的技术结果直接碾压了过去世界范围内所有文生视频的探索结果,颠覆了 AI 短视频生成的现状。
2/26/2024 7:05:00 PM
林军

7000字干货!Sora 提示词秘籍和竞品效果对比

2024 年 2 月 16 日凌晨,OpenAI 正式发布了文本到视频生成模型 Sora,直接生成 60s 视频,多角色多镜头切换的视频,还上了央视新闻。 目前 Sora 并未开放,只向少数导演艺术家开放邀请码。 至此,好莱坞的时代结束了,人人可以做视频电影的时代到来啦! 今天我们就 Sora 生成视频来拆解提示词秘籍公式,竞品视频生成效果对比,解析 Sora 优势劣势和 Sora 模型原理。一、AIGC 视频模型效果对比 首先让我们看看,目前主流的 AI 视频工具 Runway、Pika、Stable Video
2/26/2024 7:38:08 AM
yaoyao

幼儿园学历都能看懂! Sora 技术原理科普

本文来源于公众号赛博禅心 ,作者金色传说大聪明 写在前面本文的阅读门槛很高,需要至少幼儿园毕业 本文讲述 Sora 的 Spacetime Patches 技术,此处意义为时空碎片 图片主要来自《哆啦 A 梦:二次元口袋照相机》 OpenAI 好棒,哆啦 A 梦好棒,我好棒!大雄慵懒地躺在房间的地毯上,眼神迷离地看着天花板上的光斑。他翻来覆去地玩着手中的老旧玩具小兵,回想着上个暑假和小伙伴们的那场刺激的野营冒险。大雄:“哆啦 A 梦,那次野营真的很好玩,但我现在只能记得一点点。要是能有办法随时重温那种感觉就好了。”
2/26/2024 1:29:58 AM

国内高校打造类Sora模型VDT,通用视频扩散Transformer被ICLR 2024接收

2 月 16 日,OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构,和市面上大部分主流方法(由 2D Stable Diffusion 扩展)并不相同。为什么 Sora 坚持使用 Diffusion Transformer,其中的原因从同时期发表在 ICLR 2024(VDT: General-purpose Video Diffusion Transformers via Mask Modeling)的论文可以窥见一二。这项工作由
2/25/2024 7:36:00 PM
机器之心

OpenAI工程师必备经典《苦涩的教训》,原来20多年前就有了原型

大量数据学习涌现出来的能力,终于超越了人们的想象。OpenAI 推出视频生成模型 Sora 已经一周的时间了,热度不减,作者团队还在持续放出让人眼前一亮的视频。比如「一群爱冒险的小狗探索天空废墟的电影预告片」,Sora 一次生成并自己完成剪辑。当然,一个个生动、逼真的 AI 视频让人们好奇为什么是 OpenAI 率先打造出了 Sora 并能够跑通所有 AGI 技术栈呢?这一问题在社交媒体上引发了热烈的讨论。其中,在一篇知乎文章中,加州大学伯克利分校计算机科学博士、作者 @SIY.Z 分析了 OpenAI 成功的一些
2/23/2024 11:06:00 AM
机器之心

Sora全球爆火,对设计师来说是机会还是挑战?

想必最近大家在网上都看到了有关 Sora 的信息,这是 OpenAI 在春节期间发布的一项令人难以置信的新技术,在人工智能领域,这可以说是颠覆性的突破和创新。简单来说,它是一个视频生成器,你给它一段文字,它就能帮你创造出你想要的视频作品!我们先来看一个 Sora 生成的视频。 这个视频的咒语(Prompt):一位时尚的女士穿着黑色皮夹克、长红裙和黑色靴子,手拿黑色手袋,在东京一条灯光温暖、霓虹灯闪烁、带有动感城市标志的街道上自信而随意地行走。她戴着太阳镜,涂着红色口红。街道潮湿而有反光效果,色彩缤纷的灯光仿佛在地面
2/23/2024 6:56:02 AM
团队58UXD

AI 视频新王者诞生!一文盘点 Sora 模型 14 项功能特点!

大家好,我是花生~ 2 月 16 日 OpenAI 发布了一个新的 AI 视频生成模型 Sora,它可以根据文本生成 60s 的高质量视频,完全突破了之前 AI 文生视频存在的各种局限,所以一出现就引起广泛关注和热烈讨论,大家应该对它都有所了解。今天就根据网上已公布的视频,对 Sora 的功能特性进行一个盘点总结,其中包含与 Runway、Pika 等 AI 视频工具的生成效果对比,让大家对 Sora 的能力有一个更直观全面的了解。 相关推荐:一、60s 超长视频 之前优设已经推荐过 AI 视频工具,比如 Runw
2/22/2024 8:51:19 AM
夏花生

Sora为何出自OpenAI?一线员工作息时间线揭秘:我们疯狂地卷

数数每天几个小时?为什么是 OpenAI 率先打造出了 Sora?现在全世界不论研究员、工程师还是投资人都在问这个问题。最近几天,人们对于视频大模型 Sora 的讨论热度持续升高,信息早已破了圈,相关的投资热点都已经出现了两轮。                               Sora 生成的「Flower tiger」视频。试问这种生成能力会催生多少新脑洞?在一篇文章中,加州大学伯克利分校计算机科学博士、知乎作者 @SIY.Z 分析了 OpenAI 成功的一些原因,包括:目标和商业模式明确:目标就是
2/21/2024 3:00:00 PM
机器之心