AIGC宇宙 AIGC宇宙

Sora

想训练类Sora模型吗?尤洋团队OpenDiT实现80%加速

作为 2024 开年王炸,Sora 的出现树立了一个全新的追赶目标,每个文生视频的研究者都想在最短的时间内复现 Sora 的效果。根据 OpenAI 披露的技术报告,Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式,并通过 Transformer 和扩散模型结合,展现了卓越的扩展(scale)特性。在报告公布后,Sora 核心研发成员 William Peebles 和纽约大学计算机科学助理教授谢赛宁合著的论文《Scalable Diffusion Models with Transform
2/29/2024 3:06:00 PM
机器之心

重磅发布!Stable Video 零基础使用教程及应用案例

前言 上周 Stable Video 开放公测,可以生成 4s 视频,我第一时间体验了一波。 相比 Sora 可生成 60s 多角度多机位多角色的视频,Stable Video 效果没有那么惊艳。但是相比市面上主流的 AI 视频 Runway、pika 等还是有一定优势的,下文中我也会进行效果对比。 目前 Stable Video 对所有用户都可以免费开发,每天可领 150 积分,图生视频每使用一次消耗 10 积分,文生视频消耗 11 积分,还可以付费升级。 接下来让我们一起来试一试吧。 关于 Sora:一、初步体
2/28/2024 7:39:34 AM
yaoyao

从 Sora 的发展史,聊聊设计师如何面对 AI 焦虑

经过春节小休整,很多朋友都鼓起信心重新出发,因为吉祥话听多了还是会受用,没想到返岗途中还没来得及跟大家道句开工大吉,资讯话题就被Sora的发布信息填满。 关于这款神器的详细介绍:Sora的发布让人感叹科幻电影都不敢这样拍,而且很多权威平台都认为奥特曼的大招还没亮出来,几句话做60秒视频只是前戏,先吊吊大家胃口,为他后面融资铺垫。此图最近已经符号化了 Sora这个名字据说来自日文中的“空”(そら sora),象征“无限创造力”,众所周知,空也是佛家用语,以我的无知只能找来《道德经》的“无”来应战,无中生有,有生于无,
2/27/2024 12:40:44 AM
设计史太浓

Sora 面世,视频生成的 GPT-3 时刻来了

2月16日凌晨,正值中国春节法定节假日期间,OpenAI 毫无预兆地发布了 AI 视频生成大模型 Sora。 看过视频效果后,网友纷纷感叹「现实,不存在了。 」不夸张地说,Sora 的技术结果直接碾压了过去世界范围内所有文生视频的探索结果,颠覆了 AI 短视频生成的现状。
2/26/2024 7:05:00 PM
林军

7000字干货!Sora 提示词秘籍和竞品效果对比

2024 年 2 月 16 日凌晨,OpenAI 正式发布了文本到视频生成模型 Sora,直接生成 60s 视频,多角色多镜头切换的视频,还上了央视新闻。 目前 Sora 并未开放,只向少数导演艺术家开放邀请码。 至此,好莱坞的时代结束了,人人可以做视频电影的时代到来啦! 今天我们就 Sora 生成视频来拆解提示词秘籍公式,竞品视频生成效果对比,解析 Sora 优势劣势和 Sora 模型原理。一、AIGC 视频模型效果对比 首先让我们看看,目前主流的 AI 视频工具 Runway、Pika、Stable Video
2/26/2024 7:38:08 AM
yaoyao

幼儿园学历都能看懂! Sora 技术原理科普

本文来源于公众号赛博禅心 ,作者金色传说大聪明 写在前面本文的阅读门槛很高,需要至少幼儿园毕业 本文讲述 Sora 的 Spacetime Patches 技术,此处意义为时空碎片 图片主要来自《哆啦 A 梦:二次元口袋照相机》 OpenAI 好棒,哆啦 A 梦好棒,我好棒!大雄慵懒地躺在房间的地毯上,眼神迷离地看着天花板上的光斑。他翻来覆去地玩着手中的老旧玩具小兵,回想着上个暑假和小伙伴们的那场刺激的野营冒险。大雄:“哆啦 A 梦,那次野营真的很好玩,但我现在只能记得一点点。要是能有办法随时重温那种感觉就好了。”
2/26/2024 1:29:58 AM

国内高校打造类Sora模型VDT,通用视频扩散Transformer被ICLR 2024接收

2 月 16 日,OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构,和市面上大部分主流方法(由 2D Stable Diffusion 扩展)并不相同。为什么 Sora 坚持使用 Diffusion Transformer,其中的原因从同时期发表在 ICLR 2024(VDT: General-purpose Video Diffusion Transformers via Mask Modeling)的论文可以窥见一二。这项工作由
2/25/2024 7:36:00 PM
机器之心

OpenAI工程师必备经典《苦涩的教训》,原来20多年前就有了原型

大量数据学习涌现出来的能力,终于超越了人们的想象。OpenAI 推出视频生成模型 Sora 已经一周的时间了,热度不减,作者团队还在持续放出让人眼前一亮的视频。比如「一群爱冒险的小狗探索天空废墟的电影预告片」,Sora 一次生成并自己完成剪辑。当然,一个个生动、逼真的 AI 视频让人们好奇为什么是 OpenAI 率先打造出了 Sora 并能够跑通所有 AGI 技术栈呢?这一问题在社交媒体上引发了热烈的讨论。其中,在一篇知乎文章中,加州大学伯克利分校计算机科学博士、作者 @SIY.Z 分析了 OpenAI 成功的一些
2/23/2024 11:06:00 AM
机器之心

Sora全球爆火,对设计师来说是机会还是挑战?

想必最近大家在网上都看到了有关 Sora 的信息,这是 OpenAI 在春节期间发布的一项令人难以置信的新技术,在人工智能领域,这可以说是颠覆性的突破和创新。简单来说,它是一个视频生成器,你给它一段文字,它就能帮你创造出你想要的视频作品!我们先来看一个 Sora 生成的视频。 这个视频的咒语(Prompt):一位时尚的女士穿着黑色皮夹克、长红裙和黑色靴子,手拿黑色手袋,在东京一条灯光温暖、霓虹灯闪烁、带有动感城市标志的街道上自信而随意地行走。她戴着太阳镜,涂着红色口红。街道潮湿而有反光效果,色彩缤纷的灯光仿佛在地面
2/23/2024 6:56:02 AM
团队58UXD

AI 视频新王者诞生!一文盘点 Sora 模型 14 项功能特点!

大家好,我是花生~ 2 月 16 日 OpenAI 发布了一个新的 AI 视频生成模型 Sora,它可以根据文本生成 60s 的高质量视频,完全突破了之前 AI 文生视频存在的各种局限,所以一出现就引起广泛关注和热烈讨论,大家应该对它都有所了解。今天就根据网上已公布的视频,对 Sora 的功能特性进行一个盘点总结,其中包含与 Runway、Pika 等 AI 视频工具的生成效果对比,让大家对 Sora 的能力有一个更直观全面的了解。 相关推荐:一、60s 超长视频 之前优设已经推荐过 AI 视频工具,比如 Runw
2/22/2024 8:51:19 AM
夏花生

Sora为何出自OpenAI?一线员工作息时间线揭秘:我们疯狂地卷

数数每天几个小时?为什么是 OpenAI 率先打造出了 Sora?现在全世界不论研究员、工程师还是投资人都在问这个问题。最近几天,人们对于视频大模型 Sora 的讨论热度持续升高,信息早已破了圈,相关的投资热点都已经出现了两轮。                               Sora 生成的「Flower tiger」视频。试问这种生成能力会催生多少新脑洞?在一篇文章中,加州大学伯克利分校计算机科学博士、知乎作者 @SIY.Z 分析了 OpenAI 成功的一些原因,包括:目标和商业模式明确:目标就是
2/21/2024 3:00:00 PM
机器之心

出圈的Sora带火DiT,连登GitHub热榜,已进化出新版本SiT

好的研究不会被埋没,只会历久弥新。虽然已经发布近一周时间,OpenAI 视频生成大模型 Sora 的影响仍在继续!其中,Sora 研发负责人之一 Bill Peebles 与纽约大学助理教授谢赛宁撰写的 DiT(扩散 Transformer)论文《Scalable Diffusion Models with Transformers》被认为是此次 Sora 背后的重要技术基础之一。该论文被 ICCV 2023 接收。论文地址: 地址:,DiT 论文和 GitHub 项目的热度水涨船高,重新收获大量关注。论文出现在
2/21/2024 2:54:00 PM
机器之心

几小时前,OpenAI 爆款工具 Sora 被取消了静音模式

机器之能报道编辑:Sia简单文字提示,即可为这些“默片”增添声音效果。当你被 OpenAI Sora 生成的这些视频震撼时,有没有潜意识里总觉得还缺点啥?视频链接:“短视频”是不是差不多?这是 1895 年路易斯·卢米埃尔导演的《火车进站》,固定机位,一镜到底拍摄火车开进站台的场景。视频链接:《工厂大门》的效果是这样的:视频链接:,即使是默片也并非一点声音也没有。放映时,影院里会有乐团(大到一个乐团、小到一位钢琴师)根据剧情演奏音乐,用音乐渲染情绪,推动情节发展。现在,AI 语音克隆初创公司 ElevenLabs
2/20/2024 4:05:00 PM
机器之能

降维式打击!像素级拆解文生视频大模型Sora

Openai 发布了它的文生视频大模型 Sora。 终于 Openai 也加入了 AI 视频的战争,在此之前 Runway 和一众 AI 视频公司已经奋战了一年多,SD 最近也发布了他们产品化的 AI 视频工具,midjourney 也是即将要发布文生视频功能。 但是这次 Openai 的 Sora 基本上对于之前的文生视频模型都是碾压级的,全球的 AI 视频公司都要睡不着了。 官网: Sora 并没有公开对大家开放测试入口,只发布了一个官方给大家展示效果。 其中的关键信息是:最长生成 60s 视频,视频镜头一致
2/20/2024 1:30:06 AM
逗砂

揭秘Sora技术路线:核心成员来自伯克利,基础论文曾被CVPR拒稿

至此已成艺术的 Sora,是从哪条技术路线发展出来的?最近几天,据说全世界的风投机构开会都在大谈 Sora。自去年初 ChatGPT 引发全科技领域军备竞赛之后,已经没有人愿意在新的 AI 生成视频赛道上落后了。在这个问题上,人们早有预判,但也始料未及:AI 生成视频,是继文本生成、图像生成以后技术持续发展的方向,此前也有不少科技公司抢跑推出自己的视频生成技术。不过当 OpenAI 出手发布 Sora 之后,我们却立即有了「发现新世界」的感觉 —— 效果和之前的技术相比高出了几个档次。               
2/19/2024 3:21:00 PM
机器之心

Sora到底懂不懂物理世界?一场头脑风暴正在AI圈大佬间展开

Sora 到底是不是物理引擎甚至世界模型?图灵奖得主 Yann LeCun、Keras 之父 Francois Chollet 等人正在深入探讨。最近几天,OpenAI 发布的视频生成模型 Sora 成了全世界关注的焦点。和以往只能生成几秒钟视频的模型不同,Sora 把生成视频的长度一下子拉长到 60 秒。而且,它不仅能了解用户在 Prompt 中提出的要求,还能 get 到人、物在物理世界中的存在方式。以经典的「海盗船在咖啡杯中缠斗」为例。为了让生成效果看起来逼真,Sora 需要克服以下几个物理难点:  规模和比
2/19/2024 3:15:00 PM
机器之心

真·降维打击,Sora与Runway、Pika的对比来了,震撼效果背后是物理引擎模拟现实世界

以后的视频生成领域,恐怕真的只有 OpenAI 的 Sora 和其他模型了。昨天,OpenAI 发布的首个文本生成视频模型 Sora 引爆了社区,其生成的长达 1 分钟的高清、流畅视频令人们惊叹不已,直呼「好莱坞的时代结束了」。仅仅一年时间,文本生成视频的效果迎来了质的飞跃。                              图源:,随着 Sora 加入这场视频生成领域的战争,受到冲击最大的是同类竞品模型,比如 Runway、Pika、SDV、谷歌和 Meta。看到 Sora 的生成效果之后,很多人认为,S
2/19/2024 12:11:00 PM
机器之心

OpenAI允许员工出售股份,交易后估值超800亿,Altman在线招人

今日,《纽约时报》援引三位知情人士消息,OpenAI 已经完成一项允许员工出售公司股份的交易。这家旧金山 AI 公司估值也因此水涨船高至 800 亿美元或更高(彭博社报道的估值是 860 亿美元)。去年 4 月,OpenAI 曾以近 300 亿美元的估值完成了首轮股票出售。当时,风险投资公司 Thrive Capital、红杉资本、Andreessen Horowitz 和 K2 Global 同意收购 OpenAI 的股票,对该公司的估值约为 290 亿美元。如今不到 10 个月的时间里,OpenAI 估值几乎翻
2/19/2024 12:00:00 PM
机器之心