前言
大家好,我是陈同学,感谢各位的点赞、收藏、评论
2月16日凌晨OpenAI发布了文本生成视频的新应用模型Sora
官方出品必属精品!
Link:openai.com/sora
本文阅读成本与收益如下:
阅读耗时:3mins
预期效益
- 认识
Sora
- 了解
Sora
的不足 - 如何体验
Sora
的能力 Sora
技术原理分析报告
认识SORA
Sora
是OpenAI首个视频生成模型,拥有与DALL·E 3的画面质量以及指令能力
Sora 在日语中意为天空,之所以选择这个名字,是希望它能激起无限的创造潜力。
该模型可以帮助用户通过简单的文本描述视频中的内容,即可在短时间内得到一个分钟级别的视频素材
官方给出来不少prompt生成视频的例子:
- 一位富有气质的女生走在人来人往的街道上:视频呈现的效果如同真实摄像机拍摄得到,镜头距离人物由远到静,甚至可以生成人物的细节,模拟特写效果
- 生成一段加州淘金热时期的历史录像:视频画质稍带历史年代感的模糊效果,内容方面模拟了古代村落的景观
- ……
当然还有非常多的例子,这里不一一列举,感兴趣的小伙伴执行查看官网的视频~
总的来说 Sora
能够生成具有多个角色、特定运动类型以及主题和背景的准确细节的复杂场景,并具有以下特性
- 理解用户在提示中所要求的内容,而且还理解这些事物在物理世界中的存在方式。
- 对语言有着深刻的理解,使其能够准确地解释提示,并生成令人信服的字符
- 能够表达充满活力的情感
- 在一个生成的视频中创建多个镜头,以准确地保存字符和视觉风格
了解Sora
的不足
Sora
目前存在明显弱点,可能难以非常准确保证模拟复杂场景的物理过程,也可能无法理解因果关系的具体实例。比如:一个人可能咬了一口饼干,但之后饼干上可能没有咬痕。
该模型还可能混淆提示的空间细节,例如:混淆左右,并可能难以准确描述随着时间发生的事件,比如跟随特定的摄像头轨迹。
例子:
- 步进打印一个人奔跑的场景,电影胶片拍摄在35毫米。(制造出身体上令人难以置信的动作:人在跑步机上的跑步方向不寻常)
- 五只灰狼幼崽在一条偏远的砾石路上嬉戏,相互追逐,周围是草。幼崽们奔跑跳跃,互相追逐,相互咬咬,嬉戏。(制作了一段动物不断增加的视频:狼的数量会变化,一些凭空出现或消失)
如何体验Sora
的能力
暂时还没收到官方的邀请,有兴趣的小伙伴可以一起蹲一下哈
感受
从22年的ChatGPT、midjourney的模型生文生图,到今天的视频生成的只用了短短的一年时间,这一年以来关于人工智能的各种出圈都非常让人震惊,仿佛每隔几个月都开始科技圈 / 技术圈的一次盛宴,AIGC带来的能力逐渐从台后来到台前帮助人们更好的工作与生活,未来内容生成的应用将会更加的广泛。
参考
-
官方模型首页:openai.com/sora
-
官方研究报告:openai.com/research/vi…
-
NaViT,适用于任何宽高比和分辨率的视觉转换器:arxiv.org/pdf/2307.06…
-
知乎Sora技术相关优秀回复:www.zhihu.com/question/64…
讲到最后
2024新年假期接近尾声,准备上班了,写篇文章热热身,争取2024持续输出内容~