AI视频生成工具卷起来了!
本周二,Stability AI低调发布了首个开源AI视频模型Stable Video Diffusion(以下简称SVD),同时还晒出测试数据称,SVD的模型性能碾压RunwayML、Pika Labs等领先的闭源商业模型。
大家可能不认识Stability AI,但一定听过它开发的、同样是开源的热门文生图模型Stable Diffusion(以下简称SD),不少人首次接触AI绘画,甚至AIGC领域,都是从SD开始的。
这次Stability AI下场,一个不小心又开源了AI视频模型,如今已集齐图像、语言、音频等多领域开源大模型,引得一众网友纷纷表示“终于等到你”,SVD上线消息不到48小时,X浏览量就破了80万。
热度拉满,SVD表现如何?
与市面上主流的AI视频生成模型功能类似,SVD支持用户输入文本或是图片来生成视频。
具体效果如何?先感受一波官方放出的亿点点震撼。
文生视频:
图生视频:
针对“图生视频”功能,Stable Video Diffusion提供两种版本模型,用户可以以每秒3~30帧之间的自定义帧速率生成SVD(14帧)和SVD-XT(25帧)的视频。
简单理解,帧率越高,视频画面越流畅。
值得一提是,Stable Video Diffusion还可以根据单个输入图像生成多个视角的视频内容。对创意视频工作者来说,这个功能非常炸裂。
例如,以往需要大费周章实拍的镜头,现在AI用一张图片就能生成多角度的视频素材,极大地节省拍摄人力和时间。
随着Stability AI加入视频生成模型混战,有网友不禁感叹:“先RunwayML,后meta,现在再来一个Stable Diffusion,恐怕不久,用AI就能搞定一整部电影了。”
这不,说来就来,网友们的“大片”已经刷屏X(推特)。
“燃烧的树”:
“会动的梵高星空”
“AI想象的未来世界”:
“3D太阳花”
其中在X上被疯转的一支视频,因为太过丝滑和流畅,真实到让人迷惑是不是信息流里混进了游戏录屏。
该视频出自X博主“fofr”,据他介绍,喂给SVD的参考图是Midjourney生成的,最终生成出来的效果连他自己都大受震撼:“就像真实的游戏镜头。”
拿原始参考图对比视频,不能说很像,只能说一模一样。
头一波尝鲜的X博主“歸藏”用SVD生成了一组包括人像、花卉、自然风景的视频,既有超现实的海上风景,也有像是电影实拍的人物肖像和自然花卉。
一番测试下来,“歸藏”认为SVD可以自动判断哪些地方该动以及应该怎样动,在复杂内容(如人脸)生成上不会出现像Runway一样画面崩坏的问题。
看到这里,“头号AI玩家”也忍不住去HuggingFace浅试了一波。
注意!这不是《塞尔达》游戏录屏,而是SVD根据游戏截图生成的AI视频🔽
为了测测SVD人脸生成怎么样,我先去SD生成了一张图片,输入提示词是:Portrait of an elegant woman。
可以看到,视频在眼睛处理上存在严重失真(前方高能)🔽
不过,调小了动作幅度之后,生成的效果确实不错🔽
目前SVD只发布了基础模型,想要体验SVD又苦于硬件实力不够的玩家,可以上HuggingFace体验SVD的“图生视频”功能。
进入界面,左边拖入图片,右边为生成的视频,点击高级选项,可选择种子(Seed)编号、控制运动幅度以及调节帧率等,设置好后,点击“Generate”即可生成视频。
当然,你也可以做“等等党”申请官方应用候补名单,蹲一个更好的使用体验。(以上链接已整理至文末)
总的来说,相比早前“头号AI玩家”报道的Runway Gen-2,从各路网友的测评以及HuggingFace体验上来看,SVD的生成效果确实有两把刷子,但最终落地到应用端SVD能否吊打RunwayML、Pika Labs还有待观察。
毕竟SVD还是一款处于研究阶段的模型,现在只能用于研究和其他非商业目的。但耐不住“真香”的是,官方透露接下来会继续扩展SVD,建立一个类似于SD的生态系统。
要知道SD开源+商用的组合,之前可是引领了AI绘画的热潮。如果未来SVD重复SD的路子,再结合Stability AI丰富的图像影音开源生态,搞不好“人人都是导演”的时代还真离我们不远了。
AI视频生成工具大混战
最近小半年,AI视频生成工具迎来了一波密集的升级换代。
2023年7月,“黑马”Pika labs开始内测,用户通过聊天框输入文字指令就能生成视频,而后Pika Labs还上线了“图片加文本生成视频”的功能,效果一度被誉为媲美Runway。
10月,初创企业Moonvalley由AI图/文生成转向AI视频生成,推出号称“史上最强大的视频生成AI”,一句提示词就能生成16:9电影画质的高清视频。
10月末,Genmo发布Replay0.2版本,上线图片转视频的功能,分辨率提高2.7倍。
同一时期,开源框架AnimateDiff在网上走红,因可控性高、生成动画视频质量好而备受青睐。
AnimateDiff团队更新也很频繁,从一开始只能生成16帧动画,到9月更新V2版本之后,单次可生成32帧的动画,大大提升了动画生成质量,并且后续还推出了LoRA镜头控制功能,帮助用户获得更精确的生成效果。
进入11月,Runway推出“里程碑式更新”,Gen-2分辨率提升至4K,视频保真度和一致性有了重大提升。
上个星期,社交媒体巨头Meta推出了两项AI视频编辑新功能,即将引入Instagram或Facebook。其中,Emu Video可以根据字幕、图像、文字描述等自动生成四秒长的视频;
Emu Edit则允许用户通过文本指令修改或编辑视频,没有专业图像编辑经验的普通人,动动手就能做后期。
最近,Gen-2指哪儿画哪儿的“运动笔刷”也正式上线。
各家你追我赶的架势,不仅让卷出来的产品效果和用户体验越来越好,还悄悄改变着每一个普通人对视频创作的认知。
如今,Stability AI入局更让人期待接下来AI视频生成工具的走向,各位玩家认为,未来做视频会像打字一样简单吗?评论区见。
项目地址:
https://github.com/Stability-AI/generative-models
HuggingFace地址:
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid
官方应用候补名单申请:
https://stability.ai/contact