谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!

释放双眼,带上耳机,听听看~!
谷歌最新发布的AI视频编辑工具VLOGGER集合了前沿AI技能,实现了视频编辑的新突破。文章介绍了VLOGGER的工作原理和多面能力,以及生成的视频效果和存在的问题。想了解更多AIGC的内容,请访问51CTO AI.x社区。

出品 | 51CTO技术栈(微信号:blog51cto)

编译丨伊风

视频生成模型的脚步永不停歇!

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

4月2日,谷歌刚刚发布了强到可怕的AI视频编辑工具VLOGGER。VLOGGER就像收集了很多视频生成领域的前沿AI技能,而打造出的一款百宝箱。其中也有一些亮点细节,例如通过AI编辑,将让画面中讲话者的闭眼、闭嘴、甚至“wink”。

这意味着视频编辑在细节的深入上又精进了一个level!

VLOGGER的工作原理即输入音频和图像, 由“读唇器”根据音频预测说话者的动作,而“动画器”根据说话者的照片和动作细节创建视频帧。

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

 

要知道VLOGGER这个百宝箱里都装了什么,可以跟随以下示例来看!

1.VLOGGER的多面能力

基础的图生视频功能

将图片驱动为一段视频。

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

多语种唇形切换

输入一种语言的视频和另一种语言的音频,它能根据新输入的语言调整说话者的嘴部动作!

顺便一提,OpenAI的VOICE ENGINE也在关注多语种的能力。可以根据一段音频生成一段保留原声音色及口音的外语视频,如果这些能力都能打通,那么音视频内容的出海将会畅通无阻。 

 

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

表情细节编辑

VLOGGER使得表情编辑更进一步,例如单独控制一只眼睛等。通过使用工具,将生成新的面部表情和动作,用以提升视频的创意。 

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

2.最终效果,进步了但未完全消除“恐怖谷”

谷歌发布强大AI视频编辑工具VLOGGER,视频生成模型的新突破!图片

毫无疑问VLOGGER的视频留下了令人印象深刻的亮点。如讲话时自然的身体姿势,增加手部运动以在一定程度上提升了视频的真实感。然而,生成的表情和动作比起真实视频还存在机械感重、不流畅的问题,因此会存在一定的“恐怖谷”效应。

参考链接:https://twitter.com/hey_madni/status/1774832882902864327

想了解更多AIGC的内容,请访问:

51CTO AI.x社区

https://www.51cto.com/aigc/

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

人工智能和半导体:共生关系与发展趋势

2024-4-7 12:40:04

AI资讯

AI训练数据购买热潮:科技巨头争相疯抢的大规模数据市场

2024-4-7 14:32:40

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索