官方链接
介绍
阿里终于整活了,刚刚阿里发布了一个大模型的展示页面,提出了一个名叫 EMO(Emote Portrait Alive)
的大模型,一种富有表现力的音频驱动
的基于人物肖像
生成视频
的框架。具体来讲就是,输入单个参考人物肖像图像和语音(例如讲话或者唱歌等),可以生成具有丰富的面部表情
和各种头部姿势
的声音头像视频
,同时可以根据输入视频的长度生成任意持续时间的视频。如下示意图。
所以总结下来特点如下:
- 只需要一张人物肖像照片,包括:现实照片、动漫照片、AI 生成的照片等等
- 只需要一段音频,包括:演讲、唱歌、讲话等等
- 生成符合音频内容的丰富的面部表情
- 生成任意时长的视频
原理
模型采用 stable diffusion
这一当下的主流框架作为整个模型基础框架,整个框架主要由两个阶段组成:在称为 Frames Encoding
这一初始阶段,ReferenceNet
用于从 reference image
和 motion frames
中提取特征。然后进入 Diffusion Process
阶段,模型输入不仅包括上面的两种特征,还需要预训练的 audio encoder
处理的音频特征,speed encoder
处理的头部速度嵌入,还有照片中的面部区域掩码特征以及多帧噪声集,通过主干网络的反复去燥操作完美控制面部图像的生成。
在主干网络中,除了 Self-Attention
,还应用了两种形式的注意力机制:Reference-Attention
和 Audio-Attention
。这两种机制分别对于保留角色的身份和调节角色的动作至关重要。此外 Temporal Modules
用于操纵时间维度,并调整运动速度。
效果展示
墙裂推荐一定要去官网看看,效果惊人!
Character: AI Girl generated by ChilloutMix
:这是用 ChilloutMix 模型生成的图片,然后用图片生成视频演唱 宁艺卓 《Melody》 ,先不说人美歌赞,光是唱歌时候面部的微表情真的是陶醉在音乐里的感觉。
Character: KUN KUN
:谁说我们坤坤没有实力,这就是证据,看看这 RAP 饶舌,一字不差,吐字清晰,真的是溜得飞起【六到已经翻白眼】~~
Character: AI Ymir from AnyLora & Ymir Fritz Adult
:这是位动漫人物,很好的满足了二次元宅男想让女神唱歌的梦想,我也想让我的女神唱只属于我们俩的歌,略略~~~
Character: Joaquin Rafael Phoenix - The Jocker - 《Jocker 2019》
:看看小丑在你面前一本正经的坐着讲话,还瞪着你,就问你慌不慌
Character: SongWen Zhang - QiQiang Gao - 《The Knockout》
:呦呦呦,这不是京海的高启强吗,怎么都开始直播普法节目了?果然京海不允许这么牛逼的人一直存在下去,改行当老师也不错,肯定比卖鱼挣得多。
Character: Leslie Cheung Kwok Wing
:最后出场的自然是我们敬爱的哥哥,不管什么时候,唱歌都是最棒的,美人如玉说的就是他吧。
未来畅想
以后我开发的 AAP ,只需要让用户点击两个按钮:
- 选择歌手照片
- 选择歌曲名字
如果是我的话,我希望能听这些歌曲:
那英:《冲动的惩罚》
汪峰:《冲动的惩罚》
杨坤:《冲动的惩罚》
杨坤:《惊雷》
姜昆:《探清水河》
姜昆:《我这一辈子》
- ……
大家还有什么想听的,不妨评论区说说。