官方链接
介绍
阿里终于整活了，刚刚阿里发布了一个大模型的展示页面，提出了一个名叫 EMO（Emote Portrait Alive） 的大模型，一种富有表现力的音频驱动的基于人物肖像生成视频的框架。具体来讲就是，输入单个参考人物肖像图像和语音（例如讲话或者唱歌等），可以生成具有丰富的面部表情和各种头部姿势的声音头像视频，同时可以根据输入视频的长度生成任意持续时间的视频。如下示意图。
所以总结下来特点如下：
- 只需要一张人物肖像照片，包括：现实照片、动漫照片、AI 生成的照片等等
- 只需要一段音频，包括：演讲、唱歌、讲话等等
- 生成符合音频内容的丰富的面部表情
- 生成任意时长的视频
原理
模型采用 stable diffusion 这一当下的主流框架作为整个模型基础框架，整个框架主要由两个阶段组成：在称为 Frames Encoding 这一初始阶段，ReferenceNet 用于从 reference image 和 motion frames 中提取特征。然后进入 Diffusion Process 阶段，模型输入不仅包括上面的两种特征，还需要预训练的 audio encoder 处理的音频特征，speed encoder 处理的头部速度嵌入，还有照片中的面部区域掩码特征以及多帧噪声集，通过主干网络的反复去燥操作完美控制面部图像的生成。
在主干网络中，除了 Self-Attention ，还应用了两种形式的注意力机制：Reference-Attention 和 Audio-Attention 。这两种机制分别对于保留角色的身份和调节角色的动作至关重要。此外 Temporal Modules 用于操纵时间维度，并调整运动速度。
效果展示
墙裂推荐一定要去官网看看，效果惊人！
Character: AI Girl generated by ChilloutMix：这是用 ChilloutMix 模型生成的图片，然后用图片生成视频演唱 宁艺卓 《Melody》 ，先不说人美歌赞，光是唱歌时候面部的微表情真的是陶醉在音乐里的感觉。
Character: KUN KUN：谁说我们坤坤没有实力，这就是证据，看看这 RAP 饶舌，一字不差，吐字清晰，真的是溜得飞起【六到已经翻白眼】～～
Character: AI Ymir from AnyLora & Ymir Fritz Adult：这是位动漫人物，很好的满足了二次元宅男想让女神唱歌的梦想，我也想让我的女神唱只属于我们俩的歌，略略～～～
Character: Joaquin Rafael Phoenix - The Jocker - 《Jocker 2019》：看看小丑在你面前一本正经的坐着讲话，还瞪着你，就问你慌不慌
Character: SongWen Zhang - QiQiang Gao - 《The Knockout》：呦呦呦，这不是京海的高启强吗，怎么都开始直播普法节目了？果然京海不允许这么牛逼的人一直存在下去，改行当老师也不错，肯定比卖鱼挣得多。
Character: Leslie Cheung Kwok Wing：最后出场的自然是我们敬爱的哥哥，不管什么时候，唱歌都是最棒的，美人如玉说的就是他吧。
未来畅想
以后我开发的 AAP ，只需要让用户点击两个按钮：
- 选择歌手照片
- 选择歌曲名字
如果是我的话，我希望能听这些歌曲:
那英：《冲动的惩罚》汪峰：《冲动的惩罚》杨坤：《冲动的惩罚》杨坤：《惊雷》姜昆：《探清水河》姜昆：《我这一辈子》- ……
大家还有什么想听的，不妨评论区说说。
