Generative Rendering：2D mesh

Generative Rendering：2D mesh官网链接地址：https://primecai.github.io/generative_rendering/

网站默认显示语言：德语

Generative Rendering：2D mesh 介绍

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。

Generative Rendering：2D mesh用户群体

适用于需要生成控制视频的场景，例如动画制作、特效制作等

影视制作：使用VideoSwap将主角换成不同的演员，实现更好的视觉效果。广告制作：使用VideoSwap将产品的形象替换进视频中，吸引更多目光。个人视频创作：使用VideoSwap将自己的形象替换进视频中，制作更有趣的视频。

Generative Rendering：2D mesh的核心功能

• 接受来自动画3D场景的UV和深度贴图作为输入，使用深度条件的ControlNet生成对应帧，同时利用UV对应关系保持一致性，初始化每个对象UV空间中的噪声，然后将其渲染到每个图像中，对于每个扩散步骤，首先为一组关键帧使用扩展注意力并提取它们的预处理和后处理注意力特征，将后处理注意力特征投影到UV空间并统一，最后，使用扩展注意力的输出与关键帧的预处理特征以及关键帧的UV组合后处理特征的加权组合生成所有帧。