DreamWaltz

DreamWaltz官网链接地址：https://www.lookie.so/

DreamWaltz 介绍

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

DreamWaltz用户群体

DreamWaltz-G的目标受众是3D动画师、游戏开发者、虚拟现实内容创作者以及任何需要生成或编辑3D头像和动画的专业人士。该技术可以简化3D内容的创建过程，提高动画的质量和表现力，同时降低技术门槛，使得非专业人士也能轻松创建个性化的3D头像和动画。

动画师使用DreamWaltz-G为电影制作高质量的3D动画角色。

游戏开发者利用该框架生成游戏中的NPC角色和动画。

虚拟现实内容创作者使用DreamWaltz-G创建互动式虚拟角色。

DreamWaltz的核心功能

• 骨架引导的评分蒸馏：将3D人类模板的骨架控制集成到2D扩散模型中，提高生成头像的一致性。
• 混合3D高斯头像表示：结合神经隐式场和参数化3D网格，支持实时渲染和稳定优化。
• 高质量的头像生成：解决多重面孔、额外肢体和模糊等问题。
• 支持多种应用：包括视频重演和多主题场景组合。
• 文本驱动的3D头像创建：用户可以通过文本描述生成3D头像。
• 表达性的全身动画：生成的3D头像可以进行富有表现力的全身动画。
• 训练时形状控制：通过修改SMPL-X模板，在训练时控制形状。
• 推理时形状编辑：通过显式调整3D高斯，在推理时编辑形状。