**划重点:**
1. 🌐3D画笔通过文本描述自动为网格上的局部语义区域着色,实现了直接在网格上进行纹理编辑的目的。
2. 🤖 研究团队采用级联分数蒸馏(CSD)和神经场来提高局部纹理区域的细节和分辨率。
3. 🚀 该方法使用在3D表面上定义的多层感知器,创建产生在3D中平滑变化的神经纹理,减少了纹理的噪点,并具有超分辨率能力。
AICMTY(aicmty.com)11月27日 消息:芝加哥大学的研究人员与Snap Research合作,推出了一种名为3D画笔(3D Paintbrush)的人工智能方法,通过文本描述自动生成网格上的局部语义区域的纹理。这一创新使得用户可以通过直观的、自由形式的文本输入控制纹理编辑,为各种网格描述其编辑。
为了提高局部纹理区域的细节和分辨率,研究团队引入了级联分数蒸馏(CSD)和神经场的概念。通过这些方法,他们能够修改定位区域并在局部区域内变形几何形状。采用多层感知器对神经场进行编码,以表示定位和纹理映射,确保了纹理的一致局部风格。
与现有模型相比,研究人员表示,3D画笔的定位更加清晰,并使用级联分数蒸馏控制监督的粒度和全局理解,实现了比其他SDS更高分辨率的纹理和定位。
该方法通过在3D表面上定义的多层感知器(MLPs)创建神经纹理,产生在3D中平滑变化的输出。这在2D纹理图在纹理接缝处存在不连续性时尤为重要。MLPs提供的平滑性减少了纹理的伪影,减少了噪点,并具有超分辨率能力。
研究团队同时优化了定位和纹理区域,他们发现同时优化可以产生高度详细的纹理,有效地符合预测的定位区域。未来,他们计划将局部编辑能力扩展到文本化以外,并学习使用相同的局部纹理图在多个形状之间提供对应关系。
这一研究为3D建模和纹理编辑领域带来了新的可能性,为游戏、动画、电影等各个行业提供了更加高效和直观的纹理编辑工具。
项目网址:https://threedle.github.io/3d-paintbrush/
论文地址:https://arxiv.org/abs/2311.09571