资讯/NEWS
PanoHead:360° 几何感知 3D 全头合成
发布于 2023/06/29  |  发表在 [ CG技术 ]    浏览 ( 1911 )      4
PanoHead:360° 几何感知 3D 全头部合成 - 可以从单张照片构建 3D 头部的生成技术!CVPR 2023 论文!

panohead_overview-min.gif

近年来,计算机视觉和计算机图形学领域对 3D 人体头部的合成和重建的兴趣有所增加。现有最先进的用于 3D 人体头部合成的 3D 生成对抗网络 (GAN) 仅限于近正面视图,或者难以在大视角下保持 3D 连贯性。我们建议使用 PanoHead。PanoHead 是第一个 3D 识别生成模型,能够对具有不同外观和详细形状的 360° 整个头部进行高质量视图一致的图像合成。其核心是提高最新 3D GAN 的表达能力,并填补从具有广泛分布视图的野外图像学习时的数据对齐差距。具体来说,我们提出了一种新颖的两步自适应图像对齐方法,用于稳健的 3D GAN 训练。此外,我们引入了一种三格神经体积表示,它有效地解决了额叶和枕骨特征的纠缠,植根于广泛采用的三平面公式。我们的方法通过将 2D 图像分割的先验知识融入到 3D 神经场景结构的对抗性学习中,实现了不同背景下的可合成头部合成。得益于这些设计优势,我们的方法显着优于传统的 3D GAN,并生成具有精确几何形状和多样化外观的高质量 3D 头部。此外,我们还表明,我们的系统可以从单个输入图像重建完整的 3D 头部,以获得个性化的逼真 3D 头像。

image.png

论文官网:https://sizhean.github.io/panohead

 收藏 (1)  喜欢 (0)