GSH3D：高效地从二维图像集合中生成三维高斯人类模型

《Knowledge-Based Systems》：GSH3D: Efficient 3D Gau ssian Human Generation from 2D Image Collections

高效3D高斯人体生成方法通过区域对抗生成网络与参数化模型结合，解决渲染效率低和细节恢复不足问题。

　　

Kangkan Wang | Miao Zhao | Shao-Yuan Li

教育部高维信息智能感知与系统重点实验室，南京科技大学计算机科学与工程学院，南京，210094，江苏，中国

摘要

从2D图像集合中学习生成3D人体是一个具有挑战性的问题。以往的方法使用生成模型通过预测3D隐式神经表示或一组3D高斯分布来生成具有3D感知的视图合成。然而，基于神经表示的方法存在渲染效率低和多视图不一致的问题，而基于3D高斯分布的方法的合成质量有限，且无法恢复人体的几何形状。为了解决这些问题，我们提出了一种使用生成对抗网络（GANs）的新型3D高斯人体生成方法，称为$\mathrm{GSH}3D$。具体来说，为了表示多样化的人体，我们在参数化人体模型上初始化3D高斯分布，并用高斯位置偏移来模拟人体细节。然后使用基于CNN的生成器将高斯属性编码到模板模型的2D UV特征图中。为了有效地恢复人体细节，我们提出了一个基于区域的GANs，该GANs专注于使用独立的生成器和鉴别器对来建模局部人体部分（即头部、身体和腿部）。此外，我们仔细设计了高斯属性优化的正则化策略，以确保GANs训练的成功。与现有方法相比，我们的方法能够高效地渲染出视图一致的高质量图像，并从预测的3D高斯分布中提取出详细的几何信息。广泛的实验结果表明，它在从单视图图像集合生成3D人体方面优于现有方法。

引言

作为计算机视觉和图形学中的一个长期存在的问题，高保真3D人体生成近年来由于其在虚拟试穿、AR/VR和电影制作中的广泛应用而受到越来越多的关注。给定单视图2D图像数据集，其目标是学习具有明确控制（如人体姿势、形状和外观代码）的3D人体生成。在之前的系统中，3D人体是通过艺术设计或专业软件创建的，这需要大量的时间和精力。得益于生成模型[1]、[2]的成功，基于3D感知的生成模型在生成视图一致的3D面部[3]或物体[4]方面取得了很大进展。然而，高效生成具有高质量渲染和详细几何形状的3D人体仍然具有挑战性，因为人体可能具有任意的形状和姿势，以及复杂的衣物和细节（例如头发和衣物）。

先前的工作[5]、[6]、[7]主要使用生成对抗网络（GANs）[1]通过将神经渲染的分布接近真实图像数据集的分布来预测3D神经表示（例如NeRFs [8]）。尽管实现了令人印象深刻的人体合成，但这些基于3D感知的GANs方法存在渲染效率低、质量差和多视图不一致的问题。这些限制主要是由于3D神经表示的体积渲染[8]需要大量的内存和计算资源。通常，这些方法首先生成低分辨率的渲染，然后通过连续的超分辨率模块生成高分辨率图像。然而，由于这些高分辨率图像不是从3D一致的表示中合成的，因此无法支持多视图一致性。最近，EVA3D [9]采用了一种用于分解人体的组合神经表示，实现了高分辨率渲染。然而，由于需要为不同的人体部分建模多个神经场，EVA3D的图像渲染效率变得更差。

一项非常新的工作，高斯壳映射（GSM）[10]，利用3D高斯表示通过GANs高效生成人体。由于没有神经表示的渲染限制，3D高斯拼接[11]可以实时实现高分辨率合成。然而，GSM中高斯的固定位置限制了3D高斯的表示能力，导致生成质量下降。此外，从GSM中提取人体几何形状不方便，因为它们与人体表面的对齐效果不佳。为了生成3D高斯人体，还有三个主要挑战需要解决。首先，由于姿势和形状的任意性以及衣物的多样性，使用统一的3D高斯表示来建模穿着人体是具有挑战性的。其次，3D高斯的非结构化特性使得它们不适合使用深度神经网络进行学习。第三，穿着人体上丰富的纹理和几何细节难以通过GANs恢复。第三，3D高斯在表示上非常具有表现力，但在训练中对梯度更新也非常敏感，容易导致训练不稳定和学习失败。

在本文中，我们提出了$\mathrm{GSH}3D$，一种使用GANs从单视图2D图像集合生成3D高斯人体的方法，该方法实现了高分辨率渲染和详细几何信息的恢复。具体来说，为了表示不同姿势和形状的多样化穿着人体，我们在参数化人体模型（例如SMPL [12]）的三角形顶点上插值一组3D高斯分布，并用预测的位置偏移来模拟人体细节。通过将模板SMPL模型展开到图像空间的2D UV布局中，我们将每个3D高斯中心分配一个固定的UV坐标，并将高斯属性编码到UV特征图中，这有助于使用基于CNN的生成器[13]进行学习。这种3D高斯表示不仅利用了人体先验，还可以用人体参数（如人体形状和姿势）来驱动。特别是，我们像[14]、[15]那样对3D高斯进行了扁平化处理，以便从预测的3D高斯中准确提取人体几何形状。

为了恢复人体细节，我们提出了一个基于区域的GANs，该GANs可以全局和局部地学习3D人体生成。具体来说，整个人体被分解为局部部分（即头部、身体和腿部），并引入多对生成器和鉴别器以对抗式方式学习相应部分的生成。基于区域的GANs通过专注于在局部区域提取高效特征来可靠地捕获人体细节，同时利用生成器和鉴别器的协作。此外，为了稳定对抗训练，我们仔细设计了一组正则化策略来约束3D高斯属性的学习。具体来说，在优化过程中，我们考虑了对高斯偏移和旋转的最小增量、高斯偏移图的变化平滑性以及高斯尺度和不透明度的?₂正则化。高斯尺度也可以根据3D高斯的密度动态调整。这些正则化策略有效地稳定了训练过程并提高了合成质量。

与以往的工作相比，我们的方法能够在输入分辨率（512×512像素）下高效地渲染出高保真图像，并从生成的3D高斯人体中恢复详细的人体几何信息。在DeepFashion [16]和SHHQ [17]数据集上的实验结果表明，所提出的方法可以从单视图2D图像集合中学习到更高质量的3D高斯人体生成。总之，这项工作的主要贡献包括：

• 我们提出了一种从2D图像数据集生成3D高斯人体的新方法，该方法使用低端GPU（单个3090Ti）就能生成高质量合成和详细几何信息的多样化穿着人体。
• 我们提出了一种基于单2D UV图的新3D高斯人体表示方法，该方法使用高斯偏移来模拟人体细节，便于使用基于CNN的生成器预测高斯属性。
• 我们提出了一个基于区域的GANs用于3D人体生成，该方法使用独立的生成器和鉴别器对来模拟不同的人体部分（即头部、身体和腿部），实现了详细的人体恢复。
• 我们仔细设计了正则化策略，以促进在基于梯度的GANs训练中难以优化的高斯属性的成功学习。

相关工作

相关工作

3D感知生成模型。一种3D感知生成模型基于GANs学习3D表示。3D表示在合成质量中起着重要作用，主要包括网格[18]、[19]、[20]、[21]、体素网格[22]、[23]、3D基本体[24]、[25]或3D神经表示[3]、[26]、[27]。其中，基于神经表示的生成模型由于高保真合成而最受欢迎。EG3D [3]引入了一种轻量级的3D三平面

提出的方法

从单视图2D图像数据集出发，我们学习了如何在明确控制人体形状、姿势和外观的情况下生成多样化的人体。我们使用一种新方法$\mathrm{GSH}3D$来实现这一目标，该方法使用GANs学习3D高斯人体生成。所提出的框架主要由三个部分组成，即3D高斯人体表示、基于区域的GANs以及具有对抗学习的3D人体生成。图1展示了GSH3D的概览。穿着人体是

实施细节

数据集和指标。我们在两个常见的数据集DeepFashion [16]和SHHQ [17]上测试了我们的方法。这两个数据集都是来自互联网的单视图2D图像集合。由于每个样本的身份不同且相机姿势非常稀疏，因此从这两个数据集中学习3D人体生成具有挑战性。DeepFashion包含8,036张图像，而SHHQ是一个更大规模的数据集，包含40,000张图像。我们使用了SHHQ作者发布的40K版本的SHHQ数据集，而EVA3D [9]使用的是

结论

在本文中，我们提出了一种使用GANs进行高效3D高斯人体生成的新方法。我们的3D高斯模型在SMPL模型上初始化，用高斯偏移和增量旋转来表示人体细节。高斯属性在SMPL模板的单UV图中学习。为了恢复人体细节，我们提出了一个基于区域的GANs，以更加关注局部人体区域的建模。在优化过程中，我们设计了有效的正则化策略

CRediT作者贡献声明

Kangkan Wang：写作 – 审稿与编辑，撰写原始草稿，可视化，验证，监督，软件，方法论，研究，资金获取，形式分析，概念化。Miao Zhao：可视化，验证，软件，数据整理。Shao-Yuan Li：写作 – 审稿与编辑，撰写原始草稿，监督，资源，方法论，概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Kangkan Wang报告称获得了中国国家自然科学基金会的财务支持。如果有其他作者，他们声明没有已知的可能会影响本文所报告工作的财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（项目编号62472224）的支持。