高效的语义感知纹理优化技术，用于3D场景重建

《Computers & Graphics》：Efficient semantic-aware texture optimization for 3D scene reconstruction

针对3D重建中因相机位姿误差和几何精度低导致的纹理模糊问题，提出基于语义感知相似性的高效纹理优化方法。通过构建语义一致性相似性度量，指导纹理合成过程，显著提升纹理清晰度并降低计算成本，实验验证其优于现有方法。

　　

吴晓群|杨天|余刘|曹健|司慧玲

北京工商大学计算机与人工智能学院，中国北京市海淀区富城路11号，邮编100048

摘要

为了解决3D重建中纹理映射出现的模糊问题，我们提出了一种基于语义感知相似性的创新方法来优化纹理。与需要大量计算资源的传统算法不同，我们的方法引入了一种新的度量标准，从而实现了更高效的纹理映射。这使得利用多视图捕获的图像进行3D重建时能够获得高质量的纹理效果。我们的方法首先利用现有的3D信息在图像序列中建立映射关系，然后使用所提出的语义感知度量标准定量评估像素相似性，以此指导纹理图像的生成过程。通过利用语义感知相似性，我们限制了纹理映射的范围并提高了纹理的清晰度。最后，将纹理图像投影到几何体上，生成具有纹理效果的3D网格。实验结果明确表明，即使在相机姿态存在较大误差或重建几何精度较低的情况下，我们的方法也能比现有方法更快地生成具有清晰高保真度纹理的3D网格。

引言

随着3D场景采集设备的发展，3D重建技术近年来取得了快速进步。这一进展提高了捕捉和重建3D场景的能力和精度，这些技术已在数字娱乐、遗产保护、智慧城市、虚拟现实和增强现实等众多领域得到广泛应用。虽然目前的先进重建算法[1]、[2]、[3]、[4]能够有效恢复3D场景的几何细节，但仅恢复几何信息并不足以再现其外观，还需要结合3D场景的视觉颜色信息。

需要认识到，单张图像往往无法完整捕捉3D场景的所有信息。为了实现准确且全面的纹理映射，一种直接的方法是将多视图彩色图像结合并投影到3D场景中。理想情况下，这些彩色图像应在光度测量上保持一致，从而实现高质量的纹理映射。然而，在实际建模过程中，由于相机姿态估计的误差累积，3D场景重建中的纹理恢复效果往往不尽如人意。此外，几何重建的精度较低也会降低纹理映射的质量，限制了3D场景在各个领域的应用。因此，优化3D场景纹理显得尤为重要。

已经提出了多种方法来解决这个问题。大多数现有方法通过多个步骤来提高3D重建场景的纹理质量，例如直接优化相机姿态[5]、[6]、[7]，扭曲图像[8]、[9]以及校正图像颜色[10]、[11]。例如，Zhou和Koltun[5]通过最小化纹理模型与其在多视图图像中的投影之间的颜色不一致性来优化相机姿态，并引入了局部图像扭曲策略以减少由重建几何误差引起的纹理错位。Bi等人[8]使用基于补丁的合成策略来优化单视图图像，可以有效校正相机姿态误差并重建几何误差。一些算法[12]、[13]引入了平面先验联合优化技术，以增强3D场景的几何和纹理重建。最近，还提出了利用多模态大语言模型进行生成式纹理编辑的方法[14]。

尽管这些算法能够产生可接受的纹理结果，但它们通常需要大量的计算资源，优化速度较慢，并且严重依赖于重建几何的质量。对于存在较大相机姿态误差和低精度重建几何的3D重建来说，这些算法会显著增加内存消耗和时间成本。受[8]、[13]工作的启发，我们提出了一种新颖且高效的纹理优化算法，该算法以语义感知相似性作为指导原则。与Bi等人[8]类似，我们将纹理映射问题简化为2D图像优化问题。我们的方法引入了一种称为“语义感知相似性”的新度量标准，该标准定量评估几何模型在从不同角度拍摄的图像上的投影相似性。通过使用这一度量标准，我们指导纹理图像的合成，确保新生成的纹理图像与原始多视图图像中对应的语义区域保持一致。此外，我们的方法利用语义特征而非[13]中使用的平面特征，从而实现了更精确的对象边界和结构信息。此外，我们的方法无需从3D场景中提取平面特征，简化了处理流程并提高了纹理映射的速度。为了生成具有高度详细纹理的3D场景，我们利用已建立的映射关系将纹理图反向投影到几何体上，确保纹理在重建几何体上的忠实表示。实验评估表明，即使在相机姿态误差较大或重建几何精度较低的情况下，我们的算法也能在纹理映射方面取得优异的优化效果。

我们方法的主要贡献如下：

• 我们引入了一种新的语义感知相似性度量标准，它超越了低级别的像素或特征，用于指导纹理选择和融合过程。该度量标准优化了语义一致性，有效消除了由错位和视图依赖性不一致性引起的模糊现象。
• 我们提出了一种高效的纹理映射框架，该框架利用这一度量标准显著提升了计算性能。与现有的先进技术相比，我们的方法能够更快地生成高保真度的纹理网格，同时对较大的相机姿态误差和低精度重建几何具有较好的鲁棒性。

相关工作

现有纹理优化算法主要可以根据其优化策略分为两类：基于图像拼接的优化算法和基于图像融合的优化算法。

我们的方法

假设给定一个3D重建场景

$S_0$

以及一系列彩色图像$C$$T$$i$和相应的相机姿态$T$，我们的算法旨在生成具有高保真度纹理的3D场景。实现准确纹理映射的直接方法是将多视图图像结合并投影到3D模型上。理想情况下，这些彩色图像应保持一致的光照强度，从而实现高质量的纹理映射。然而，由于重建几何的精度较低

实验结果与讨论

本文专注于优化3D场景中的纹理映射。为了评估所提出算法的有效性，我们在多种3D重建任务上进行了实验，证明了其在生成高质量纹理图方面的能力。此外，我们还与现有方法进行了对比分析，展示了我们在准确性和细节保留方面的优越性能。这些结果突显了该算法在提升3D场景纹理映射方面的潜力。

结论与未来工作

本文提出了一种利用语义感知相似性指导的纹理优化算法。该算法首先建立图像序列与3D场景信息之间的映射关系，然后使用语义感知相似性度量标准定量评估像素相似性，从而指导纹理图像的生成过程，以提高纹理的清晰度。随后，根据映射关系将纹理图像反向投影到几何体上。

CRediT作者贡献声明

吴晓群：撰写 – 审稿与编辑、监督、方法论、研究、资金获取。杨天：撰写 – 原稿撰写、软件开发、研究。余刘：撰写 – 原稿撰写、可视化、软件开发、方法论。曹健：撰写 – 审稿与编辑、监督。司慧玲：监督、方法论、研究。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。

致谢

本项工作得到了国家自然科学基金（编号：62272014）的支持。