UniTex：从多视图图像中重建单张图像的纹理

《Computers & Industrial Engineering》：UniTex: Single-chart texture reconstruction from multi-view images

　　

Husen Li|Dong Xiao|Jinghao Zhang|Renjie Chen

中国科学技术大学数学科学学院，合肥，中国

摘要

从多视图图像重建纹理是计算机图形学和计算机视觉中的一个基本任务，支持虚拟制作、数字遗产保护和内容创作等应用。然而，现有的方法通常会产生具有不对齐接缝的碎片化UV图谱，这限制了它们在下游工作流中的实用性。我们提出了UniTex，这是一种从多视图图像重建高保真、单图谱纹理的新框架。为了确保纹理的完整性和可用性，我们引入了一种考虑颜色的切割生成算法，该算法策略性地避免切割经过显著纹理区域，从而生成无缝且对艺术家友好的图谱。为了提高纹理覆盖率和恢复欠捕获区域中缺失的细节，我们利用扩散先验来合成新的视图，为纹理重建提供额外的监督。最后，我们采用基于物理的差异化渲染框架，交替优化材料和光照参数，实现光照与纹理的真正解耦。广泛的实验表明，UniTex在视觉保真度、图谱完整性和实际可用性方面都优于现有方法——无需手动拼接即可直接集成到3D工作流中。

引言

从多视图图像中高质量地重建纹理对于从虚拟制作到数字遗产保护等各种应用都是基础性的。早期的纹理重建方法[1]、[2]、[3]、[4]、[5]主要集中在缓解由几何误差和相机校准问题引起的不对准伪影上。虽然这些方法可以减少纹理撕裂并提高表面一致性，但它们对光照的简化处理往往会导致光照效果固定，从而限制了纹理在重新光照或下游编辑任务中的重复使用。

随着深度学习的发展，一些研究[6]、[7]通过利用逆向渲染公式探索了将材料外观与光照分离的方法。更复杂的模型，如基于BRDF的优化[8]和基于经典渲染的光照模型[9]、[10]，通过显式建模反射率进一步推动了该领域的发展。最近在差异化渲染[11]、[12]、[13]方面的进展在联合估计材料属性和光照方面取得了令人印象深刻的结果。这些方法有效地解决了光照和材料信息的解耦问题。然而，它们主要关注渲染质量，对纹理质量和可重复使用的关注较少。因此，这些方法生成的纹理要么被分割成小块（见图2(a)），要么质量较低——需要繁琐的手动拼接才能用于生产。

为了解决这些挑战，我们提出了UniTex，这是一个基于基于物理的差异化渲染的统一框架，用于重建高保真的单图谱纹理。重建的纹理可以直接用于生产，无需后期处理即可重复使用。我们首先从输入图像中重建对象网格。然后，我们设计了一种考虑网格顶点颜色的切割生成算法，以生成完整性更高的纹理图像。在数据收集过程中，我们可能会遇到对象捕捉不足或自遮挡的情况。为了解决这个问题，我们利用扩散先验[14]生成新的视图图像，确保有足够的视图进行纹理优化。最后，使用基于物理的差异化渲染方法，我们交替优化光照和材料信息，生成与光照解耦的纹理（见图1）。总之，我们的贡献总结如下：

• •
  高质量纹理。 我们提出了一种高效的框架，可以从多视图图像中恢复高质量的单图谱纹理。通过结合基于物理的差异化渲染和扩散先验，我们的方法有效地解耦了光照，同时忠实重建了遮挡区域中缺失的细节。
• •
  合理的切割。 我们引入了一种更合理的切割生成算法，该算法考虑了顶点颜色信息，避免了重要纹理模式的断裂。
• •
  可以直接用于生产的输出。 我们方法生成的单图谱纹理可以直接用于生产。它们可以方便地转移到其他模型中。

章节片段

相关工作

传统方法。 从多视图图像中恢复表面外观一直是计算机图形学中的一个基本课题。早期的工作，如Lempitsky和Ivanov [15]，使用成对马尔可夫随机场为每个网格面选择最佳源图像。然而，这些方法在减少相邻面纹理之间的可见接缝方面面临重大挑战。为了解决这个问题，一些研究[16]、[17]引入了额外的后处理程序，如多带处理

方法

方法概述。 我们的方法旨在从多视图图像中重建单图谱纹理。为此，我们解决了三个关键方面：(1) 切割生成。我们提出了一种考虑颜色的切割生成算法，策略性地避免切割经过显著纹理区域（第3.2节）。(2) 视图完整性。为了解决拍摄过程中未捕获的区域和对象自遮挡的问题，我们整合了一个基于扩散的模型来合成几何结构

实验设置

数据集和指标。 我们在三个具有不同风格的数据集上评估了我们的方法，以验证其有效性。真实世界数据集包含在使用尼康Z30相机在不同光照和材料条件下拍摄的七个对象。合成数据集包括来自Nvdiffrec [28]的两个对象。我们还在巴黎吉梅特博物馆的Bayon Lion雕像的3D扫描重建的‘lion’模型上进行了测试，展示了我们方法处理几何问题的能力

结论与未来工作

我们提出了UniTex，这是一种从多视图图像重建高质量单图谱纹理的新框架。我们的方法解决了先前工作的关键局限性：碎片化的图谱、固定的光照效果和不完整的纹理覆盖。主要优点包括：(1) 直接可用于生产的输出。统一的纹理图谱消除了手动拼接的需求，使其可以直接用于3D工作流。(2) 光照的鲁棒性。我们的优化流程可靠地分离了漫反射和

CRediT作者贡献声明

Husen Li: 撰写——原始草案，验证，软件，项目管理，方法论，调查，形式分析，数据策划，概念化。Dong Xiao: 撰写——审稿与编辑，监督。Jinghao Zhang: 可视化，验证，软件，数据策划。Renjie Chen: 撰写——审稿与编辑，方法论，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的潜在财务利益或个人关系可能影响本文报告的工作。

致谢

这项研究部分由中国国家自然科学基金（12494552）和安徽省自然科学基金（2508085MA001）资助。我们感谢匿名审稿人的宝贵反馈，这极大地提高了这项工作的质量。