基于遮挡敏感性引导的语义解耦的无偏半监督3D重建

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Bias-Free Semi-Supervised 3D Reconstruction via Occlusion Sensitivity-Guided Semantic Disentanglement

3D重建中存在几何扭曲、结构歧义等挑战，本文提出基于Mamba-CNN的语义解耦框架，通过半监督伪标签优化与置信度计算减少偏差，结合多深度Mamba-CNN块和动态语义查询块提升特征解耦能力，显著优于现有方法。

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

3D重建面临诸如几何变形和结构歧义等挑战，尤其是在复杂的拓扑结构、严重遮挡和复杂背景的情况下。这些问题部分归因于特征过度纠缠，这导致了语义混淆和空间歧义。为了解决这些限制，我们提出了一个基于遮挡敏感性的语义解耦Mamba-CNN网络，该网络能够在无偏见的半监督框架内实现多属性信息的人控解耦。具体来说，我们在半监督框架中创建了各种遮挡条件，并为增强数据分配了伪标签，从而能够探索不同语义属性的遮挡敏感性，以实现人控语义解耦。为了减少增强样本与其分配的伪标签之间的偏差，我们使用线性PIoU和非线性MS-SSIM算法来计算伪标签的置信度，从而最小化由偏差引起的误差传播。然后，我们开发了一个解耦的多深度Mamba-CNN模块，该模块结合了CNN的局部特征提取能力和Mamba捕捉长距离依赖关系的能力。这使得我们的模型能够有效捕获解耦的多属性空间特征和语义表示。然而，在解耦过程中，关键的跨层次语义属性连接可能会丢失。为了解决这个问题，我们提出了一个多属性语义查询模块，以动态重建这些连接并最小化跨属性信息损失。在对物体和面部重建的广泛定量和定性评估中，我们的方法优于现有的最先进方法。代码和所有资源都将在GitHub上公开提供。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者编写或审核的。它旨在帮助发现、评估相关性，并帮助来自相关研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的官方摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。这将有助于改进和未来生成的版本。

要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。