解耦与聚合：利用反射和透明表面的双层光场深度估计

《IEEE Transactions on Circuits and Systems for Video Technology》：Decoupling and Aggregating: Dual-Layer Light Field Depth Estimation With Reflective and Transparent Surfaces

光场深度估计中双层面反射问题通过自适应成本体积解耦模块与迭代自引导聚合模块解决，合成数据集验证了双层场景下网络对背景层与反射层的分离效果及深度估计精度提升。

　　

摘要：

光场（Light Field, LF）因其丰富的结构信息而被广泛用于深度估计任务。然而，现实世界中的光场图像经常遇到反射性和透明性表面，相关区域包含来自反射层和背景层的深度信息，这些可以被视为双层场景。对于现有的深度估计框架，构建的成本体积在双层表面上显示出混叠的双峰分布，进一步导致严重的深度估计错误。在本文中，我们提出了一种新的解耦和聚合策略，并开发了一个适用于具有复杂反射的光场图像的双层深度估计网络。具体来说，我们开发了一个自适应成本体积解耦模块，以将背景特征和反射特征从混叠的成本体积中分离出来。充分提取了光场的角度-空间信息，以推断不同维度特征对背景层或反射层的贡献。此外，我们采用了一个具有多阶段监督的迭代自引导聚合模块来聚合两个成本体积分支。该模块应用自引导掩码来规范成本体积的分布。鉴于在反射场景下获取光场图像的真实视差图的挑战，我们还构建了一个具有双层特性的合成数据集。我们的模型是第一个使用端到端深度神经网络将双层场景引入光场深度估计任务的模型。它成功地分离了背景层和反射层，并在两个层上都实现了准确的深度估计结果。在公开可用的数据集上的定量和定性实验结果表明，我们的方法比其他最先进的方法表现得更好。

引言

光场（LF）[1]记录了光的位置和方向信息，因此比传统图像提供了更丰富的场景结构信息。由Lytro [2]和Raytrix [3]等商用光场相机捕获的光场处理了一种独特的4D结构，为3D场景重建提供了线索。如图1（b）所示，光场在极轴平面图像（Epipolar Plane Images, EPI）中独特堆叠线结构的斜率与场景深度直接相关。这促进了利用光场进行深度估计任务的发展，这些任务为各种下游任务提供了信息，例如数字重新对焦[4]、[5]、图像分割[6]、[7]、[8]、视图合成[9]、[10]、[11]、超分辨率[12]、[13]、[14]以及质量评估[15]、[16]、[17]。因此，对光场深度估计任务进行深入研究是必要的，以确保估计深度结果的准确性。

这是一个反射场景的中心视图及其水平EPI的示例。该EPI上的点和点清楚地显示了两条交叉线，表明在反射区域内的该点存在两个不同方向的深度层。