学习用于光场角超分辨率的动态紧凑表示方法

《Pattern Recognition》：Learning dynamic compact representations for light field angular super-resolution

本文提出基于专家挖掘的动态紧凑表示模块和坐标引导生成机制，解决光场角超分辨率中固定聚合和深度依赖问题，实验表明该方法在重建质量和计算效率上达到最优。

　　

刘高升|胡竹华

海南大学信息与通信工程学院，海口，570228，中国

摘要

光场图像的角度超分辨率技术旨在从稀疏采样的输入数据中重建密集的视点。尽管最近基于学习的方法取得了令人印象深刻的结果，但在复杂场景几何结构、遮挡物和不同视差存在的情况下，它们的泛化能力往往会有所下降。这一限制主要源于它们依赖于固定的聚合方案或深度依赖的视图合成方法。为了克服这些挑战，我们提出了一个角度超分辨率框架，该框架引入了两个关键贡献。首先，我们开发了一个基于专家挖掘的动态紧凑表示模块，该模块能够自适应地选择聚合专家来编码光场相关性。其次，我们提出了一种坐标引导的生成机制，其中每个目标角度坐标都被映射到一个可学习的嵌入，作为指导新视图重建的隐式先验。通过分别学习场景特定的表示和编码角度位置，所提出的方法能够高效地适应不同的场景特征。在公共光场数据集上的广泛实验表明，我们的方法在保持高计算效率的同时，实现了最先进的重建质量。

引言

光场（LF）成像是一种计算摄影技术，它可以捕捉穿过场景的光线的强度和方向信息。这导致了捕获数据的丰富4D表示，从而实现了多种应用，如捕获后的数字重新对焦[1]、深度估计[2]和3D显微镜观察[3]。然而，由于空间分辨率和角度分辨率之间的固有权衡，捕获密集采样的光场图像仍然具有挑战性，即现有的光场采集系统通常会为了满足空间分辨率而牺牲角度分辨率，这是由于传感器尺寸有限或相机价格昂贵所致。为了克服硬件限制，已经开发了许多基于学习的光场超分辨率（SR）算法。这些方法旨在通过利用强大的数据驱动模型来提高空间[4]、[5]域或角度[6]、[7]域的分辨率，或者同时提高两者[8]、[9]、[10]。在本文中，我们关注的是角度SR问题，其目标是提高角度采样率（即合成新的视图）。

如图1(a)所示，现有的光场角度SR方法通常分为两类。第一类方法通常使用解耦的卷积[11]、[12]、[13]来建模光场相关性，通常在应用上采样之前在宏观像素域内聚合特征。例如，DistgASR[11]提出了一个角度特征提取器（AFE），它将宏观像素特征聚合为单像素表示以降低维度，然后通过基于PixelShuffle的上采样来达到目标角度分辨率。然而，由于光场数据的高维度以及复杂场景变化（如结构多样性、视差和遮挡物）的存在，这种单一的特征聚合策略难以动态适应变化的光场输入。因此，它们在复杂场景中的泛化能力受到显著限制。

第二类方法从不同的输入视图生成多个候选重建，并将它们混合以获得新的视图[6]、[14]、[15]。虽然这些方法在某种程度上是有效的，但它们严重依赖于准确的深度估计，而在具有重复纹理、非朗伯表面和其他深度不确定的区域，深度估计容易出错。

为了解决这些限制，我们提出为输入场景生成动态紧凑且具有区分性的表示，然后利用这种表示来生成新的视图。受到各种视觉任务中专家挖掘成功经验的启发[16]、[17]，我们引入了一个基于专家混合（MoE）的框架，该框架动态选择最适合输入场景的专家（即聚合操作符），从而获得有效的紧凑表示以合成新的视图。我们还引入了一个考虑位置的角超分辨率框架，该框架从目标角度坐标学习角度嵌入。这些嵌入作为合成相应视图的隐式指导。

通过结合使用坐标驱动的角度嵌入和输入自适应的专家选择，我们的方法能够在不依赖显式深度估计的情况下实现准确的视图重建。本工作的主要贡献总结如下：

• •
  我们设计了一种基于专家挖掘的动态紧凑表示生成策略，该策略根据输入特征自适应地选择最合适的聚合专家。
• •
  我们提出了一种新的考虑位置的角度SR框架，该框架通过学习角度嵌入来条件化视图合成。
• •
  在公共光场数据集上的广泛实验表明，我们的方法在重建精度和计算效率方面都达到了最先进的水平。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细介绍了所提出的框架。第4节展示了实验结果和分析，第5节总结了本文。

相关工作

相关工作

根据是否明确包含深度信息，现有的光场角度SR方法可以大致分为依赖深度的方法和独立于深度的方法。

初步

根据二维参数化，光场图像可以表示为一个捕获空间和角度维度的4D函数。设$L_{\text{稀疏}}\in R^U$表示角度域稀疏采样的光场图像，其中$U$表示2D角度域，$H$表示空间域。角度SR任务的目标是提高角度采样率，重建一个密集采样的光场图像$L_{\text{密集}}\in R^{\alpha }$，其中$\alpha$和$\beta$定义为角度域中的上采样因子。

总体架构

实验

在本节中，我们首先介绍数据集和实现细节，然后与最先进的角度SR方法进行比较。接下来，我们进行消融研究以验证我们设计选择的有效性。

结论

在本文中，我们提出了一个针对光场角度SR的新框架，该框架解决了固定聚合方案的局限性。通过引入带有专家挖掘的动态紧凑表示模块和坐标引导的角度嵌入机制，我们的方法能够自适应地捕获空间-角度相关性，并高效地重建新视图。这种双重设计使网络能够很好地泛化到具有不同结构的场景中。在真实世界数据上进行的广泛实验

CRediT作者贡献声明

刘高升：撰写——原始草稿、可视化、验证、软件、方法论、资金获取、概念化。胡竹华：撰写——审阅与编辑、监督、资金获取。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来提高手稿的可读性并精炼语言表达。使用该工具后，作者彻底审阅、编辑和验证了所有内容，以确保其准确性、完整性和与作者原始见解的一致性。此外，作者确认手稿中没有使用任何AI生成或AI修改的图像。作者对最终成果负全责

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了国家自然科学基金（项目编号：62501205和62361024）的支持；同时也得到了海南大学科研基金（项目编号：XJ2500003301）的支持；还得到了海南省重点研发项目（项目编号：ZDYF2024GXJS021）的支持；以及海南种子产业实验室（项目编号：B23H10004）的支持。