用于图像修复的贝叶斯窗口变换器

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Bayesian Window Transformer for Image Restoration

提出基于概率分布的动态窗口Transformer，通过贝叶斯方法优化窗口位置，结合近似推理算法提升计算效率，在图像去雨、去噪和去模糊任务中验证了翻译不变性和局部关系保留能力，并建立与经典滑动窗口的理论一致性。

　　

摘要：

由于具有先进的表征能力，变换器在图像恢复领域表现优异。然而，它们依赖于固定的局部窗口来处理注意力机制，这往往会削弱平移不变性和局部关系的保持能力。这种限制会降低网络的稳定性，尤其是在处理退化场景中的位置变化时。在这项研究中，我们提出了一种新的贝叶斯窗口变换器（Bayesian Window Transformer），该变换器通过使用概率分布来调整窗口位置，从而克服了传统变换器中固定窗口配置的局限性。这种方法能够实现比预定区域更灵活的覆盖范围。在评估过程中，我们进一步开发了两种近似推理算法：层期望传播（Layer Expectation Propagation）和蒙特卡洛平均（Monte Carlo Average）。这两种算法利用引入的概率分布来计算期望值，从而有效地近似概率变量的边缘化结果。因此，我们的贝叶斯窗口变换器不仅继承了强大的表征能力，还保持了图像恢复所需的平移不变性和局部关系保持等关键特性。我们还提供了理论保证，证明我们的方法在感受野大小和滑动行为方面与经典的滑动窗口技术一致。全面的实验验证了我们的贝叶斯窗口变换器在多种图像恢复任务（包括去雨、去噪和去模糊）中的卓越有效性。

引言

图像恢复是许多视觉任务的基础过程，其核心目标是从受噪声污染的图像中提取出清晰的原始图像。这些方法都遵循一个基本原则：理想的方法必须能够高效地去除图像中的不需要的退化部分，而不论这些退化部分位于图像的哪个位置。这一特性被称为“平移不变性”，它是图像恢复任务的重要要求，因此卷积神经网络（Convolutional Neural Networks, CNNs）[1]、[2]、[3]成为此类任务的理想解决方案[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]。由于CNNs内置了位置特征和共享权重（具有平移等变性），它们天生具备平移不变性，这使它们区别于多层感知器（Multi-Layer Perceptrons, MLPs）。这一特性以及它们的定位能力，极大地提升了CNNs在图像恢复任务中的优势。图像恢复有两个关键前提：局部区域内像素之间的强相关性，以及对于未来图像恢复技术而言对平移不变性的追求。因此，CNNs因符合这些要求而成为最佳选择。