MPFNet：一种基于Mamba网络的渐进式融合网络，用于RAW-RGB协同去模糊处理

《Neurocomputing》：MPFNet: Mamba-driven progressive fusion network for RAW-RGB collaborative demoiréing

摩尔纹去除、RAW-RGB协作、多尺度特征融合、Mamba模块、全局感受野优化

　　

杨立强|李宇|王张|邓成岩|刘建勤

中国电子科技大学自动化工程学院，中国成都611731

摘要

随着智能手机和显示技术的发展，屏幕截图已成为记录信息不可或缺的手段。然而，由于彩色滤光阵列（CFA）与屏幕显示像素之间的混叠效应，会产生莫尔条纹图案，严重降低图像质量。现有的去莫尔条纹方法存在诸如RGB图像原始信息大量丢失、感知场范围有限以及计算复杂度高等问题，导致莫尔条纹图案无法完全去除。为了解决这些问题，我们提出了一种基于Mamba的渐进式融合网络（MPFNet）用于RAW-RGB联合去莫尔条纹处理。MPFNet充分利用了RAW数据（保留了更丰富的原始信息）和RGB数据（在RAW到RGB转换过程中提供指导），同时借助Mamba的线性计算复杂度实现全局感知场注意力，从而实现低色差莫尔条纹去除。MPFNet采用两阶段架构：第一阶段，简单去莫尔条纹模块（SDB）对RAW数据进行浅层去莫尔条纹处理并提取多尺度RAW特征；第二阶段，双路径自适应特征融合（DAFF）模块逐步融合多尺度RAW和RGB特征，然后使用去莫尔条纹Mamba模块（DMB）实现深度莫尔条纹去除和精确的颜色恢复。在TMM22、RAWVDemoiré和FHDMI数据集上的广泛实验表明，MPFNet在定量指标和定性视觉比较方面均表现出领先性能，同时保持了相对较低的FLOPs（浮点运算次数）。例如，在TMM22数据集上，MPFNet的PSNR达到28.86 dB，比以往方法高出0.51 dB，并且其GFLOPs也更低。

引言

随着智能手机和显示技术的发展，捕捉电子屏幕图像已成为一种方便高效的记录信息方式。然而，这些图像经常显示复杂的、高频的莫尔条纹图案，这是由于成像设备的彩色滤光阵列（CFA）与显示像素之间的频率相似性导致的混叠效应，从而显著降低了图像质量[2]。因此，去除莫尔条纹图案已成为图像处理中的一个关键挑战。

近年来，大多数基于深度学习的方法都集中在设计RGB域的去莫尔条纹网络。然而，RGB图像是通过插值和去马赛克处理从RAW传感器数据中得到的，这导致部分原始场景信息丢失。因此，这一限制限制了去莫尔条纹的效果。例如RDNet [3]的研究表明，直接使用RAW图像可以获得更好的结果。但是，仅依赖RAW数据会导致恢复结果出现颜色偏差，因为缺乏RAW到RGB的转换信息。为了解决这些限制，最近的研究开始探索RAW和RGB域图像的联合使用。然而，最近提出的RRID [4]虽然可以同时使用两个域的数据，但仅采用了一个图像信号处理（ISP）模块，未能充分利用两个域的互补优势，从而限制了网络性能。

从另一个角度来看，最近的基于深度学习的方法主要使用CNN进行多尺度莫尔条纹去除，这些方法要么在空间域操作，要么在频率域操作。然而，由于莫尔条纹污染的广泛存在——通常几乎覆盖整个图像（如图2(a)所示），CNN固有的受限感知场（如图2(b)所示）导致性能不佳，这一点通过图1中的绿色点得到了体现。随着Transformer在图像处理中的兴起，其全局感知场在有效识别和修复整个图像的莫尔条纹污染方面显示出潜力。最近的研究将Transformer引入去莫尔条纹领域，以利用其强大的全局上下文建模能力。然而，Transformer的指数级计算复杂度带来了显著的开销，如图1中的黄色三角形所示。

受到这些挑战的启发，我们提出了两个关键见解。首先，RAW和RGB数据的多尺度融合能够充分利用两个域之间的互补信息——模仿LF-DEST [5]中的范式，其中低光照图像与退化表示完全融合以提供指导——从而实现低色差莫尔条纹去除。其次，我们旨在将Mamba [6]集成到去莫尔条纹过程中，因为它保持了全局感知场，从而实现更有效的莫尔条纹图案全局定位。同时，Mamba保持了线性计算复杂度，解决了Transformer固有的指数级计算开销问题，最终实现了低计算成本的莫尔条纹图案全局建模。

基于这些见解，我们提出了基于Mamba的渐进式融合网络（MPFNet）用于RAW-RGB域的联合去莫尔条纹处理。MPFNet采用了一种新颖的两阶段协同架构：1）浅层去莫尔条纹和多尺度RAW特征提取阶段：一个轻量级的编码器-解码器结构，使用简单的卷积模块（SDB）在RAW域进行浅层去莫尔条纹处理，同时建立多尺度RAW特征表示；2）渐进式融合和色彩感知去莫尔条纹阶段：增强型Mamba编码器-解码器架构，通过去莫尔条纹Mamba模块（DMB）逐步整合第一阶段的多尺度RAW特征和RGB特征，然后使用双路径自适应特征融合（DAFF）模块实现深度莫尔条纹去除和精确的颜色恢复。在TMM22、RAWVDemoiré和FHDMI数据集上的广泛实验表明，MPFNet在定量指标和定性视觉比较方面均表现出领先性能，同时保持了相对较低的FLOPs。

小节片段

图像去莫尔条纹

图像去莫尔条纹[7]、[8]、[9]的目标是通过消除视觉上的干扰性莫尔条纹图案来恢复图像清晰度。基于深度学习的方法在这一领域取得了显著进展。

DMCNN [10]引入了第一个去莫尔条纹基准数据集，并证明了全卷积网络在这项任务中的有效性。然而，它缺乏跨尺度特征交互。MSFE [11]和MopNet [12]进一步探索了多尺度特征增强

方法论

为了为后续讨论奠定基础，我们在开篇部分首先介绍了Mamba的初步背景。在此基础上，本章概述了MPFNet的总体架构，然后详细阐述了去莫尔条纹Mamba模块（DMB）和双路径自适应特征融合（DAFF）模块的设计。

实验

数据集和指标：我们在两个代表性的RAW域去莫尔条纹数据集TMM22 [4]和RAWVDemoiré [31]，以及三个RGB域去莫尔条纹数据集FHDMI [14]、TIP [10]和UHDM [15]上进行了性能评估。TMM22包含540对1800×1300的高分辨率RAW和RGB图像用于训练，408对512×512图像用于测试。在训练过程中，这些图像被进一步划分为256×256的拼接块，生成了63,180对训练样本。RAWVDemoiré

结论

在本文中，我们提出了MPFNet来解决RAW-RGB联合去莫尔条纹处理中特征融合不足和去莫尔条纹效果与计算复杂度不平衡的问题。MPFNet采用两阶段框架：（1）在RAW中进行浅层莫尔条纹抑制以去除粗略图案；（2）通过DAFF实现RAW和RGB特征的渐进式融合。第二阶段使用DMB和SS2D模型长距离依赖关系。跨阶段整合通过DAFF实现。广泛的实验

CRediT作者贡献声明

杨立强：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，监督，资源管理，项目管理，方法论，数据整理，概念化。李宇：概念化。王张：方法论。邓成岩：方法论。刘建勤：方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了深圳市科技创新重点项目（项目编号KJZD20230923114600001）的支持。

杨立强（第一作者）于2023年在中国成都理工大学获得学士学位，目前在中国电子科技大学自动化工程学院攻读硕士学位。他的研究兴趣包括图像去莫尔条纹和图像超分辨率。