《Pattern Recognition》：AOSNet-Sec: Aperture–Orientation–Spectrum Fusion with Statistical Markov Repair for Trustworthy Super-Resolution
编辑推荐：
本文提出AOSNet和AOSNet-Sec轻量级超分辨率模型，前者通过多尺度感受野、方向选择性门和频谱子带聚合融合图像特征，后者增加安全分支检测并修复潜在攻击影响，实验表明其在对抗扰动下PSNR和LPIPS损失显著降低。
郑楠·尹（Zhengnan Yin）| 肖路伟（Luwei Xiao）| 冯轩（Xuan Feng）| 陈毅伟（Yiwei Chen）| 朱先勋（Xianxun Zhu）| 罗彩（Cai Luo）| 萨姆里·法滕（Faten S. Alamri）| 毛瑞（Rui Mao）| 埃里克·坎布里亚（Erik Cambria）
中国汕头大学，邮编515063
摘要
超分辨率（SR）在识别流程中被广泛使用，要求模型具有轻量级特性，并且在输入扰动和安全威胁下仍能保持较高的可靠性。我们通过两项互补的贡献来解决这一需求。首先，我们提出了孔径方向谱融合网络（AOSNet）。AOSNet将重建过程视为多场融合：每个AOS模块包含一个孔径金字塔混合器（APM），用于多尺度感受野；一个方向选择性门（OSG），用于方向结构；以及一个谱子带聚合器（SSA），用于频率细化。其次，鉴于模式识别系统中对安全可靠超分辨率需求的增加，我们构建了一个增强鲁棒性的变体AOSNet-Sec，通过添加一个轻量级的特征空间分支来实现，该分支包含超分辨率统计检测器（SSD）、安全检测头（SDH）和可训练的超分辨率马尔可夫修复（SMR）。SSD聚合每个通道和边缘对比度统计信息以形成仅用于校准的安全先验；而SMR则根据标准化统计信息迭代更新可疑特征图。在标准基准测试上的实验表明，AOSNet-Sec在强白盒扰动下显著降低了PSNR下降和感知图像块相似性（LPIPS）的退化，从而在重建质量和面向安全的鲁棒性之间提供了实际的折中。
引言
单图像超分辨率（SISR）可以从单个低分辨率输入重建高分辨率图像[1]。它被广泛应用于识别流程、监控系统和移动应用中。在这些场景中，模型必须紧凑且快速，并且在各种输入扰动下仍能保持可靠性。随着深度学习的发展，卷积神经网络将SISR重新定义为从低分辨率到高分辨率空间的数据驱动映射问题。早期的基于CNN的方法（如SRCNN [2]和VDSR [3]）展示了端到端学习和深度残差推理的优势。后续架构通过扩展残差块进一步提高了图像质量[4]。随着实时和设备上部署变得越来越重要，研究转向了在不牺牲太多质量的情况下压缩特征的低重量设计。代表性工作包括残差特征蒸馏[5]和适用于移动设备的可重参数化卷积[6]。其他方法探索了蓝图可分离卷积和大核卷积以获得更好的感受野[7]。还有一些无注意力机制[8]或低秩[9]的细化方法，旨在以较低成本保持准确性。除了这些效率驱动的进步外，最近的研究开始考察SR模型在对抗性或现实世界损坏下的鲁棒性[10]。这些工作进一步拓宽了现代SISR研究的领域。
然而，大多数现有的SISR架构主要针对局部细节细化或全局结构建模进行优化，很少利用自然图像中已存在的互补线索。我们观察到，单张图像至少提供了三种有用的重建证据：与孔径相关的尺度线索、编码主导方向和纹理的方向线索，以及捕获频率特定结构的谱子带。在许多当前研究中，这些来源通过卷积或自注意力隐式混合，这可能导致冗余计算和表示利用不足，因为模型没有明确被鼓励以结构化的方式融合和重用这些信息。同时，现代感知流程中使用的SISR模型，特别是那些嵌入在识别、监控或移动系统中的模型，越来越容易受到低分辨率输入的分布变化、损坏甚至对抗性扰动的影响[11]。例如，关于灰盒攻击的最新研究表明，在特定对抗性条件下，潜在扩散模型可能会受到严重影响，突显了生成和恢复过程的脆弱性[12]。即使在干净数据上重建质量很高，小的结构干扰也会导致PSNR和感知指标大幅下降，从而削弱下游模式识别任务的可靠性和可信度[13]。这种对严格评估的需求在最近关于大型语言模型的研究中得到了体现，其中能力和偏见分析被认为是可信AI系统的关键组成部分[14]。基于这些观察，迫切需要既信息感知又对输入扰动具有鲁棒性的SISR框架，同时仍保持足够的轻量级以便实际部署。
为了应对上述挑战，我们提出了一个两阶段解决方案。一方面，我们提出了孔径方向谱融合网络（AOSNet），它将SISR视为多场融合。每个AOS模块结合了一个孔径金字塔混合器（APM），用于聚合多尺度感受野；一个方向选择性门（OSG），用于强调方向感知通道；以及一个谱子带聚合器（SSA），用于在小波子带之间交换信息，然后进行残差重建和高效上采样。在我们的实现中，这些组件通过多场融合模块的卷积路径、方向通道注意力单元和频率分割注意力单元来实现，主干网络还得到了轻量级的跨块银行（CBB）和残差对齐单元（RAU）的支持，以低成本整合跨块证据。另一方面，为了满足更广泛AI安全背景下对可靠和安全意识SISR的需求，我们通过添加一个特征空间安全分支将此主干网络扩展为增强型AOSNet-Sec。一个无需训练的超分辨率统计检测器（SSD）聚合每个通道和边缘对比度统计信息，并在干净的特征图上进行校准以形成安全先验；而轻量级的安全检测头（SDH）将标准化统计信息转换为异常分数，用于分析和在潜在对抗性攻击下的可选门控。然后，一个可训练的超分辨率马尔可夫修复（SMR）模块对不可信输入的潜在特征进行几次迭代修复更新，然后再进行上采样。只有在强白盒扰动下才对SMR进行微调，因此基础AOSNet参数保持不变，推理开销适中。通过加入安全意识分支，该框架非常适合需要鲁棒感知、对抗性鲁棒性和可信AI行为的应用。
我们的主要贡献如下：
•我们提出了AOSNet，这是一个轻量级的SISR主干网络，通过APM、OSG和SSA的协同设计明确融合了孔径、方向和谱线索，并由CBB和残差对齐单元支持，以实现高效的多场证据整合。这种特定于任务的设计适用于实际感知系统中可信赖的重建。
•我们提出了AOSNet-Sec，这是一个安全意识
的扩展版本，它为AOSNet添加了一个无需训练的SSD和一个轻量级的SDH，用于在潜在对抗性攻击下进行特征空间异常评分，并配有一个可训练的SMR模块，用于修复受损特征，同时保持核心SR主干不变。在干净和受扰动的输入标准基准测试上的广泛实验验证表明，AOSNet实现了具有竞争力的重建质量和效率，而AOSNet-Sec在强扰动下显著降低了PSNR和LPIPS的退化，为安全敏感的应用提供了轻量且可靠的SR解决方案。
部分摘录
高效且轻量级的SR
轻量级SISR旨在在减少参数和运行时间的同时保持重建质量。RFDN [5]通过残差蒸馏压缩特征。ECBSR [6]和LKDN [7]使用可重参数化卷积进行移动设备部署。BSRN [15]通过蓝图可分离卷积提高效率。VapSR [8]通过像素注意力扩大感受野。SPAN [16]用结构化空间先验替代了可学习的注意力。SRConvNet [17]结合了频率调制注意力和动态
问题表述与概述
给定一个低分辨率图像和一个上采样因子r，我们的目标是预测一个高分辨率图像
实验
我们在轻量级SISR设置下评估了所提出的AOSNet，并将其扩展为安全意识变体AOSNet-Sec。我们的目标有四个：在固定的、可复现的协议下验证典型SR基准测试的准确性；通过参数数量、FLOPs、峰值内存和墙钟延迟来量化效率；通过广泛的消融实验隔离每个架构组件的贡献；以及评估安全分支在输入扰动下的鲁棒性和检测能力
结果
本节报告了AOSNet及其安全意识变体AOSNet-Sec的定量准确性、视觉质量、可解释性、安全分析和消融实验结果。我们首先将AOSNet与强轻量级基线在×2和×4的倍率下进行比较，然后分析APM、OSG、SSA、跨块银行和RAU对性能的贡献，最后评估在低分辨率扰动下的检测/修复行为和鲁棒性。
结论
本研究通过统一的设计解决了轻量级和可靠的单图像超分辨率问题，同时强调了重建质量和安全性。我们引入了AOSNet，它通过APM、OSG和SSA结合了孔径、方向和谱线索，并由跨块银行和RAU支持，以实现高效的多场证据整合。在Set5、Set14、B100和Urban100数据集上，AOSNet在参数更少且结构细节更清晰的情况下实现了具有竞争力的准确性。在此基础上，我们开发了AOSNet-Sec，这是一个安全意识
CRediT作者贡献声明
郑楠·尹：撰写——原始草案、软件、方法论、形式分析、数据策划、概念化。肖路伟：撰写——审稿与编辑、验证、监督、方法论、调查、概念化。冯轩：撰写——审稿与编辑、形式分析、数据策划。陈毅伟：撰写——审稿与编辑、可视化、软件、数据策划。朱先勋：撰写——审稿与编辑、资源管理、形式分析。罗彩：撰写——审稿与编辑、可视化
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了中国国家自然科学基金（编号62503415）的资助。作者感谢Princess Nourah bint Abdulrahman大学科研与图书馆部通过访问研究员计划VR-2025-003对本工作的支持。
郑楠·尹于2024年从中国广东汕头大学获得物理学硕士学位。他的研究兴趣包括低级计算机视觉、多模态交互和学习。他曾担任多个著名会议的审稿人或程序委员会成员，包括IJCNN和AAAI。
