MGFNet：一种用于多尺寸图像特征提取的元全局滤波网络

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：MGFNet: Meta Global Filter Network for multi-size image feature extraction

提出MGFNet框架解决频率神经网络中静态全局滤波器无法适应多尺寸图像的问题，通过动态生成器实现不同尺寸的频率滤波器合成，并采用隐式、显式和卷积定理三种互补方法提升滤波器表达能力，结合重参数化技术降低计算成本，在多个数据集上验证其高效性和优越性。

　　

摘要

基于频率的神经网络因其全局感受野和优越的时间效率而引起了广泛关注。最近的研究主要利用基于频率的网络中的全局频率滤波器来提取图像特征。这些全局频率滤波器是复杂的张量，其大小与特征本身相同，因此在训练阶段需要预先定义大小。训练后改变滤波器的大小需要重新训练，因为仅仅对滤波器进行插值无法保持实部-虚部和幅度-相位关系的连续性。这种插值会削弱滤波器在特征提取中的实用性，从而给传统频域网络中的多尺寸图像特征提取带来挑战。为了解决这一挑战，我们提出了元全局滤波器网络（MGFNet），该框架用动态滤波器生成器替换了静态滤波器。给定一个推理图像大小，生成器会合成相应的频域滤波器，同时确保在不同尺度上保持一致的频域特性，从而能够有效地从不同大小的图像中提取特征。此外，我们研究并提出了三种不同的滤波器生成机制：1）通过神经网络实现的隐式滤波器生成器（IFG）；2）利用基于频带的滤波器偏置的显式滤波器生成器（EFG）；3）利用卷积定理的卷积定理生成器（CTG）。这些生成器从互补的角度进行设计，并协同工作以增强生成频率滤波器的表达能力。最后，我们实现了一种频域重新参数化方法。在推理过程中，MGFNet预先计算并将三个滤波器生成器的输出整合为一个统一的全局频域滤波器，显著提高了计算效率并降低了推理延迟。在ImageNet、MSCOCO和nuScenes数据集上进行的广泛实验表明，与基于频率的网络相比，我们的模型在各种数据集上均取得了最先进的性能。代码可在https://github.com/WallelWan/MGFNet获取。