RFAConv：用于改进卷积神经网络的感受野注意力卷积（Receptive-Field Attention Convolution）

《Pattern Recognition》：RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks

针对传统卷积核参数共享的局限性，提出基于Receptive-Field Attention机制的大卷积核优化方法RFAConv，通过动态调整不同位置卷积核权重解决参数共享问题，实验表明其显著提升图像分类、目标检测和语义分割任务性能且计算开销接近。

　　

张欣|刘晨|宋婷婷|杨德刚|叶一辰|李珂|宋英泽

重庆师范大学计算机与信息科学学院，中国重庆，401331

摘要

在深度学习领域，空间注意力机制已成为提高卷积神经网络性能的重要方法。然而，这些机制存在一些不可忽视的固有局限性。本文深入探讨了空间注意力机制的原理，并提出了一种新的见解：该机制主要解决了卷积参数共享的问题。通过解决这一问题，卷积核可以通过在不同位置使用不同的权重来高效地提取特征。然而，当前的空间注意力机制主要关注对空间特征的浅层关注，这不足以应对涉及较大卷积核的参数共享这一根本挑战。为应对这一挑战，我们引入了一种名为“感受野注意力”（Receptive-Field Attention，简称RFA）的新注意力机制。与现有的空间注意力方法相比，RFA不仅关注感受野的空间特征，还为大型卷积核提供了有效的注意力权重。基于RFA概念，我们提出了“感受野注意力卷积”（Receptive-Field Attention Convolution，简称RFAConv），以替代传统的标准卷积。值得注意的是，RFA在计算开销和参数方面几乎没有任何增加，同时显著提升了网络性能。此外，本文还指出，当前的空间注意力机制需要加强对感受野空间特征的优先级处理，以优化网络性能。为了验证所提方法的优势，我们在包括ImageNet、COCO、VOC和Roboflow在内的多个权威数据集上进行了大量实验。实验结果表明，所提方法在图像分类、目标检测和语义分割等任务上取得了显著进展，优于使用现有空间注意力机制构建的卷积操作。目前，相关任务的代码和预训练模型已公开发布在：https://github.com/Liuchen1997/RFAConv。

引言

卷积神经网络通过使用共享参数的卷积操作，大幅降低了模型的计算开销和复杂性。如今，卷积神经网络已经发展出完整的系统，并形成了诸如DCANet [1]、HDTCNet [2] 和 FSENet [3] 等先进的卷积神经网络。

然而，标准卷积操作在每个感受野滑块中都共享参数，这限制了网络性能。Elsayed等人 [4] 指出，在所有位置应用相同的权重可能比在不同位置应用不同的权重更浪费计算资源。Jin等人 [5] 认为，标准卷积操作存在上下文独立性问题，应该充分考虑每个像素的特异性。在仔细研究了这些工作和标准卷积操作后，我们获得了灵感。标准卷积操作在每个感受野中使用相同的参数来提取信息，但没有考虑不同位置的信息差异，如图1(a)所示。因此，本文的目标是设计一种非共享参数的卷积操作，以感知不同位置的信息差异，这主要是通过在不同位置为卷积核分配不同的卷积参数来实现的，如图1(b)所示。

基于上述目标，我们从新的角度审视了空间注意力机制与传统卷积之间的内在关系。分析发现，当前的空间注意力机制虽然解决了卷积操作中的参数共享问题，但仍局限于对空间特征的识别。现有的空间注意力机制无法充分解决较大卷积核的参数共享问题，也无法强调感受野中每个特征的重要性，例如现有的卷积块注意力模块（Convolutional Block Attention Module，简称CBAM）[6] 和坐标注意力（Coordinate Attention，简称CA）[7]。

为应对这些挑战，我们引入了创新的“感受野注意力”（RFA）机制，该机制不仅有效解决了卷积核中的参数共享问题，还细致地考虑了感受野中每个特征的重要性，从而实现精确的特征捕获和高效利用。基于RFA概念，我们提出了“感受野注意力卷积”（RFAConv），作为传统标准卷积操作的替代方案。RFAConv在额外参数和计算开销方面几乎没有增加，却显著提升了网络性能，有可能取代传统卷积操作，成为神经网络架构中的基本组成部分。在ImageNet、COCO、VOC和Roboflow等权威数据集上进行的广泛实验表明，RFAConv在图像分类、目标检测和语义分割等任务上优于使用现有空间注意力机制的卷积操作。此外，我们认为未来空间注意力机制的发展应重点关注感受野空间特征。通过深入探索这一领域的潜力，卷积神经网络的优势将进一步得到增强。为了证明这一观点，我们对现有的注意力机制进行了优化，使其能够无缝整合感受野空间特征，有效解决了卷积核参数共享问题。因此，在CBAM和CA的基础上，我们提出了两种改进的注意力机制RFCBAM和RFCA，并在包括分类、目标检测和语义分割在内的多种任务上进行了全面的比较实验。结果强烈支持我们的观点，表明关注感受野空间特征的注意力机制可以显著提升网络性能。

部分内容摘录

卷积神经网络架构

在对卷积操作进行深入研究后，Dai等人 [8] 指出，固定采样位置的卷积操作在一定程度上会限制网络性能。因此，他们提出了可变形卷积（Deformable Conv），通过学习偏移量来改变卷积核的采样位置。卷积操作作为卷积神经网络的基本操作，推动了众多先进网络模式的发展。

方法

现有研究主要关注利用空间注意力来提升网络性能，探讨其在特征提取和信息筛选方面的作用。尽管这些研究确实在一定程度上证明了空间注意力的有效性，但它们往往从传统视角出发，忽略了空间注意力内在机制与卷积核之间的深层关系。因此，本节将分析这两者之间的内在联系。

实验与讨论

为了验证我们方法的有效性，我们进行了分类、目标检测和语义分割实验。所有实验均使用RTX3090硬件进行。在ImageNet-1k的分类实验中，我们并行使用了四个RTX3090来训练模型。实验中使用的Cuda版本和PyTorch版本分别为11.1和1.8.1。

结论

现有研究主要关注利用空间注意力来提升网络性能，探讨其在特征提取和信息选择方面的作用。尽管这些研究确实在一定程度上证明了空间注意力的有效性，但它们往往从传统视角分析空间注意力，忽略了其内在机制与卷积核之间的深层关系。本文旨在通过剖析空间注意力的作用来展示其有效性。

CRediT作者贡献声明

张欣：概念构思、方法论、验证、软件开发、形式化分析、调查、初稿撰写、审稿与编辑、可视化。 刘晨：资源获取、数据整理、审稿与编辑、验证。 宋婷婷：方法论、资源获取、审稿与编辑、项目管理、监督、资金筹集。 杨德刚：方法论、资源获取、审稿与编辑、项目管理、监督、资金筹集。 叶一辰：数据收集。

CRediT作者贡献声明

张欣：撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论、调查、概念构思。 刘晨：撰写 – 审稿与编辑、验证、资源获取、数据整理。 宋婷婷：撰写 – 审稿与编辑、监督、资源获取、项目管理、方法论、资金筹集。 杨德刚：撰写 – 审稿与编辑、监督、资源获取、项目管理、方法论、资金筹集。 叶一辰：

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。

致谢

本研究部分得到了国家自然科学基金（62441506）、重庆市自然科学基金（CSTB2022NSCQ-MSX1200）、重庆市教委科技研究计划（KJQN202200537和KJZD-M202300502）、重庆师范大学博士启动基金（21XLB035）以及重庆师范大学研究生研究与创新计划（YKC24017）的支持。

张欣于2024年在中国重庆师范大学获得计算机技术硕士学位，目前在中国重庆大学攻读软件工程博士学位。他的研究兴趣包括计算机视觉、神经网络和图像处理。