ESFCNet：一种高效的空间-频率互补网络，用于无人机图像的实时语义分割

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：ESFCNet: Efficient Spatial-Frequency Complementary Network for Real-time Semantic Segmentation of Unmanned Aerial Vehicle Images

　　

摘要：

无人机（UAV）图像的语义分割对于精细的土地覆盖信息解读至关重要，但由于场景复杂和实时性要求高，这一任务仍然具有挑战性。现有方法难以在全局上下文建模的高计算成本与保持精细空间细节之间取得平衡。为了解决这个问题，我们提出了一种轻量级的双分支架构——高效空间频率互补网络（ESFCNet）。具体而言，我们设计了门控金字塔低分辨率注意力（GP-LRA）模块，该模块通过非对称的标记生成策略独立压缩自注意力的输入向量（查询、键和值）。这种机制对全局上下文的建模具有总体线性复杂度（相对于输入向量的分辨率而言）。此外，为了补偿下采样操作导致的细节损失，我们引入了频率和空间建模（FSM）模块。FSM使用离散余弦变换（DCT）代替复杂的空间卷积，以显式提取高频结构特征，并精确重新校准其空间坐标，从而保留空间细节。在UAVid和UDD6数据集上的广泛实验表明，ESFCNet在分割准确性和执行速度之间取得了卓越的平衡。具体来说，我们的模型在UAVid数据集上的mIoU达到了69.5%，在UDD6数据集上的mIoU达到了78.3%，且仅使用了40.1 GFLOPs的计算资源，分别比现有技术高出1.0%和0.8%。