答案：一种基于注意力的残差U-Net架构，用于卫星数据分割

《Remote Sensing Applications: Society and Environment》：AANSER: A Novel Attention-based Residual U-Net architecture for Satellite data segmentation

农业卫星影像语义分割研究提出AANSER U-Net架构，集成残差学习、嵌套跳转连接、SE模块和ASPP提升多尺度特征表达，在Sentinel-2数据集上五类土地覆盖IoU均值达94%，最高达98.00%。

　　

Prakhar Joshi | Manisha Kaushal | Akashdeep Sharma

印度昌迪加尔旁遮普大学UIET

摘要

遥感在环境监测、灾害管理、城市规划和气候研究中发挥着关键作用。对卫星图像进行准确的语义分割有助于我们从遥感数据中提取有用的土地覆盖信息。在本文中，我们提出了一种基于注意力增强的残差U-Net架构，用于农业卫星图像的分割。该架构采用了多阶段编码器-解码器设计，并整合了多种互补机制，包括注意力引导的特征选择、嵌套跳跃连接、挤压-激励模块和孔洞空间金字塔池化（ASPP），以改善多尺度特征表示。该架构在Sentinel-2卫星图像上进行了评估，能够将图像分割为五种土地覆盖类型。广泛的实验分析证明了所提出方法的有效性，平均交并比（IoU）得分达到了94%。对于5个不同类别，类别间的IoU得分分别为98.00%、97.82%、91.33%、95.13%和92.46%，进一步体现了模型在多种土地覆盖类型下的鲁棒性。结果表明，所提出的集成架构设计为复杂卫星图像提供了可靠且准确的分割性能。

引言

借助遥感技术，许多与农业相关的应用，如作物监测、土地利用分析、水资源评估和环境监测都得到了改进。从卫星图像中提取有意义的信息是一项具有挑战性的任务，因为存在尺度变化、土地覆盖类别之间的相似性以及复杂的空间模式等问题。图像分割通过为单个像素分配语义标签，在克服这些挑战方面发挥了重要作用，从而实现了对卫星场景的像素级解释。在分割方法中，语义分割对于土地覆盖分析非常有用，有助于划分植被、水体和建筑区域等区域。基于深度学习的方法显著推动了语义卫星图像分割的进展，特别是基于编码器-解码器架构（如U-Net）在各种成像领域表现出了强大的性能。

尽管初期取得了成功，但现有的U-Net变体在处理遥感分割问题时往往方法较为局限且零散。例如HDAC-U-Net通过扩张卷积使用了感受野，但这些方法在编码器和解码器表示之间存在语义差距，导致边界重建不精确。基于SE-Attention的混合架构改善了通道级特征解释，但由于缺乏多尺度上下文建模，其在区分土地覆盖类别方面的效果不佳。同样，DeepLab-U-Net依赖跳跃连接，但未能将低级空间细节与高级语义信息有效结合。

这些局限性表明研究中存在一个明显的空白，即需要一种能够结合多尺度上下文、自适应特征以及更好的编码器-解码器数据融合方式的单一、可靠的分割模型。本文提出了注意力增强的嵌套挤压-激励残差U-Net（AANSER U-Net）来填补这一空白。所提出的方法在基于U-Net的编码器-解码器架构中系统地整合了残差学习、嵌套跳跃连接、挤压-激励模块、注意力引导的特征选择和孔洞空间金字塔池化（ASPP）。这种协调的设计使模型能够保留细粒度的空间细节并捕捉长距离的上下文依赖性。该模型在分割过程中自适应地强调信息丰富的光谱-空间特征。

所提出的模型在2018年至2021年间收集的印度Panipat地区的多时相Sentinel-2卫星图像上进行了评估，涵盖了五种土地覆盖类型：住宅区、水体、森林土地、耕地和未耕地。

我们进行了全面的实验，与现有的分割模型进行了比较评估，并进行了广泛的消融分析，以证明该集成架构在多类土地覆盖分割中的有效性。

我们总结本研究的主要贡献如下：

• -
  我们提出了一种基于残差U-Net的分割架构，该架构将嵌套跳跃连接、注意力机制、挤压-激励模块和ASPP结合在一个专为卫星图像设计的统一框架中。
• -
  详细描述了每个组件的贡献及其具体算法，以提高所提模型的清晰度、可重复性和可评估性。
• -
  包括与代表性基线模型的比较和消融研究在内的全面实验评估，以评估各个架构组件的贡献。

本文的其余部分安排如下：第2节回顾了卫星图像分割的相关工作；第3节描述了所提出的方法论和网络架构；第4节介绍了实验设置和比较结果，随后是消融分析；第5节总结了论文并讨论了主要发现和局限性。

相关研究

相关研究

基于偏远地区数据的研究表明，许多应用都源于遥感卫星图像。卫星图像已被用于根据物体在地球上的位置对其进行识别和分割，基于深度学习的研究也在这一领域发挥了重要作用。相关文献分为两类，以便读者更好地理解。

提出的方法论

本节以结构化和可重复的方式描述了构建注意力增强型嵌套挤压-激励残差U-Net（AANSER U-Net）架构的方法论。该方法论的目标是在统一的框架内系统地整合和验证不同的架构机制——残差学习、通道重校准、注意力引导的特征选择和多尺度上下文聚合，以用于卫星图像分割。

图1

实验设置

本节描述了用于评估所提出的AANSER U-Net的实验设置，包括数据集的详细信息、数据预处理步骤、训练设置、评估指标和实验设计。所有实验都在固定设置下进行，以确保公平比较、可重复性和性能评估的准确性。

结果与讨论

本节以定性和定量的方式详细分析了结果。我们还将模型的性能与最先进的模型进行了比较。最后，通过消融研究验证了我们所提出的架构设计选择。我们进行了三次不同的实验运行，提供了平均结果。

消融结果讨论

图11比较了完整AANSER U-Net架构与其消融变体的平均IoU得分。图表显示，黄色的改进模型明显优于其他所有变体。

• 1.
  移除SE模块（平均IoU下降93%）导致少数类别（如森林91.08% vs 92.47%和未耕地90.38% vs 91.33%）的性能下降。这表明SE模块在通过自适应方式细化较少出现的类别的特征表示方面起着重要作用。

结论

本文提出了AANSER U-Net架构，用于对多时相Sentinel-2卫星图像进行语义分割，将其分割为五种土地覆盖类型。该模型在统一的编码器-解码器框架中整合了残差学习、嵌套跳跃连接、注意力机制、挤压-激励模块和孔洞空间金字塔池化。研究表明，这些设计组件的整合提高了分割精度和一致性。

CRediT作者贡献声明

Manisha Kaushal：验证、监督、调查。 Akashdeep Sharma：撰写 - 审稿与编辑、监督、方法论、形式分析。 Prakhar Joshi：撰写 - 原稿撰写、形式分析、数据管理、概念构思

数据可用性

数据可应要求提供

实现可用性

代码和模型检查点可在此处获取：

https://drive.google.com/drive/folders/1sHSvU2BQUyiPI3sDap2i2lYs5eMyV2kr?usp=drive_link

出版伦理声明

本研究准确记录了所完成的工作，所有数据均真实无误，方法论描述足够详细，允许他人复制这些工作。

本手稿完全为原创作品；如果使用了他人的工作或文字，已适当引用或标注，并在必要时获得了许可。

本手稿尚未在其他地方全部或部分发表。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用Napkin AI构建了所提出方法的工作流程图（图1），并使用Claude AI重写了研究的引言和结论部分。使用这些工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

资金情况

该项目未获得任何资金支持。

利益冲突声明

? 作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。