《Computers and Electronics in Agriculture》：Joint cascaded 3DCNN and SDTA encoding for tree species classification using UAV-based hyperspectral image in mining areas
编辑推荐：
矿山生态修复区高光谱影像下提出SDTA-3DCNN模型，通过三维卷积与可分离深度转置注意力机制实现多尺度空间-光谱特征融合，分类精度达F1=0.9814，验证其在异质生态场景及跨物种分类中的普适性。
邓云成|何素玲|王金亮|张建鹏|易邦进|胡从涛|蒋彦玲|陈安
中国云南省昆明市云南师范大学地理学院，邮编650500
摘要
在矿区进行生态恢复时，重新造林至关重要，而精确分类树木种类是评估生态恢复效果的重要前提。无人机（UAV）的高光谱成像技术凭借其优越的光谱和空间分辨率，能够实现高度准确的树木种类分类。然而，由于数百个光谱带带来的维度膨胀问题，给传统分类方法带来了新的挑战。深度学习为自动特征提取和树木分类及制图提供了新的解决方案。不过，现有方法仍存在一些问题，如特征尺度单一、模型推理静态以及泛化能力较弱。特别是在矿区生态恢复区域，地形环境复杂，且存在多个林龄层次的树木种类，因此需要提高分类精度。本研究以云南省昆明市剑山矿区获取的高光谱图像作为主要数据来源，提出了一种结合可分离深度转置注意力机制的新型三维卷积神经网络（SDTA-3DCNN）。该模型通过级联的3DCNN架构增强了高维稀疏光谱特征的提取能力，并通过注意力机制有效融合了局部特征与高层次的全局表示，从而提高了分类精度。最终，树木分类的F1分数为0.9814，OA（精度-召回率）为0.9903，Kappa值为0.9868。该方法在其他树木分类和作物分类场景中也表现出良好性能，相应的OA和Kappa值分别为0.9871和0.9688；在作物分类场景中，最高分类精度达到了OA=0.9712，Kappa=0.9635。这一方法为矿区树木种类的精细分类、生态恢复状况监测、效果评估及决策制定提供了科学依据和技术支持。
引言
采矿活动导致了地表沉降、地下水位下降和植被退化等问题，对生态安全构成了严重威胁。为此，中国正在加大力度推进矿山生态恢复和绿色矿山发展。植被在水资源保护、土壤保持、碳平衡调节以及缓解区域微气候方面发挥着重要作用（Peng等人，2014年；Curtis等人，2018年）。因此，植被恢复被视为矿山生态恢复的关键环节，而造林是最直接和重要的植被恢复手段（Carabassa等人，2019年）。树木种类的精细分类有助于了解矿区植被恢复的时空动态，并为制定有效的生态恢复策略提供依据。此外，它还能揭示森林生态系统的复杂性和生物多样性，从而优化森林资源的管理和保护——这对矿区恢复具有重要的科学和实践价值（Pu，2021年）。
高光谱遥感技术具有高光谱分辨率、窄波长带以及空间和光谱信息的平衡表达能力。凭借丰富的光谱信息，它可以区分非常相似的物质或物质之间的细微变化，这使得高光谱遥感在农业、矿物检测、环境监测和森林资源调查等领域得到广泛应用（Lorenz等人，2021年；Gan等人，2023年；Rawal等人，2023年；Feng等人，2024年）。不同树木种类具有独特的光谱特征，高光谱图像中的数百个反射率带在物种分类方面具有巨大潜力。无人机的快速发展进一步促进了高效的高光谱数据采集，减少了对于耗时且劳动密集型野外调查的依赖（Ad?o等人，2017年；Sankey等人，2017年）。然而，高光谱数据的高维度带来了数据量增加、波段间相关性降低以及特征提取困难等问题，这些因素最终影响了分类的准确性和效率。因此，利用高光谱数据进行树木分类的关键在于探索高效准确的特征提取方法。
近年来，基于高光谱遥感技术的树木种类分类监督学习方法已得到发展。传统的机器学习方法，如支持向量机（SVM）（Dalponte等人，2013年）、随机森林（RF）和堆叠集成（Fu等人，2022年；Ghosh等人，2014年），已证明了基于光谱差异区分树木种类的可行性。然而，这些传统方法往往难以捕捉高光谱数据中复杂的非线性关系（Guo等人，2022年；Marconi等人，2022年）。此外，树木种类的光谱特征存在空间变异性，即所谓的光谱不确定性，这限制了特征在不同场景下的泛化能力。尽管采用了空间-光谱融合技术来缓解这一限制，但这些技术通常依赖于先验假设和专家知识（Mou等人，2017年）。相比之下，深度学习方法——尤其是那些支持端到端特征提取的方法——在高光谱图像分类中展现出巨大潜力（Cao和Zhang，2020年；Schiefer等人，2020年；Zhang等人，2023a）。其中，卷积神经网络（CNN）因其出色的特征提取能力而受到广泛关注。许多学者已将CNN及其变体应用于树木种类分类任务（Korznikov等人，2021年；M?yr?等人，2021年；Esmaeili等人，2023年；Wu等人，2024年；Xing等人，2024年）。1DCNN可以从一维光谱数据中提取特征，但无法捕捉空间信息；2DCNN能够捕捉空间信息，但无法充分提取光谱信息（Li等人，2020年；Xi等人，2019年）；3DCNN则能同时提取空间和光谱特征，这在树木种类分类中尤为重要，因为树木种类的识别依赖于特定光谱的细微差别及其空间分布（Fricker等人，2019年；M?yr?等人，2021年）。然而，高光谱数据通常包含数百个光谱带，这对传统的3D-CNN构成了挑战。这些网络通常需要大量的卷积核，导致参数过多和计算成本增加。此外，标准3D卷积核的感受野有限，限制了它们捕捉全局背景的能力。为了解决这些问题，近期研究提出了将注意力机制和扩张卷积集成到3D-CNN架构中，以增强特征提取能力并保持计算效率（Zhang等人，2020年；Xu等人，2021年；Fu等人，2024年；Xu等人，2024年）。
尽管上述方法都取得了良好的结果，但在矿区生态恢复区域仍存在显著挑战。一些针叶树种类的树冠宽度较窄，形态特征不明显；植被恢复阶段的不同会导致“同一对象，不同光谱”的现象；此外，下层裸土和草本植被的干扰也会引入空间混淆，使得准确区分树木种类变得困难。这些因素加剧了高维特征学习的复杂性，并凸显了现有模型感受野受限的局限性。为了解决这些问题，本研究提出了一种新型深度学习框架——SDTA-3DCNN（分割深度转置注意力级联3DCNN），专为矿区的高光谱树木种类分类设计。通过结合多尺度空间-光谱建模和全局跨波段注意力机制，该框架旨在提高复杂恢复环境下的适应性和分类精度。
本研究的创新和核心贡献体现在以下三个方面：
(1) 为了解决高光谱图像中高维特征建模和训练不稳定的问题，我们设计了一个基于级联3DCNN架构的模块化子网络。这增强了特征提取深度和训练稳定性，同时保持了相对较低的参数数量。
(2) 为了解决幼年针叶树种类的特征不明显以及矿区下层裸土干扰的问题，我们引入了一种自注意力机制，实现了局部空间背景和全局通道关系的联合建模。这显著提高了网络捕捉弱局部特征和复杂背景的能力。
(3) 考虑到矿区不同植被恢复阶段导致的光谱变化，我们引入了残差密集连接模块以加强特征融合和训练稳定性。这种设计提高了模型在异质生态恢复条件下的鲁棒性和泛化能力。
总之，本研究提出了一种高效、轻量且鲁棒的深度学习框架，用于矿区环境的树木种类分类。通过针对性地融合和优化传统结构，该模型在复杂的生态恢复场景中表现出优异的性能。除了矿区外，该框架还适用于其他树木种类分类任务，并为森林资源清查和智能林业管理提供了有价值的决策支持。
研究区域
研究区域位于中国云南省昆明的海口矿区（中心坐标：102°34′40″E，24°45′50″N）（图1）。该地区被列为国家级重点发展区，是长江流域的重要生态区域，也是云南省滇池盆地生态恢复的重点区域。矿区内包含多个大规模露天磷酸盐矿，包括海口磷酸盐矿。
方法
本研究主要包括四个部分：数据采集、数据处理、模型构建、精度评估和模型结果比较（图3）。所提出的分类网络框架主要由三个部分组成，即图3(c)中的SDTA-3DCNN模型，包括局部特征提取、全局特征提取与融合以及高级和低级特征融合。
SDTA-3DCNN的树木种类分类结果
SDTA-3DCNN在剑山矿区植被恢复区域的分类结果如图7所示。分类结果与样本基本一致，非植被和植被得到了完全分离，不同树木种类也得到了清晰区分。
根据表4中的分类精度评估结果，SDTA-3DCNN模型的OA为0.9903，Kappa系数为0.9686，F1分数为0.9814。所有三种树木种类都得到了准确分类。
不同输入尺寸对分类结果的影响
在训练SDTA-3DCNN模型时，使用了不同大小的图像块作为输入，以评估窗口大小对分类性能的影响。测试了四种不同的输入窗口尺寸（7×7、9×9、11×11和13×13），并使用所提出的模型进行训练和预测。结果（图11）显示，随着输入尺寸的增加，分类精度有所提高，但提升幅度相对有限。这可能归因于多尺度3D
结论
在这项研究中，我们提出了一种名为SDTA-3DCNN的深度学习模型，该模型结合了级联3D CNN和深度转置注意力（SDTA）编码器，用于复杂矿区中的精细树木种类分类。该模型利用3D卷积从高光谱数据中提取详细的光谱信息和空间特征，同时通过具有不同感受野的卷积层级联实现多尺度特征提取。SDTA模块进一步
作者贡献声明
邓云成：撰写——初稿、可视化、验证、方法论、数据分析、概念化。何素玲：可视化、软件、方法论。王金亮：撰写——审稿与编辑、监督、资金获取、概念化。张建鹏：撰写——审稿与编辑、验证、软件。易邦进：监督、资源协调、数据管理。胡从涛：可视化、验证。蒋彦玲：软件、调查。陈安：可视化，
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。
致谢
我们感谢匿名审稿人和编辑的专业意见和建议。本研究得到了云南省科技项目（项目编号202302A037003）、云南省教育厅科研基金项目（项目编号2025Y0320）以及云南省教育厅科研基金项目（基础专项）的支持。
