具有形状感知能力和特征融合功能的电力线检测网络

《Engineering Applications of Artificial Intelligence》：Shape-aware and feature fused power line detection network

无人机巡检中红外与可见光图像下的输电线路检测方法研究，提出形态感知模块和空间-通道注意力融合模块，解决传统方法抗干扰差、深度学习方法特征融合不足及样本不平衡问题，在红外和可见光数据集上达到Sensitivity 0.859-0.863，Dice系数0.860-0.882，AUC-PR 0.921-0.931。

　　

张胜东|张晓琴|任文琦|沈琳琳|张俊

绍兴大学智能工程学院，浙江省绍兴市越城区，312000，中国

摘要

无人机（UAV）在电力系统检测中展现了灵活性和高效性。自动电力线检测对于防止无人机碰撞至关重要，通常使用可见光或红外（IR）传感器。在实际应用中，由于红外传感器对大气干扰的鲁棒性，它们通常在恶劣天气条件下使用，而在天气晴朗时则更倾向于使用可见光传感器，以利用其高分辨率和详细的光谱信息。然而，由于复杂的背景以及电力线本身细长、延长的结构，在航空图像中占据的空间很小，这一任务仍然极具挑战性。这些因素使得电力线检测成为计算机视觉领域一个重要且持续存在的问题。最近，卷积神经网络（CNN）在语义分割任务中表现出了强大的性能。然而，它们经常面临严重的类别不平衡问题，例如在电力线检测中，背景像素占主导地位。为了解决这些问题，我们提出了一种新颖的形状感知和特征融合的电力线检测网络（SFFPLDN）。我们的方法包括：形状感知模块（SAB），它增强了来自电力线区域的特征传播；以及空间和通道注意力融合模块（SCAFB），该模块通过联合评估空间和通道的重要性来自适应地合并多尺度特征。我们在一个包含红外-IR和可见光图像集的公共数据集上评估了SFFPLDN的性能。广泛的实验证明了我们方法的优越性。对于红外-IR子集，SFFPLDN的灵敏度为0.859，dice系数为0.882，曲线下面积-精确度召回率为0.921。对于可见光子集，其灵敏度为0.863，dice系数为0.860，曲线下面积-精确度召回率为0.931。这些结果不仅验证了每个提出模块的有效性，还为电力线检测建立了一个新的最佳基准。

引言

如今，随着经济的快速发展，电力系统已经扩展到了农村地区。电力线（PLs）容易受到外部负荷的损坏，导致各种故障（Song等人，2025年），如图1所示，包括磨损（WT）、断线（BS）、散线（SS）和高温烧焦（HTS）。其中，WT是一种低风险故障，往往难以检测。相比之下，BS和SS是中等风险故障，可能会影响电力线的结构完整性和功能。最严重的是HTS，这是一种高风险故障，对整个电力系统的安全运行构成重大威胁。日常电力检测（Klein等人，2024年；Lv和Chiang，2024年）是一项重要任务，借助可见光或红外传感器来确保电力系统的运行。然而，检测如此庞大的系统非常困难，尤其是在这些系统位于农村地区时。传统方法通常依赖人工进行电力系统检测（Sharma等人，2024年；Wang等人，2024年）。然而，这些方法往往耗时且效率低下，在检测山区、河流和沙漠时还存在一些风险。为了解决这个问题，高技术设备被广泛用于电力系统检测任务（Li等人，2023b年）。在这些高技术设备中，无人机（UAV）因其灵活性而最为重要且应用最广泛。然而，确保无人机的安全导航受到电力线存在的显著影响。为了检测这些电力线，使用可见光（彩色）或红外（IR）传感器捕捉周围环境，然后应用电力线检测（PLD）方法来识别电力线。

目前，PLD方法可以分为两类：传统方法（Song和Li，2014年；Zhao等人，2022年）和基于学习的策略（Choi等人，2019年；Choi等人，2022年；Chen等人，2023年；Yang等人，2022年；Zhou等人，2024年；Xie等人，2024年；Shuang等人，2022年；An等人，2024年）。传统方法通常利用可见光传感器捕获的图像来识别电力线，这些图像利用了电力线的独特特征，如延展性、细长性和向图像边界的延伸。例如，在受控实验室环境中模拟电力线检测场景，然后引入基于霍夫变换（Hough transform）的检测方法（Golightly和Jones，2005年）。一种改进的方法（Yan等人，2007年）利用了Radon变换。采用两步程序：首先进行图像过滤，然后使用霍夫变换进行电力线检测（Li等人，2010年）。Chen等人（2016年）提出了一种改进的Radon变换版本用于电力线检测。Feyissa等人（2020年）设计了一种基于多尺度几何分析的高分辨率检测技术，用于高分辨率图像中的电力线检测。一些方法结合了传统的线路检测来初步隔离电力线候选对象，然后使用语义分割来细化这些区域（Zhao等人，2022年）。虽然传统检测方法以其计算效率和处理高分辨率航空图像的能力而受到认可，但它们在复杂环境中的鲁棒性有限。此外，它们的性能在很大程度上依赖于专家知识来设计手工特征和调整参数。

深度学习减少了对外部专业经验的依赖，并已广泛应用于各种计算机视觉任务。其中，语义分割是最相关的任务，已经引入了许多基于深度学习的方法（Chen等人，2018年；Zhao等人，2017年；Ronneberger等人，2015年；Li等人，2023a年）。为了促进自动对象检测，许多研究提出了在不同场景中应用分割网络，包括工业系统（Choi等人，2022年）、电力系统（Yang等人，2022年）和医学成像（Lyu等人，2022年）。卷积神经网络（CNN）在图像识别中表现出色（He等人，2016年），这激发了基于分类的PLD方法的发展（Lee等人，2017年）。Zhang等人（2019年）提出了一种新的检测技术，用于从无人机图像中提取线条，该技术利用了结构约束和CNN。为了增强CNN模型的能力，Choi等人（2021年）提出了一种弱监督的线路检测方法，将检测过程分为两个不同的阶段。通过将phi损失函数和辅助分类器集成到U-Net架构中，缓解了类别不平衡问题（Jaffari等人，2021年）。Choi等人（2022年）提出了一种基于多模态融合的PLD方法，从彩色和IR图像中提取电力线。Abdelfattah等人（2022年）提出了一种使用生成对抗网络（GANs）来提高检测性能的方法。Chen等人（2023年）基于DeepLab框架提出了一个多分支电力线检测（PLD）网络。尽管基于CNN的PLD方法在传统方法上取得了显著的成功和更好的性能，但由于复杂的背景和类别不平衡问题，实现准确检测仍然具有挑战性。此外，基于深度学习的PLD方法通常将编码器的特征视为空间等效的，并给予高级特征和低级特征相同的重视。这些因素可能导致PLD模型的效果不佳。

基于上述分析和讨论，我们提出了一种针对可见光或红外传感器捕获的图像的形状感知和特征融合的电力线检测网络（SFFPLDN）。首先，我们注意到低级特征和高级特征的空间和通道重要性不同，这促使我们通过注意力模块将它们融合。低级特征具有高分辨率，包含更多的纹理、形状、边缘和颜色信息，而高级特征具有低分辨率，包含更多的语义和对象关系信息。也就是说，低级特征有助于检测对象边界，而高级特征有助于检测对象。因此，我们提出根据每个特征的空间重要性来融合低级和高级特征。我们进一步注意到，特征的通道贡献也是不同的（Hu等人，2018年），这促使我们使用通道注意力来提高特征的表现能力。其次，我们注意到低分辨率的检测结果是一个很好的检测指标，可以提示在哪里检测电力线。总之，本工作的关键创新点如下：

• 1. 为了确保深度学习模型能够更加关注包含电力线的区域，我们提出了一个形状感知模块来指示可能的电力线区域。
• 2. 本研究首次考虑根据每个特征的空间和通道重要性融合来自低级和高级分支的特征。
• 3. 我们进行了广泛的消融研究，通过将SFFPLDN与现有技术方法进行比较，展示了其最佳检测性能。

相关文献

在本节中，我们回顾了与所提出方法最相关的重要工作，如电力线检测、特征融合和注意力。

提出的方法

在本节中，我们首先介绍了SFFPLDN的动机、整体框架和重要模块。其次，我们介绍了用于训练所提出模型的损失函数。最后，我们介绍了SFFPLDN的实现细节。所提出模型的整体框架如图2所示。如图所示，所提出的模型包括特征提取模块（FEB）、解码模块（DB）、形状感知模块（SAB）和空间通道注意力融合模块（SCAFB）。

实验结果

在本节中，我们首先介绍了用于训练和评估PLD方法的数据集。其次，我们介绍了用于衡量SFFPLDN和现有技术方法性能的评估指标。第三，我们通过将其与现有技术方法进行比较，展示了SFFPLDN的高检测性能。最后，我们通过进行一系列实验来展示SFFPLDN的有效性。

结论

本文提出了一种新颖且高效的电力线检测（PLD）方法，称为形状感知和特征融合的电力线检测网络（SFFPLDN），旨在处理计算资源受限的远程航空图像，例如无人机上的资源。所提出的模型基于U-Net架构，并引入了两个关键组件：形状感知模块（SAB）和空间通道注意力融合模块（SCAFB）。

CRediT作者贡献声明

张胜东：撰写 – 审稿与编辑，撰写 – 原始草稿，验证，方法论。 张晓琴：撰写 – 审稿与编辑，监督。 任文琦：撰写 – 审稿与编辑，监督，资源提供。 沈琳琳：撰写 – 审稿与编辑，监督。 张俊：撰写 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了浙江省自然科学基金（项目编号：LTGG24F020005）和浙江省哲学社会科学基金（项目编号：26JCXK010YB）的支持，部分得到了台州市科技计划项目（项目编号：24gyb41）的支持，部分得到了国家重点研发计划项目（项目编号：2024YFC3306902）的支持，还得到了国家自然科学基金（项目编号：U24A20242）的支持。