《Engineering Applications of Artificial Intelligence》：Research on key technologies of multi-modal image intelligent inspection of transmission lines driven by knowledge distillation task
编辑推荐：
高电压输电线路智能巡检中多模态融合与知识蒸馏方法研究。基于Transformer架构提出TBFormer和Addition GLUFormer两种结构，构建伪热成像模态数据，设计多模态注意力机制与PTCI-KD知识蒸馏方法，有效平衡模型轻量化与跨模态特征融合，实验在多数据集上达到SOTA性能。
宋志伟|张云|张叶
西安电子科技大学高性能电子设备机电一体化制造国家重点实验室，中国西安，710071
摘要
作为现代电网的核心基础设施，高压架空输电线路的安全高效运行至关重要。然而，传统的人工检测方法存在诸多局限性，因此迫切需要开发先进的智能检测算法，这些算法能够整合检测图像的独特特征以满足复杂的任务要求。此外，当前在该领域的研究缺乏多模态融合方法与输电设备物理场的结合，并且在算法设计层面也面临着平衡模型轻量化设计与特征提取效率的挑战。为了解决这些问题，本研究首先基于检测图像中固有的热物理场的温度分布特征构建了伪热成像温度模态数据，然后设计了一种多模态注意力机制来增强模型对跨模态信息的敏感性。此外，通过整合逻辑和特征提取特性，本文提出了一种高效的知识蒸馏方法——感知任务通道集成知识蒸馏（PTCI-KD）。在Transformer架构的基础上，提出了两种新的结构范式：TBFormer和Addition GLU Former，用于两级师生模型结构。通过蒸馏过程，将Transformer的全局建模能力传递到基于加法的简化学生模型中，从而解决了在复杂场景下输电线路多目标检测任务中精度和效率不足的问题。实验结果表明，该方法在输电线路检测数据集上取得了最先进（SOTA）的性能，同时在输电线路连接拟合数据集和PASCAL VOC 2007数据集上也表现优异。此外，它有效平衡了模型推理效率和预测精度，为高压输电线路的智能检测算法的全面设计提供了新的解决方案。
引言
作为现代电网的核心组成部分，高压架空输电线路为用户提供了可靠的电力供应（Yang等人，2020年）。然而，随着电网规模的不断扩大，输电工作的安全高效运行面临着诸多挑战，如基础设施的老化和对不间断电力供应需求的增加。传统的人工检测方法劳动强度高，受复杂天气条件限制，耗时且对操作员的安全风险较大（Luo等人，2023年）。这些限制迫切要求研究人员基于收集的大量检测数据和检测图像的特征，设计出先进的智能检测算法，以提高高压输电线路的运行和维护的可持续性。
在现代智能检测方法中，配备高清摄像头的无人机平台作为高效的数据采集工具，显著提高了检测任务的效率。然而，在收集了大量检测图像数据后，如何根据输电线路各种设备的固有特征和环境特征设计出针对性的图像识别算法，已成为当前研究的热点。在检测数据有限或当前任务对数据规模要求较低的情况下，传统的图像处理技术是分析检测目标特征的最佳选择。通过图像增强（Huang等人，2023年）、感兴趣区域分割（Huang等人，2020年）、边缘和角点信息检测（Jing等人，2023年）等方法，可以快速结合检测目标的特异性，研究其图像纹理、边缘、形态等相关图像特征，为后续的故障检测或安全预警工作提供理论基础。然而，智能检测任务中的大多数图像受到复杂背景环境和自然光照因素的干扰，这使得在特征提取过程中设计算法以分离前景和背景区域变得更加困难，图像分析的效果往往较差。因此，通过无人机平台获取高质量的综合性图像数据，并设计相关的深度学习算法进行预测任务，已成为主流研究热点（Yang等人，2025年）。
基于上述背景，已经开展了大量关于检测平台收集的可见光图像的研究。通过设计多种高效的特征提取主干网络和训练策略来提高预测效果，研究主要分为三个层次：在提高特征融合效率方面，相继提出了BiFPN（Tan等人，2020年）、GFPN（Zhao等人，2021年）等高效特征融合方法；在改进模型训练策略方面，提出了伪标签分配器（PLA）（Song等人，2025年）和自监督对比学习（Wang等人，2025a）等高效训练方法；在算法机制设计层面，提出了CNN（Dong等人，2023年）、Transformer（Zhang等人，2023年）和Diffusion Model（Zhang等人，2025年）等不同的深度神经网络设计概念。然而，单张可见光图像的弱视觉穿透能力无法有效克服复杂检测环境中受光照和天气影响的图像限制。因此，基于多模态理论的相关研究（Tang等人，2024年）已经开始提出。在硬件方面，需要使用多光谱成像仪或激光雷达等昂贵的设备进行现场数据采集，这成本较高。在相关算法设计中，基于红外图像（Cheng等人，2018年）和热成像图像（Ha等人，2012年）的输电线路设备故障检测方法是有效的，但未能有效整合多种模式下的图像特征进行综合分析。
在输电线路智能检测算法的设计过程中，模型在实际边缘的部署效率也是关键的优化方向。当前主流的模型轻量化设计方案主要有三类：以模型剪枝（Wu等人，2025年）方法为代表的抛弃设计思想，以及通过减少计算冗余和重新参数化特征实现的轻量化模块网络设计思想，如MobileNet系列（Cheng等人，2024年）、GhostNet系列（Paoletti等人，2021年）等。然而，当前的热点方向集中在知识蒸馏（KD）方法上，该方法通过迁移大规模教师模型中的隐式泛化特征来优化学生模型。与模型剪枝和轻量化模块设计相比，知识蒸馏方法的核心优势在于能够突破原始模型的结构限制，实现跨架构的知识传递（例如将Transformer的深度语义知识注入CNN），从而有效提高轻量模型的特征表示能力。知识蒸馏方法在保持高效推理效率的同时，能够更完整地保留复杂场景中的关键知识，特别是在跨模态任务迁移研究中。然而，当前主流的特征蒸馏（Yoon等人，2020年）和逻辑蒸馏（Wang和Yoon，2022年）方法各有优缺点。逻辑蒸馏基于输出概率匹配，通过温度参数和KL散度传递类别决策信息，通常没有架构约束；特征蒸馏关注中间层对齐，可以更好地保留细粒度任务信息，但需要教师-学生特征层的维度匹配。因此，如何高效整合两种蒸馏范式的优势以进一步提高特征传递效率，仍然是需要解决的关键方向。
基于上述相关性分析，我们提出了以下仍存在的研究难点：
- (1)
当前关于输电线路智能检测的研究更偏向于单模态图像的输入，缺乏多种模态信息特征之间的高效融合方法。由于关键技术设备的限制，检测过程中其他模态信息的获取成本相对较高。
- (2)
缺乏一种能够同时平衡模型轻量化设计成本和跨帧泛化信息传输效率的轻量化蒸馏方法，这将解决输电线路智能检测领域算法设计的瓶颈问题。
- (3)
缺乏针对输电线路检测目标固有特征设计的高效特征提取网络，以平衡模型的预测精度和复杂性。
鉴于上述问题，本研究的主要贡献如下：
(a)基于检测可见光图像的纹理形态和温度特征，构建了伪热成像温度模态数据以指导特征提取。提出了一种多模态注意力机制来增强模型对跨模态信息的敏感性。
(b)提出了一种结合逻辑和特征提取的高效蒸馏方法——感知任务通道集成知识蒸馏（PTCI-KD），该方法将Transformer的全局建模能力概括为更简洁的加法范式。
(c)基于Transformer，针对两级师生模型结构，分别设计了Token blend Former（TBFormer，侧重于多尺度特征交互和长距离依赖建模）和轻量级网络Addition GLU Former（基于加法设计），提高了模型的推理效率和预测精度。
本文的其余章节安排如下：第二节分析输电线路智能检测的相关研究进展；第三节介绍本研究的相关理论基础；第四节是对综合实验结果的相关分析和展示；第五节是对整个研究内容的总结和展望。
相关工作
相关工作
在本章中，我们将重点关注输电线路智能检测的最新研究进展，并简要分析每种研究方法对相关任务的贡献和不足。
图像识别算法的设计通常需要跟上任务需求。在检测数据有限或特征提取难度较低的情况下，传统的图像处理技术是分析检测数据的最佳选择。
输电线路智能检测任务系统框架
输电线路的智能检测任务通过构建系统架构实现了对输电设施的三维状态监控。整体系统示意图如图1所示。
检测无人机配备了高清摄像头，用于根据
实验结果与分析
本实验中的所有算法都在相同的超参数配置下完成。批量大小设置为4，优化器使用SGD，学习率lr设置为0.01，权重衰减设置为0.0005，图像输入分辨率为640×640，GPU使用NVIDIA GeForce RTX 3090 × 1。在实验设计过程中，从TLII数据集中选取了4728张检测图像作为训练集。每个比较算法的训练过程迭代了100个周期。
结论
在输电线路的智能检测任务中，主流的深度学习方法仍然依赖于单模态图像输入，其他模态信息的获取成本较高。缺乏针对特定模态物理耦合特征的高效融合方法。同时，现有研究尚未形成能够考虑模型轻量化设计成本和跨架构泛化效率的轻量化蒸馏方法。
CRediT作者贡献声明
宋志伟：撰写——原始草案，软件，方法论。张云：验证，监督，资金获取。张叶：验证，调查，资金获取，正式分析。
利益冲突声明
作者在本文讨论的任何材料中均没有财务或专利利益。
致谢
1. 国家自然科学基金。资助编号：52307182
2. 陕西省创新能力支持计划。资助编号：2023-CX-PT-30
3. 甘肃省科技重大专项。资助编号：25ZDGA001
