编辑推荐：
多传感器融合分类任务中，有效整合异构传感器信息是关键挑战。本文提出分离时间不变（TI）和时变（TV）特征的框架，通过时间解耦模块（TD）提取静态内在属性与动态时序行为，结合模态解耦模块（MD）和跨模态注意力模块（CA）分别优化共享与私有特征融合。实验表明该方法在雷达-红外融合和人类活动识别任务中显著提升分类准确性和鲁棒性。
吴一达|王彩云|王建宁|李晓飞|南颖
南京航空航天大学航天学院，中国江苏省南京市211106
摘要
在传感器融合分类任务中，一个核心挑战在于如何有效整合来自多个传感器的异构信息，以实现准确且鲁棒的分类。现有的融合策略大致可以分为基于串联的方法、基于重建的方法以及模态解耦方法。然而，这些方法往往缺乏对融合特征的可解释性，并且可能无法充分利用传感器之间的互补性和一致性。为了克服这些限制，我们提出了一个新框架，该框架明确区分了时间不变（TI）特征和时间变化（TV）特征，分别代表目标的静态内在属性和动态时间变化。我们的框架采用了一个时间解耦（TD）模块，对每个传感器的TI和TV特征进行单独解耦。对于TI特征，我们设计了一个模态解耦（MD）模块，通过分离模态共享和模态特定的表示来融合互补信息。对于TV特征，我们引入了一个交叉注意力（CA）模块，通过捕捉它们的时间相关性来提高跨传感器动态表示的一致性。我们在雷达-红外融合识别和人体活动识别（HAR）任务上进行了实验，以评估所提框架的有效性。结果表明，与传统的融合方法相比，所提出的方法显著提高了识别准确性和鲁棒性，验证了其整合异构传感器数据并联合建模静态和动态目标特征的能力。
引言
随着传感技术和信息技术的快速发展，各种传感器（如心电图传感器、加速度计、雷达和红外设备）已在包括医疗监测[1]、[2]、人体活动识别（HAR）[3]、[4]和目标分类[5]、[6]在内的多个应用领域得到广泛使用。因此，高效利用多源传感器数据来实现特定任务已成为一个关键的研究焦点。
在这些应用中，目标分类是多传感器融合的一个特别有吸引力的案例。基于不同物理原理工作的传感器可以捕获同一目标的互补方面，从而实现更全面的特征描述。例如，雷达传感器提供雷达截面（RCS）数据，反映了目标的形状、材料组成和微运动等关键属性[7]。相比之下，红外辐射（IR）测量目标发出的热辐射，提供了关于温度分布、表面属性和额外运动线索的信息[8]。雷达和红外模态的互补性有助于更全面地理解目标的物理结构和行为动态。因此，多传感器融合用于异构数据整合已成为现代目标识别系统中的一个关键研究方向，以提高分类性能和鲁棒性[9]。
这种融合的有效性在很大程度上取决于系统最大化利用互补信息的同时最小化多个传感器之间冗余的能力。冗余信息通常来源于不同传感器捕获的同一目标或现象的重复表示。这种语义重叠需要强大的特征对齐和一致性建模，以实现跨模态共享属性的统一表示，从而减少信息冲突并抑制不必要的重复。相反，互补信息来源于各个传感器的不同感知视角和独特能力。为了充分利用这种多样性，明确建模和保留模态特定特征至关重要，因为它们提供了丰富的、独特的线索，丰富了融合表示。
为了形式化这一概念，冗余和互补性之间的相互作用可以抽象为两个基本组成部分：模态不变特征（封装了跨传感器的共享语义信息）和模态特定特征（代表各个传感器捕获的独特特征）[10]，如图1所示。
有效提取模态不变和模态特定信息激发了各种特征解耦（FD）方法[10]、[11]、[12]的发展。这些方法通常遵循以下原则[13]：1）模态不变特征应具有较高的相似性；2）模态特定特征应具有较大的差异性；3）模态不变特征和每个模态特定特征应尽可能不同。
尽管上述约束在一定程度上有助于分离模态不变和模态特定表示，但得到的潜在表示往往可解释性有限，共享成分和私有成分之间的解耦不足。这些限制可能会阻碍融合模型的判别能力和泛化能力。
为此，我们提出了一个新颖的传感器融合框架，明确区分时间不变（TI）特征和时间变化（TV）特征，以改进传感器融合分类。一个专门的时间解耦（TD）模块明确分离TI和TV表示，使模型能够捕获多传感器数据中的静态内在属性和动态时间行为。基于此，我们分别为TI和TV特征开发了定制的融合策略。对于TI特征，我们结合了一个模态解耦（MD）模块，旨在最大化跨传感器的互补线索的利用。相比之下，TV特征通过交叉注意力（CA）模块得到增强，该模块有效抑制冗余信息，同时对齐和加强动态特征。
本文的贡献总结如下：（1）我们分析和抽象了传感器观测模型，揭示了目标的静态和动态属性本质上嵌入在传感器数据中。（2）基于这一洞察，我们提出了一个TD模块，明确分离每个传感器的TI和TV表示，便于对静态和动态目标特征进行结构化建模。（3）为了有效融合这些异构特征，我们为TI和TV特征设计了专门的融合模块，即针对TI特征的MD模块和针对TV特征的CA模块。（4）实验结果表明，我们的方法与最先进的方法相比具有高度竞争力的性能。
相关研究
相关工作
根据不同来源的信息整合阶段，多传感器信息融合方法通常分为三类：数据级融合、特征级融合和决策级融合[14]。数据级融合直接组合原始传感器信号，保留了最详细的信息。然而，对于具有不同传感机制和数据格式的异构传感器，由于信号级的直接融合往往不可行
提出的方法
在本节中，我们首先分析和重建了传感器观测模型，并在此基础上定义了TI和TV特征。然后，我们探讨了这两种特征在观测数据中的表现和内在特性，并相应地设计了TD模块对其进行显式建模和分离。最后，我们引入了MD模块和CA模块分别融合TI和TV特征，其中MD模块分离了模态共享和模态特定的特征
实验
在本节中，我们进行了全面的实验来评估所提框架的有效性。我们在模拟的雷达-红外融合数据集和公开可用的人体活动识别（HAR）数据集（包括UCI-HAR [25]和mHealth [26]）上进行了评估。这些实验旨在验证模型整合异构传感器数据的能力，并在不同融合场景中泛化。
结论
在本文中，我们提出了一个新颖的传感器融合框架，明确区分了TI和TV特征，以提高多传感器分类的可解释性和有效性。通过引入时间解耦（TD）模块，我们的方法为每个传感器分离了TI和TV特征。此外，我们为TI和TV特征设计了专门的融合模块：前者使用MD模块，后者使用CA模块。MD模块整合了跨模态的互补信息
CRediT作者贡献声明
吴一达：撰写——原始草稿、软件、方法论、数据管理、概念化。王彩云：撰写——审稿与编辑、监督、项目管理、资金获取。王建宁：研究调查、数据管理。李晓飞：可视化、验证、资源管理。南颖：形式分析、数据管理。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金（项目编号61301211）的支持。
吴一达目前在中国南京航空航天大学航天学院攻读控制科学与工程博士学位。他的研究兴趣包括时间序列分类、多模态和多传感器融合用于模式识别，以及基于深度学习的表示学习。
