迈向基于实时传感器的人类活动识别：一个重新参数化的多维特征通信融合框架

《Future Generation Computer Systems》：Towards real-time sensor-based human activity recognition: a re-parameterized multidimensional feature communication fusion framework

传感器人体活动识别研究提出ORepMFCF框架，通过ORV模块解耦多分支结构提升推理速度，TDICS模块增强时间相关特征通信，CAFF模块优化多维特征融合，实现WISDM、UniMib-SHAR等数据集98.60%-96.26%的高精度，并在Raspberry Pi和手机上验证其轻量化与实时性。

　　

郑浩|徐宏吉|段玉鹏|于永辉|高飞|乔宇

山东大学信息科学与工程学院，中国山东省青岛市266237

摘要

基于传感器的人类活动识别（HAR）由于其在健康监测、智能家居和运动追踪等领域的广泛应用，已成为一个研究热点。深度学习，特别是具有自动特征提取能力的卷积神经网络（CNN），在识别准确性方面表现出了卓越的性能。然而，一些当前的基于深度学习的HAR方法需要大量的参数和计算资源来追求高准确性，从而导致高昂的资源和时间成本。为了解决这一挑战，我们提出了一种轻量级的一维重参数化多维特征通信融合（ORepMFCF）框架，实现了识别准确性和速度之间的良好平衡。开发了一维重参数化VGG（ORV）模块，将训练好的多分支结构解耦为单一路径，以提高推理速度而不影响准确性。提出了时变信息通道混合（TDICS）模块来增强特征提取和通信能力。通道注意力特征融合（CAFF）模块用于改进多维特征融合。ORepMFCF在WISDM数据集上的准确率为98.60%，在UniMib-SHAR数据集上为89.38%，在OPPORTUNITY数据集上为86.43%，在MobiACT数据集上为96.26%。ORepMFCF所需的参数更少，计算开销更低，同时具有更好的识别性能，显著超越了最近的先进HAR网络。在Raspberry Pi和智能手机上对ORepMFCF的实时推理时间进行了评估，证明了其有效性和实用性。

引言

未来几十年，老龄人口的持续增长将带来巨大的社会和经济挑战。一般来说，由于认知和身体能力的限制，老年人往往处于脆弱状态，需要帮助完成日常生活活动（ADLs）。然而，为老年人提供持续的护理和医疗监督是一项具有挑战性的任务。普适计算的最新进展为这一问题提供了新的解决方案。其中，人类活动识别（HAR）得益于人工智能（AI）和各种移动计算设备的进步，取得了令人印象深刻的性能提升[1]。特别是基于传感器的HAR（SHAR）[2]、[3]、[4]已成为该领域的主流研究范式。其他HAR方法，如基于视频的[5]、基于WiFi的[6]和基于雷达的[7]，通常需要受限的工作条件。具体来说，相机的视野有限，且对照明和视线（LOS）条件有要求。此外，一些基于雷达和WiFi的方法容易受到信号覆盖和障碍物的影响。这些特定的工作条件通常导致高成本和低效率，从而阻碍了它们在日常生活场景中的集成[8]。相比之下，可穿戴和移动传感器设备，如智能手表、智能手机和智能手环，由于配备了加速度计和陀螺仪等各种内部传感器，被广泛用于识别任务。由于传感器的独特优势，例如紧凑、成本效益高且不显眼，SHAR被广泛应用于实时应用，如智能医疗[9]、智能家居[10]和运动追踪[11]。

如今，深度学习在各种计算机视觉任务中展示了强大的能力，例如图像分类[12]和物体检测[13]。研究人员已将深度学习方法应用于各种HAR任务[14]。基于卷积神经网络（CNN）的几种深度学习模型被提出，用于自动从传感器信号中学习显著特征。这些研究主要针对三个目标：1）高准确性，2）低延迟，3）轻量化。例如，Al-qaness等人[15]开发了一个基于多层残差网络的HAR系统，通过注意力机制提取时间序列特征以提高准确性。Zhang和Xu[16]设计了一个多层网络，能够捕捉多模态信号的时间和空间依赖性，在四个公开可用的数据集上实现了出色的识别准确性。Suh等人[17]提出了一种基于变压器的对抗学习模型，采用无教师自我知识蒸馏来提高识别准确性。此外，为了提取时空特征，一些研究[18]将传感器数据转换为二维图像作为神经网络的输入以提高HAR准确性。然而，这些工作主要集中在模型架构的设计和数据预处理上，以获得更高的准确性，而忽略了模型参数和计算成本。在实际部署中，特别是在计算能力和内存有限的嵌入式设备上，仔细考虑模型大小和计算效率至关重要。因此，开发高效的网络以实现实时HAR是必要的。

一些当前的基于深度学习的HAR方法需要大量的参数和计算资源来追求高准确性，从而导致高昂的资源和时间成本。为了解决轻量化和低延迟的挑战，一些研究致力于使用更少的卷积层或减小传感器数据的输入尺寸。尽管这些模型实现了低延迟和轻量化，但特征信息提取不足影响了识别准确性。此外，一些HAR网络使用高效的卷积技术，例如条件参数化卷积[19]、可变形卷积[20]和多分支卷积[21]，以降低推理时间成本。然而，在活动识别准确性、网络大小和推理时间成本之间实现理想的平衡仍然具有挑战性。直观地说，在先进的计算机工作站上训练神经网络然后在资源受限的可穿戴或移动设备上部署它们更为实际。此外，研究人员最近发现了多分支（MB）CNN架构，如VGG[22]和ResNet[23]，可以提供出色的识别准确性。然而，盲目地通过增加网络的深度和宽度来追求更好的性能可能会导致更高的延迟和显著的计算开销。因此，在训练期间提高性能并保持MB结构，然后在推理期间将其解耦为单一路径结构，以确保准确性和实时性将是有利的。

为了解决上述主要问题，我们提出了一种一维重参数化多维特征通信融合（ORepMFCF）框架用于SHAR。具体来说，该网络在训练期间具有MB拓扑结构，但在推理期间无缝转换为普通的CNN结构。与现有方法相比，ORepMFCF具有适用于低成本硬件受限设备的轻量级架构，能够在识别准确性和速度之间实现良好的平衡。ORepMFCF由一个时变信息通道混合（TDICS）模块、两个一维重参数化VGG（ORV）模块和一个通道注意力特征融合（CAFF）模块组成。进行了消融研究以评估所提出模块的效果。此外，还进行了全面的比较实验，以评估ORepMFCF在四个公开基准数据集上的有效性。本工作的主要贡献如下：

1.

为了平衡识别准确性和计算成本，我们提出了一种轻量级的ORepMFCF网络用于SHAR，在无线传感器数据挖掘（WISDM）、OPPORTUNITY、UniMib-SHAR和MobiACT基准数据集上表现出比比较网络更好的性能。这些实现在不同边缘设备上进行了评估，具有有效的识别性能。

2.

ORV模块通过重参数化技术将训练好的MB结构解耦为单一路径进行推理，实现了活动识别准确性和速度之间的平衡。ORV模块非常通用，可以无缝替换为普通的卷积层。

3.

TDICS模块用于捕获时变特征信息，并有效增强不同通道之间的特征通信能力。同时，CAFF模块用于提高特征提取和多维特征融合的质量。

本文的其余部分组织如下。第二节总结了最近基于深度学习的HAR和轻量级神经网络的工作。第三节描述了所提出的网络，第四节展示了实验结果和讨论。最后，第五节总结了本文。

节选

深度学习在SHAR中的应用

深度学习已成为SHAR领域非常流行的方法。这些基于深度学习的方法可以分为三部分：深度神经网络、混合模型和基于迁移学习的模型。深度神经网络主要包括CNN、基于变压器的模型、循环神经网络（RNN）以及RNN的变体，包括长短期记忆（LSTM）和门控循环单元（GRU）。Zeng等人[24]、Yang等人[25]和Ronao等人[26]最早进行了相关研究

提出的网络

在本节中，我们详细描述了所提出的ORepMFCF框架，它主要由三个部分组成：一个TDICS模块、两个ORV模块和一个CAFF模块，如图1所示。TDICS模块可以有效捕获时变特征，并加强不同传感器通道之间的特征通信。对于训练模型，ORV模块是一种MB架构，能够在相同的网络深度下提供比单路径模型更好的特征提取能力。

实验结果和讨论

在本节中，首先介绍了实现细节和使用的基准数据集。然后，在四个数据集上评估了所提出的ORepMFCF网络。此外，还进行了消融研究，以深入了解所提出模块的影响以及内核大小对TDICS模块的选择。我们还与其他网络进行了全面比较，并评估了在不同边缘设备上的实际推理性能

结论

在本文中，我们提出了ORepMFCF框架，用于可穿戴SHAR，以实现准确性和推理速度之间的良好平衡。主要特征提取模块ORV用于将训练好的MB结构解耦为单一路径，以提高推理速度。TDICS模块用于增强传感器特征提取和通信能力，而CAFF模块旨在提高多维特征融合能力。进行了全面的实验

CRediT作者贡献声明

郑浩：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。徐宏吉：撰写——审稿与编辑、监督、资源获取。段玉鹏：撰写——审稿与编辑。于永辉：撰写——审稿与编辑。高飞：撰写——审稿与编辑。乔宇：撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。