《Displays》：Towards high-dimensional IMU-based human activity recognition: data construction via 3D body modeling and classification with a multi-channel attention fusion network
编辑推荐：
基于3D人体运动捕捉的高维IMU数据生成方法及多通道注意力融合网络研究|高维IMU数据生成|3D人体运动捕捉模型|多通道注意力融合网络|MCF-Former|活动识别
郝晨|王晨曦|支登飞|杨青
西安邮电大学计算机科学与技术学院，中国陕西省西安市710121
摘要
高维惯性测量单元（IMU）数据由多节点惯性测量单元组成，能够提供人体软组织变形和骨骼运动的丰富特征，这对于人体活动识别非常有价值。然而，这类数据的高采集成本导致其稀缺性，这也限制了相应分类方法的研究。为了解决这个问题，提出了一种基于3D人体运动捕捉模型构建高维IMU数据的方法。与基于生成模型的IMU数据构建方法相比，该方法能够在低成本下有效模拟人体软组织的详细运动特性，并生成人体任何部位的模拟IMU数据组合。在此基础上，开发了一种能够适应具有动态结构的IMU数据的深度网络——多通道注意力融合网络（MCF-Former），以提高使用高维IMU数据识别人体活动的能力。在实验中，分别在包含5个节点和7个节点的VIDIMU和Opportunity++两个数据集上验证了生成IMU数据的有效性。此外，基于PAMAP2和RealWorld两个数据集，对数据规模和单元维度进行了扩展，并实验分析了MCF-Former的分类性能。结果表明，所提出的IMU数据生成方法在生成数据的平均误差和数据构建过程的灵活性方面具有明显优势。同时，与其他竞争方法相比，MCF-Former在适应具有不同结构的高维IMU数据和人体动作分类效果方面表现出显著的性能优势。
引言
惯性测量单元（IMU）集成了陀螺仪和加速度计等传感器，当作为可穿戴设备使用时，可以提供人体运动的时间信号。这类数据不受光照条件和衣物遮挡等因素的干扰，并且不涉及外观信息，从而避免了隐私问题[1]。这些优势促进了IMU传感器在医疗保健、人机交互以及体育和健身等领域的广泛应用[2]。特别是在医疗保健领域，基于IMU的系统在远程移动健康监测框架中发挥着关键作用[3]，支持对患有心脑血管疾病的患者进行家庭跟踪[4]，并提供连续的运动数据用于康复评估。同时，在活动识别研究中，监督学习方法得到了广泛验证[5]，而强化学习和迁移学习策略则被探索用于提高模型在不同场景下的适应性[6]。
目前，由于收集高维IMU数据的成本高且复杂，现有的公共数据集大多由单节点或少数节点传感器生成的低维IMU数据组成。相比之下，多节点传感器提供的高维IMU数据具有集成皮肤等软组织动态变形的优势，这对于识别精细的人体运动更为有价值。然而，数据采集的复杂性和高成本限制了基于高维IMU数据的应用研究。为了克服这一障碍，近年来应用了生成模型来构建模拟IMU数据[7]。我们注意到，这些方法主要关注人体骨骼的刚性运动，而忽略了人体表面软组织的动态变形。忽略这些变形会导致模拟数据与真实世界数据之间存在不可忽视的差异[8]，进一步降低了分类模型的训练效果[9]。因此，该领域的一个重大挑战是低成本生成大量高质量的高维IMU数据。另一方面，多传感器节点配置的多样性也增加了设计人体活动识别模型的复杂性。如何有效处理可能在结构和维度上存在显著变化的高维IMU数据，同时保持分类性能的可靠性，已成为相应算法研究中必须解决的关键问题[10]。
在这项研究中，我们提出应用3D人体运动捕捉模型来模拟人体运动过程，以提取更接近真实生物力学特性的高维IMU数据。同时，设计了一种能够动态适应各种传感器配置的多通道注意力融合网络来完成人体活动识别任务。本研究的主要贡献总结如下：
(1)提出了一种基于3D人体运动捕捉建模的机制，用于低成本生成IMU数据。为了逼真地模拟人体运动和姿态，引入了一种全局优化方法，该方法由结合肩宽指数和马凡氏躯干指数的目标函数指导，以指导人体建模过程。随后，根据3D人体模型的皮肤组件计算并捕获了人体运动过程中生成的传感器信号，从而能够灵活地为任意数据收集点组合生成IMU数据。
(2)为了解决由于相机自我运动等干扰因素导致的人体运动建模不准确问题，开发了一种基于人体关节连接刚性铰接系统的方法。该方法优化了刚性约束误差，计算相机平移参数和旋转矩阵，实现了3D人体建模结果的点云配准对齐，从而进一步减少了模拟IMU数据中的误差。
(3)设计了一种多通道注意力融合网络（MCF-Former），以提高使用高维IMU数据的人体活动识别性能。该网络可以适应具有任意数量和位置传感器节点的IMU数据，独立从每个数据通道提取特征，并采用多头注意力机制动态计算通道间的特征权重。这使得网络能够适应性地进行跨通道数据融合，提高网络对关键运动特征的关注度，从而提高全身活动的整体分类准确性。
方法片段
IMU数据生成方法
IMU数据生成方法大致可以分为两类：基于生成模型的方法和基于跨模态管道的方法。
方法论
本研究包括两个主要部分：数据生成和网络设计。整个工作流程如图1所示。在高维IMU数据生成过程中，我们特别考虑了两个要求，以满足模拟数据的灵活性和多样性：1）传感器可以分配到人体的任意位置和方向；2）传感器节点的数量可以动态变化。我们的方法首先提取骨骼关节序列
实验设计和参数设置
在实验的第一部分，我们使用了两个公共数据集VIDIMU [45] 和 Opportunity++ [46] 来验证所提出的高维IMU数据构建方法的有效性。VIDIMU数据集包含来自54名健康年轻人的运动视频和同时捕获的真实IMU数据，每位受试者使用摄像头和五个IMU记录了13种活动；Opportunity++数据集提供了19.75小时的传感器数据以及相应的视频数据，
结论
本研究专注于高维IMU数据的生成及其在人体活动识别中的应用。提出了一种构建3D人体模型的方法，以模拟人体运动过程中生成的IMU数据，从而实现低成本生成具有任意结构的高维IMU数据。实验结果表明，所提出方法生成的高维IMU数据在逼真度方面显著优于现有的生成方法。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。
致谢
本研究得到了陕西省发展项目（2022GY-315）和秦创原“科学家+工程师”团队建设项目（2024QCY-KXJ-200）的资助。
