活动识别是指利用从传感器收集的用户数据，并应用模式识别理论以及机器学习或深度学习算法来识别各种人类活动的技术。它包括人类行为识别（HAR）和群体活动识别（GAR）。目前，该领域的大多数研究都集中在个体层面，而针对多用户或更广泛社会层面的GAR的研究相对较少。群体活动不仅仅是个体行为的简单聚合；它涉及个体之间以及个体与其环境之间的复杂互动。GAR的核心在于深入探索这些互动，以生成群体活动的有意义的语义表示。GAR在城市规划、交通监控和社会学研究等领域具有巨大的应用潜力[1]。
历史上，大多数GAR方法依赖于视频分析[2]。然而，随着移动传感器技术的快速发展，基于传感器的GAR已成为一个有前景但具有挑战性的研究方向。通过分析传感器数据，这些方法能够捕捉群体动态并识别群体活动[3]，同时克服了基于视频的方法的固有局限性——如隐私问题和位置限制[4]。
在GAR中，通常将包含12个或更少个体的群体定义为小型群体，而包含超过12个个体的群体则被视为大型群体[5]。在小型群体中，个体活动通常更加集中和一致，导致群体活动和互动的模式相对简单。目前大多数基于传感器的GAR方法主要关注小型群体。但是，传统的小型群体GAR方法[6]、[7]、[8]、[9]依赖于手工制作的特征，这限制了它们的鲁棒性和泛化能力。相比之下，深度学习通过数据驱动的方法进行特征提取，从广泛的样本训练中得出深度的、特定于数据集的特征表示，从而提高了鲁棒性和泛化能力。因此，深度学习方法在GAR研究者中也受到了关注。阮等人[10]提出了一种基于传感器数据的双域联合注意力机制（TJAMSD），通过整合数据域和语义域的网络来提高GAR的准确性和鲁棒性。尽管这种方法利用深度学习来增强特征提取的鲁棒性和泛化能力，但它仍然主要关注小型群体特征。当应用于大型群体时，TJAMSD的识别性能会显著下降。这一限制主要是由于个体行为的多样性增加、互动的复杂性提高，以及在大规模环境中出现同步性和协调性分析等挑战性问题。因此，开发针对大型群体的专门特征提取方法对于提高大型群体活动的识别准确性至关重要。
最近，研究人员开始关注基于传感器数据的大型群体活动识别。例如，Lane等人[11]引入了网络化社区行为（NCB）框架用于活动识别，旨在揭示社区规模上的活动模式。陈等人[12]利用基于位置的移动传感器信号探讨了社会关系和GPS位置信息对群体活动模式的影响。吴和Solmaz等人[13]提出了一种两阶段方法来推断移动模式，通过成功识别个体移动模式来检测集体移动行为。上述方法能够区分小型群体和大型群体的特征，并采用特定策略处理大型场景。然而，这些方法仍然严重依赖于预先定义的先验知识，这限制了它们的鲁棒性和泛化能力。此外，它们未能充分解决大规模环境中的关键挑战——如同步性和协调性——从而阻碍了整体群体活动模式的有效捕捉。
频率域深度神经网络被认为可以捕捉活动中的全局特征，如共振频率，为上述挑战提供了潜在的解决方案。Vuong等人[14]提出了一种深度小波卷积神经网络（DWCNN），旨在从时间和频率域中提取特征。这种方法通过揭示时间-频率域内传感器信号的内在依赖性，提高了多模态HAR的准确性，有效解决了多模态传感器信号中的时间-频率依赖性带来的挑战。Hussai等人[15]提出了一种基于信道状态信息的Wi-Fi被动感知模型用于HAR，利用功率谱密度分析来捕捉频率域特征，同时使用Transformer架构处理频率域相位信息并捕捉复杂的时空模式。尽管这些方法在时间和频率域都使用了深度神经网络进行活动识别，但它们仅限于HAR，并未解决GAR问题，特别是在大规模GAR的背景下。
基于上述分析，并针对当前大型群体活动识别中的关键挑战，本文提出了FreTransLS——一种基于频率变换器的模型，用于使用传感器数据识别大型群体活动。FreTransLS旨在捕捉大型群体中更丰富的个体互动和更复杂的活动模式。这项工作的主要贡献是一个新的时频特征提取框架，能够学习出有效反映群体成员之间同步性和协调关系的鲁棒和泛化表示。具体来说，它包括：
(1) 它引入了时空图卷积网络（ST-GCN）模块来提取群体时空特征，以及群体位置特征提取（GLFE）模块来捕捉群体位置特征。通过将群体时空特征与群体位置特征融合，模型生成了群体活动的鲁棒时域特征。
(2) 它引入了一个基于频率注意力的频率变换器编码器来进行时频特征提取。该模块使用频率注意力在频率域中进行全局分析，以理解群体活动中的同步性和协调性关系。多头注意力机制用于捕捉群体活动的时频特征。
(3) 在两个自构建的数据集UT-Data-gar和Garsensors上进行的实验表明，所提出的方法能够有效捕捉大型群体活动特征，在大型群体活动识别中实现了比现有方法更高的准确性和鲁棒性。
本文的其余部分组织如下：第2节回顾了相关工作，包括基于视频和传感器的大型群体活动的当前研究。第3节详细介绍了所提出的模型。第4节介绍了实验数据集、设置、结果和分析。第5节对研究结果进行了讨论，第6节总结了研究。
