《ADVANCED ENGINEERING INFORMATICS》：IMU-based recognition of ergonomically unsafe postures in construction work using image encoding and Vision Mamba
编辑推荐：
建筑工地工人体态安全监测研究采用单个腰佩戴IMU传感器，通过GAF/MTF图像编码与Vision Mamba深度学习架构实现多通道时序数据输入。该方法在VTT-ConIoT数据集上以91.18% F1分数超越18种基线模型，包括CNN、LSTM和Transformer变体，推理速度约122.88ms。IMU的六轴数据经时空特征编码后，有效解决视觉系统在复杂工地环境中的遮挡和光照问题，为低成本实时安全监测提供新方案。
朴民洙|高东英|全允泰|吴泰坤|朴成希
韩国江原道江原市朱玄路7号，江原 Wonju 国立大学土木与环境工程系，25457
摘要
建筑工地的劳动密集型任务常常导致工人采取不安全的行为，从而增加工作相关肌肉骨骼疾病（WMSD）和严重事故（如滑倒或从高处坠落）的风险。这些伤害和事故的一个关键因素是身体姿态不自然，而基于摄像头的系统在杂乱的工作环境中往往无法捕捉到这一现象。为了克服这些限制，人们探索了基于传感器的监测方法。然而，这些方法通常需要多个可穿戴设备，这使得它们在建筑环境中使用起来成本高昂且不切实际。最近，深度学习技术表明，即使是非常微小的运动信号也可以被用来推断工人的风险，特别是通过将传感器数据编码为图像输入到卷积神经网络（CNN）中。基于这些进展，我们提出了一个更有效的安全监测框架，该框架使用单个腰戴式惯性测量单元（IMU），并结合了专为时间序列传感器数据设计的 Vision Mamba 视觉架构。IMU 的六个信号被转换为 Gramian 角度场（GAF）和马尔可夫转移场（MTF）图像，然后作为多通道输入送入 Vision Mamba 神经网络。我们在包含高风险姿势类别的公开 VTT-ConIoT 数据集上评估了该框架的性能。所提出的方法取得了 91.18% 的 F1 分数，优于 18 种经典和深度学习基线模型（包括 CNN、LSTM 和 Transformer 变体），同时保持大约 122.88 毫秒的推理时间。尽管该系统没有像多 IMU 方法那样进行显式的关节角度估计，但它能够从最少的传感器输入中可靠地识别出危险姿势，这为建筑工地的实时风险监测提供了新的可能性。
引言
建筑工作本质上伴随着剧烈的体力消耗和高强度的机械劳动[1]。这种高强度的体力劳动常常导致严重的健康问题，尤其是在人体工程学方面，例如工作相关肌肉骨骼疾病（WMSD）[2]、[3]。先前的研究表明，建筑行业中大量未受管理的工人行为是增加这种疾病可能性的主要原因[4]、[5]、[6]、[7]。这些不安全的人体工程学行为往往被忽视或管理不善，不仅会导致长期的健康问题，还会立即引发安全风险，例如从高处坠落或滑倒，这些风险直接增加了严重二次事故的发生概率[8]、[9]。美国联邦统计系统的主要机构——劳工统计局（BLS）[10]将 WMSD 定义为由于工作活动中不安全或姿势不自然而引起的伤害。2023 年，建筑研究与培训中心（CPWR）[11] 的研究表明，建筑行业中超过 20% 的非致命伤害归因于 WMSD，主要是由于过度劳累和重复性动作，而这些在建筑工作中非常普遍[11]。
建筑行业中的这些人体工程学隐患不仅导致工人伤亡，还会干扰施工进程并增加项目成本[12]。这些疾病的影响体现在多个方面，包括工人缺勤、施工进度延误以及工人赔偿索赔增加[13]、[14]。这突显了管理人体工程学问题以提高工人安全和施工项目效率的重要性。
深度学习、物联网传感器和数据处理的最新进展使得不安全行为的自动分类成为可能[15]、[16]。这些技术主要围绕计算机视觉驱动的图像处理或可穿戴传感器时间序列数据分析开发，显示出替代基于人类观察的方法的潜力。
基于计算机视觉的研究旨在根据全身或身体部位的配置来评估不安全行为[18]、[19]、[20]、[21]。这使得无需给工人佩戴传感器等物理负担，就能通过姿势估计和物体检测直观且视觉化地分析不安全行为的原因。然而，建筑工作大多在户外进行，对光照条件非常敏感，而且建筑现场的复杂性可能导致视觉遮挡，干扰姿态估计的结果[22]、[23]。建筑现场的嘈杂环境通常会降低基于计算机视觉的系统的可靠性[24]。图 1 展示了使用计算机视觉识别不安全工人行为的挑战。图 1(a) 中，工人正在执行跪姿动作，但由于脚架和金属结构的遮挡，小腿部分无法被看到，导致姿态估计结果难以判断，这种情况在建筑现场很常见。图 1(b) 显示了由于摄像机角度问题导致的估计结果失真。此外，一些研究表明，距离超过 4 米的摄像机拍摄的姿态估计可靠性不稳定[25]，这可能需要大量投资用于安全管理，因为需要安装多个摄像机。基于视觉的技术需要从不同角度安装多个摄像机来有效管理盲点；然而，在不断变化的建筑现场频繁设置、拆卸和重新定位大量摄像机，使得计算机视觉在建筑工地监测中的实际应用变得困难。在这种情况下，仅依赖视觉方法的广泛监控系统的发展仍然具有挑战性。
与基于视觉的方法相比，惯性测量单元（IMU）等运动传感器具有连续监测的优势，且相对于视觉传感器来说成本较低。IMU 是一种紧凑的传感器，通常结合了加速度计、陀螺仪和磁力计来测量物体的运动。加速度计可以检测三维空间中的加速度，提供关于线性运动的洞察。在行为分类研究中，IMU 传感器的紧凑尺寸和相对较低的成本使其在研究和商业应用中越来越受欢迎，从而实现了详细的运动分析[20]、[26]。然而，许多现有的基于运动传感器的研究需要为每位工人使用多个可穿戴传感器。如果增加传感器的数量，可以提高行为推理的准确性；然而，这在成本和维护方面可能成为负担，同时工人也需要佩戴和管理多个传感器，可能会影响他们的行动自由。从这个角度来看，本研究提出了一种框架，通过使用受建筑现场环境影响较小的传感器数据来强化时间序列模式提取，从而用最少的传感器对类似行为（姿势）进行分类。本研究的主要贡献如下：
- •
提出了基于 IMU 运动传感器的框架，以增强对建筑工人行为的监测。该框架旨在识别与 WMSD 相关的高风险姿势。
- •
所提出的方法将传感器数据编码为图像，然后将其堆叠起来作为基于深度学习的分类模型的输入。这种方法增强了高维时间序列数据中复杂模式和关系的提取，提供了一种分析传感数据的方法。
- •
与其他 18 种分类方法相比，我们的模型在所有类别上的表现都更好或具有相似的准确性，即使在姿势相似的情况下也是如此。
本文的其余部分安排如下：第 2 节回顾了关于建筑工人不安全行为的研究文献，为不安全行为识别的分类提供了基础。此外，我们总结了与基于传感器的工作行为分类研究相关的先前研究，并解释了它们与本研究的关系。第 3 节描述了实验中使用的数据集、识别工人行为的过程、提出的框架以及我们的研究方法。第 4 节详细介绍了基于该方法的研究结果，这些结果验证了我们方法的可行性。第 5 节讨论了研究见解、局限性以及未来研究的方向，以改进我们的方法。最后，第 6 节提出了结论。
部分摘录
评估建筑中不安全行为的姿势人体工程学
利用接触传感器获得的姿势相关数据，可以将建筑工人的不安全行为分为两个主要领域：危险识别，包括安全法规违规的检测和跌落风险评估；以及工人健康管理，重点是人体工程学风险评估[20]。本研究特别关注与工人健康管理相关的不安全行为，特别是那些由不正确姿势引起的行为。
结果
行为分类模型的实验配置使用了两块 NVIDIA RTX A6000 显卡（每块显卡配备 48 GB 显存）。我们还使用了 16 个英特尔至强 Silver 4215R CPU（主频 3.20 GHz）、Ubuntu 20.04 操作系统和 Python 3.9.13 版本。该模型在 12 × 320 × 320 多通道图像编码的时间序列数据上训练了 150 个周期。
讨论
在本节中，我们将基于基准数据集训练的模型应用于室内实验，以评估所提出框架的潜在影响和好处，以及其局限性和未来研究的方向。除了测试数据集外，我们还进行了室内实验，以讨论所提出模型的优势和局限性以及未来研究的方向。尽管基准数据集包含清晰分割的单个行为样本，但它仍然
结论
在这项研究中，我们提出了一个使用单个腰戴式 IMU 对建筑工人行为进行分类的框架，结合了先进的图像编码技术 GAF 和 MTF 以及深度学习模型（如卷积神经网络和 Vision Mamba）。GAF 捕捉时间序列数据中的全局幅度关系，而 MTF 强调局部过渡动态；将两者结合使用提供了互补的空间和时间表示，增强了模型的能力
CRediT 作者贡献声明
朴民洙：撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件开发、项目管理、资金获取、概念构思。高东英：初稿撰写、方法论。全允泰：软件开发、形式分析。吴泰坤：方法论、概念构思。朴成希：监督、项目管理。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：朴民洙报告称获得了江原 Wonju 国立大学的财务支持。
致谢
本研究得到了韩国政府（MSIT）资助的韩国国家研究基金会（NRF）（RS-2024-00351179、RS-2025-02223612）的资助。本文还得到了 2025 年江原 Wonju 国立大学新任命教授的研究资金支持。
