动态距离轨迹相关性分析用于将不安全行为与工人身份关联起来：一种多模态CV–RFID集成方法

《ADVANCED ENGINEERING INFORMATICS》：Dynamic distance trajectory correlation for associating unsafe behavior with worker identity: A multimodal CV–RFID integration approach

本文提出一种融合计算机视觉（CV）与射频识别（RFID）技术的轨迹一致性多模态身份关联方法，用于解决建筑工地中不安全行为与工人身份精准匹配的难题。通过动态轨迹关联算法克服环境干扰导致的RSSI信号不稳定问题，结合YOLOv8-YOLOv12模型实现工人及PPE检测，采用人体姿态估计定位RFID腕带坐标，并创新性地将视觉距离估计与RFID信号衰减模型结合，在实验中达到1.0000的身份匹配准确率，验证了方法在复杂工地环境中的有效性。

　　

蔡瑞英|梁颖|陈向生|李静茹|唐静远|谭毅

中国教育部深圳大学沿海城市韧性基础设施重点实验室

摘要

卷积神经网络（CNN）已被广泛用于建筑安全领域，以检测不安全行为。然而，将不安全行为与特定工人的身份准确关联仍然是一个重大挑战。本文提出了一种基于轨迹的一致性多模态身份关联方法，该方法结合了计算机视觉（CV）和射频识别（RFID）技术。为了解决由于环境干扰、信号丢失和多径效应导致的RSSI信号不稳定和不可靠问题，本文引入了一种新颖的动态轨迹相关性匹配算法，该方法将重点从瞬时距离值转移到距离趋势的时间相似性上。只有当CV和RFID得出的距离同时存在并表现出一致的动态模式时，才会进行匹配，从而确保对信号波动和部分遮挡的鲁棒性。所提出的方法包括：（1）一种基于工人个人防护装备（PPE）边界框重叠率的不安全行为识别方法，其中对象检测使用基于YOLO的模型（YOLOv5、YOLOv8–YOLOv12）；（2）通过人体姿态估计对个体进行视觉跟踪并估计左腕标签的位置；（3）使用空间坐标变换和空间调整进行CV的双模态距离估计，以及RFID的路径损耗模型；（4）基于轨迹的身份对齐算法，该算法利用跨模态动态一致性。实验评估表明，YOLOv8在测试数据集上实现了最佳的对象检测精度（mAP 0.969，F1分数0.950），YOLOv9在实际视频数据中实现了最高的不安全行为检测精度（0.8663）。值得注意的是，所提出的基于轨迹的身份关联方法在稳定跟踪段中达到了1.0000的精度。这些结果证实了该方法在真实建筑环境中准确判断“谁是不安全的”方面的潜力。

引言

建筑工地的环境复杂且不断变化，导致事故率持续较高[1]，占工作场所事故的约30-40%。值得注意的是，其中超过90%的事故可以直接归因于不安全行为和危险的工作条件[2]。此类安全事故不仅造成人员伤亡和经济损失，还降低了建筑行业的吸引力，严重阻碍了其健康发展[3]。因此，有效的安全管理，特别是对不安全行为和工作环境的主动监控，对于预防事故至关重要。传统的建筑安全管理主要依赖于人工检查，这种方法劳动强度大、耗时且覆盖范围有限[4]。

随着计算机视觉（CV）和智能传感技术的进步，越来越多的研究开始探索其在建筑安全中的应用[5]。特别是基于深度学习的CV，尤其是卷积神经网络（CNN），提供了一种端到端的解决方案，能够自动提取特征并适应不同的输入维度、格式和分辨率，使CNN非常适合各种图像处理任务[6]。基于CNN的技术已被广泛应用于多种建筑安全任务，包括图像分类、对象检测、分割、姿态估计和对象跟踪[7]。在这些任务中，对象检测是研究最广泛、最成熟且最适用于现场部署的。例如，对象检测模型已被用于识别工人[8]、个人防护装备（PPE）[9]和建筑设备[10]。然而，这些模型通常只提供检测结果，单独来看实际意义有限。

为了解决这一限制，一些研究引入了后处理技术来进一步分析安全相关场景。例如，一些研究检查了基本的关系检测，如识别工人是否正确佩戴了PPE[11]，[12]，或检测工人和建筑设备之间的潜在碰撞[13]，[14]。实时监控不安全行为并结合对相关工人身份的准确识别对于有效的建筑安全管理至关重要。然而，专门针对与不安全行为相关的个体身份识别和跟踪的研究仍然有限[15]。Fang等人建议，未来的研究可以通过结合CV和射频识别（RFID）技术来有效解决这一差距[15]。尽管一些研究在其他领域探索了CV-RFID集成方法[16]，但大多数现有方法主要集中在解决定位或跟踪问题上，通常应用于相对受控的环境或处理单对象跟踪场景中的简单对象，例如使用轨道上的玩具车。这些方法尚未有效适应建筑安全应用中出现的独特挑战，如动态环境、遮挡和由于复杂现场条件导致的信号丢失。

为了克服这些研究空白，本文提出了一种结合计算机视觉和RFID技术的集成方法，以检测工人的不安全行为，并将这些行为与其相应的身份关联起来。本文的主要贡献包括：

(1) 使用多个对象检测模型（例如YOLOv5、YOLOv8–v12）来检测工人和PPE，并利用基于PPE的重叠分析来识别不安全行为。

(2) 使用对象跟踪和人体姿态估计来一致地为工人分配数字ID，并准确定位工人佩戴的RFID标签（左腕关键点）的像素坐标，从而准确估计标签到相机的距离。

(3) 通过坐标变换和空间位置调整计算基于视觉的标签到天线的距离，并使用路径损耗模型估计基于RSSI的距离。

(4) 提出了一种基于距离轨迹相似性的匹配算法，这些轨迹距离分别来自基于视觉的距离（与视觉ID相关）和基于RSSI的距离（与EPC代码相关），以实现准确的行为-身份关联。

本文的其余部分结构如下。第2节回顾了与建筑安全中基于CNN的CV应用、RFID技术和集成CV-RFID方法相关的工作。第3节介绍了用于将不安全行为与工人身份匹配的所提出的CV-RFID集成方法。第4节详细介绍了进行的实验以验证所提出的方法。最后，第5节以总结和讨论结束本文。

章节片段

基于CNN的CV在建筑安全中的研究

基于CNN的CV技术的应用极大地推进了建筑安全管理，特别是在对象检测、姿态估计和跟踪等任务中[7]。经典模型已被应用于建筑工地上的安全关键场景。例如，YOLO、Faster R-CNN和SSD等对象检测模型已被用于检测安全头盔[17]、[18]、[19]、工人[8]、[20]、[21]、安全带[22]、[23]和模块化组件[24]。

方法论

本文提出了一种集成计算机视觉和RFID数据的多模态框架，用于识别参与不安全行为的工人身份。所提出方法的技术工作流程如图1所示，包括四个主要组成部分：

(1)

不安全行为识别。训练并比较多个对象检测模型以识别工人及其相应的PPE。通过分析PPE和工人的边界框之间的重叠来检测不安全行为。

(2)

实验

本文进行了三项实验来评估所提出方法的有效性：（1）对象检测模型的比较实验，（2）不安全行为检测的分析，（3）不安全行为与工人身份之间的匹配实验。每个实验的详细信息在以下部分中介绍。

环境和跟踪挑战

尽管所提出的动态轨迹匹配方法旨在减轻环境干扰的不利影响，但它并不能完全消除这些影响。系统仍然受到一系列环境和操作因素的影响，这些因素会影响视觉跟踪和RFID感知。在视觉模式下，由工人、设备或脚手架引起的遮挡，加上动态光照变化（例如阴影、眩光或照明不足），可能会妨碍准确的

结论

本文提出了一种新颖的多模态框架，该框架结合了CV和RFID技术，以解决在建筑环境中准确关联不安全行为与特定工人身份的挑战。通过将工人定位任务重新定义为身份匹配问题，所提出的方法在统一的流程中结合了基于CNN的对象检测、人体姿态估计、坐标变换和基于RSSI的距离估计。

CRediT作者贡献声明

蔡瑞英：撰写 – 原始草稿，调查。梁颖：验证，调查，数据管理。陈向生：监督，资源获取，调查。李静茹：监督，调查，资金获取，概念化。唐静远：监督，资金获取，数据管理，概念化。谭毅：撰写 – 审稿与编辑，监督，资金获取，正式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本研究得到了国家自然科学基金[资助编号：52308319、72301043]和深圳市自然科学基金[JCYJ20220531101209020]的财政支持。