《AUTOMATION IN CONSTRUCTION》：Knowledge-augmented multi-modal data fusion and reasoning for automated crane lift monitoring
编辑推荐：
本文针对建筑工程中起重机吊装作业监测效率低、数据碎片化的问题，提出了一种融合领域本体知识的多模态数据融合与推理框架。研究通过集成计算机视觉(CV)、传感器信号与进度计划数据，构建了分层混合推理管道，实现了瞬态行为识别、作业分割和计划任务映射。现场实验表明，该系统行为识别整体准确率达0.911，作业分割中位时长误差<10秒，任务映射F1分数达0.944。该研究为施工现场生产率评估和工作流优化提供了技术支撑。
全球建筑生产率在过去二十年仅增长10%，远低于制造业90%的增幅。特别是2020-2022年间，建筑行业生产率下降8%，凸显出传统人工监测方法效率低下、易出错的问题。起重机作为预制化建筑的关键设备，其操作协调性直接影响项目进度，但现有监测方法多依赖单一数据源，难以建立吊装对象与计划任务间的语义关联。
为解决这一难题，莫纳什大学研究团队在《AUTOMATION IN CONSTRUCTION》发表研究，提出了知识增强的多模态数据融合与推理框架。该研究通过三阶段方法论：首先构建起重机吊装领域本体模型，定义craneTransientStatus（起重机瞬态状态）、Operation（作业）、Order（订单）等核心类及其属性关系；接着集成视觉（YOLOv8-OBB检测器）、传感器（编码器/IMU）和文本（吊装计划）多模态数据，以0.33Hz频率进行时空对齐；最后通过分层推理实现瞬态行为识别、作业周期分割和计划任务映射。
关键技术方法包括：基于语义网络的本体建模、多传感器数据融合（包含重量、俯仰角、回转角等信号处理）、计算机视觉目标检测（采用定向边界框技术）以及基于Jaccard相似度的语义匹配算法。研究通过现场实验验证，在真实建筑工地部署移动起重机进行为期两天的数据采集。
研究结果显示：
- 1.
瞬态行为推理准确识别8类行为，整体准确率0.911（95%CI[0.901,0.921]），平均F1分数0.907。其中"空闲"（0.987）和"卸载"（0.972）识别效果最佳，而"装载"与"负载保持"存在一定混淆。
- 2.
作业分割成功划分21个吊装作业周期，起止时间中位误差分别为7秒和6秒，作业时长中位误差<10秒。系统通过多模态验证有效过滤空钩摆动等干扰。
- 3.
任务映射实现F1分数0.944，准确率0.905。成功识别出计划外作业（2次）和未执行订单（1次），对连续批量吊装相同物料的情况也能正确区分。
讨论部分指出，该系统通过本体推理将低层数据转化为高层知识，使时间消耗可归因到具体作业行为（如案例中装载占66.5%时长），为优化资源配置提供依据。多模态融合机制增强了对遮挡等现场挑战的鲁棒性，相比单一数据源方法更具实用性。
该研究的核心意义在于建立了可解释的起重机作业数字化监测范式，为建筑行业数字化转型提供了关键技术支撑。未来可通过集成激光测距等传感器优化高度测量，结合知识图谱技术扩展为全生命周期管理系统，推动智慧工地建设向更高水平发展。
