《Ergonomics》:3D human pose keypoints and corresponding joint angle calculation for vision-based WMSD risk assessments
编辑推荐:
为应对工作相关肌肉骨骼疾病(WMSD)风险评估中,传统观察法耗时、依赖专家,而现有基于视觉的姿态估计方法缺乏足够三维关键点信息、难以准确计算高自由度关节角度的挑战,本研究定义了一套包含66个三维人体关键点的集合,并推导了相应的关节角度计算步骤。研究人员基于所采集的、包含670万帧手动物料搬运与装配任务动作的VEHS-6.7M数据集训练基线模型。结果表明,该方法可实现跨6个身体关节的22个角度计算,平均绝对角度误差为2.4°,为构建侵入性小、易于获取的视觉基WMSD风险评估方法奠定了基础。
在劳动密集型产业中,工作相关肌肉骨骼疾病(WMSD)已成为非致命性工伤的首要原因,给工人的身体健康和企业生产力带来了沉重负担。传统的风险评估方法,如快速全身评估(REBA)、快速上肢评估(RULA)等,主要依赖经过培训的工效学家进行现场或视频观察。这种方法不仅耗时,而且评估结果可能因专家而异。近年来,随着计算机视觉技术的发展,利用普通摄像头视频进行基于视觉的姿态估计,为WMSD风险评估提供了一种侵入性更小、更易获取的新途径。然而,现有的方法大多基于通用人体姿态数据集训练机器学习模型,这些数据集通常只包含简化的关节中心关键点,缺乏计算WMSD风险评估所需的高自由度关节(如颈部、肩部、手腕)角度所必需的三维空间信息,导致角度计算过于简化或不准确。
为了解决这一核心瓶颈,本研究进行了一项开创性的工作。研究人员定义了一套专门用于关节角度计算的66个三维人体关键点集合,并推导了相应的角度计算步骤。这套关键点既要提供足够的三维信息以计算复杂的关节角度,又要包含适合于视觉基姿态估计模型追踪的显著视觉特征。为了验证其有效性,研究团队构建了一个大规模的三维人体姿态数据集——VEHS-6.7M。该数据集通过基于标记的运动捕捉系统采集,包含20名参与者执行9类典型手动物料搬运(MMH)和装配任务的画面,总帧数达到670万。数据集不仅提供了二维RGB视频,还包含了与之精确对齐的二维姿态标注、三维姿态标注以及SMPL人体网格标注,其动作多样性与工业环境高度契合。
基于这个数据集,研究团队训练了一个基线三维姿态估计模型(采用MotionBert架构,并针对66个关键点进行了适配)。评估结果显示,该模型在估计三维姿态时,平均每关节位置误差(MPJPE)为15.4毫米。更重要的是,利用估计出的66关键点三维姿态和本研究提出的角度计算步骤,可以计算出颈部、肩部、背部、手腕、肘部和膝关节共计22个角度,用于WMSD风险评估。这些角度与REBA、RULA、OWAS等评估工具中使用的定义相一致。在测试集上,计算出的关节角度平均绝对误差(MAE)为2.4°,中位数绝对误差为1.43°。这一精度显著优于先前同类研究报道的结果。此外,模型在工业现场视频上的推理结果也显示出良好的泛化能力。
本研究开展的核心技术方法包括:1. 关键点定义与角度计算建模:基于Plug-In Gait光学运动捕捉标记布局,定义了包含47个体表关键点和19个计算所得关节中心关键点的66关键点集,并推导了详细的关节角度计算步骤,特别是针对高自由度关节的分离角度分量计算。2. 大规模专业数据集构建:使用Vicon运动捕捉系统和FLIR RGB摄像机,采集了20名参与者(BMI范围17.53-32.23)执行9类MMH与装配任务的同步视频与三维运动数据,经过自动标记、间隙填充、平滑、坐标系转换和数据后处理,生成了VEHS-6.7M数据集。3. 三维姿态估计模型训练与评估:采用并修改MotionBert模型,使用VEHS-6.7M数据集的训练部分进行监督学习,然后在保留的测试集上评估三维姿态误差(MPJPE)和关节角度误差(MAE)。
研究结果:
- •
3D人体姿态关键点和关节角度计算:本研究提出的66关键点集有效平衡了角度计算所需信息与视觉可追踪性。通过定义肢体段坐标系和计算二面角等方法,实现了对颈部屈曲、侧弯、旋转,肩部屈曲、外展、旋转等高自由度关节角度分量的独立计算。
- •
3D人体姿态数据集收集:成功构建了VEHS-6.7M数据集,其数据规模(670万帧)和动作多样性(涉及估计5364种任务变体)均优于广泛使用的Human3.6M等通用数据集,且专注于工业相关的MMH和装配任务,更具领域针对性。
- •
评估数据集在训练3D姿态估计模型以进行关节角度计算方面的有效性:
- •
3D姿态评估结果:训练的MotionBert模型在66个关键点上达到15.4毫米的MPJPE。在匹配Human3.6M格式的17个关节中心关键点子集上,MPJPE为10.3毫米,与原始模型性能相当,且能满足实时推理需求。
- •
关节角度评估结果:所有22个关节角度的平均MAE为2.39°。其中,高自由度关节(颈、肩、背、腕)的18个角度平均MAE为2.7°,仍保持较高精度。误差分析显示角度误差分布非正态,腕部角度误差相对较大(MAE=2.84°),但已优于前人研究。
- •
行业视频推断结果的可视化:将训练好的模型应用于39段真实工业视频,在存在遮挡、远距离目标等复杂场景下,模型仍能生成合理的3D姿态估计,展示了其在实际工业环境中的潜力。
研究结论与意义:本研究通过定义一套新颖的66三维人体关键点集及相应的关节角度计算步骤,并构建大规模、任务专属的VEHS-6.7M数据集,有效解决了现有视觉基WMSD风险评估方法在计算高自由度关节角度时信息不足的难题。实验证明,基于此数据集训练的基线模型能够以较高的精度(平均角度误差2.4°)计算出WMSD风险评估所需的多种关节角度。这一误差水平远低于常见评估工具(如RULA、REBA)中角度评分区间的宽度,因此对最终风险等级判定影响甚微。该研究为开发更准确、非侵入、易获取的自动化WMSD风险评估工具提供了关键的理论基础、数据资源和方法框架。未来的研究可专注于进一步提升腕部等关键关节的角度估计精度,并在更广泛的真实工业场景中进行系统性定量评估,以推动该技术走向实际应用。