基于特征提取的视觉得能肩部关节运动识别

《Franklin Open》：Vision Based Intelligent Shoulder Joint Movement Recognition Using Feature Extraction

　　

精确的肩部关节运动评估对于康复和肌肉骨骼健康管理至关重要。本研究提出了一种以人为中心的智能系统，利用计算机视觉（Computer Vision, CV）和机器学习技术识别肩部关节运动。研究人员采用轻量级特征提取方法提取视觉运动特征，用于不同肩部关节运动模式的分类。研究评估了多种监督式机器学习模型，包括XG-Boost、随机森林（Random Forest, RF）、Light-GBM和逻辑回归（Logistic Regression, LR），分别采用留出验证（Hold-out Validation）和分层10折交叉验证（Stratified 10-Fold Cross-Validation）进行评估。在所有模型中，XG-Boost表现最优，准确率达到87.38%，表现出卓越的稳定性和鲁棒性。为进一步评估泛化能力，所提出的框架还在公开可用的康复基准数据集——UI-PRMD和KIMORE上进行了测试，并保持了具有竞争力的性能。结果表明，所提出的方法能够有效捕捉不同数据集间的细微运动变化，同时保持计算效率，使其适用于实时且资源受限的康复应用场景。

本文提出了一种基于视觉得能的肩部关节运动智能识别系统，旨在为康复医学和肌肉骨骼健康管理提供客观、可重复的自动化评估工具。肩部关节运动的准确监测在康复过程中具有重要作用，特别是对于患有肌肉骨骼疾病或神经系统损伤的患者。传统的评估方法，如测角仪测量或观察性评估，通常依赖人工操作，耗时费力，且存在评估者间差异，限制了其在高吞吐量或远程康复场景中的可扩展性和临床一致性。因此，开发自动化、数据驱动的解决方案以提供客观且可重复的运动分析需求日益增加。

近年来，计算机视觉和机器学习的进步为基于手势的运动监测提供了新的技术路径。利用图像或视频输入进行姿态估计的方法，为非侵入式、低成本的替代方案提供了可能，相较于可穿戴传感器具有明显优势。视觉得能框架包括利用RGB相机、深度传感器和骨骼姿态估计等技术，支持实时运动识别，并广泛应用于康复和远程医疗领域。然而，现有研究仍存在局限性：许多方法依赖需要大量计算资源和大规模训练数据的深度学习模型，限制了其在实时和资源受限环境中的适用性；此外，对于轻量级特征提取方法在受控比较框架中的系统评估关注不足，尤其针对基于轮廓的描述符如链码（Chain Code, CC）的应用。

为应对上述挑战，本研究提出了一种融合链码和矩不变量（Moment Invariant, MI）的特征提取方法，用于肩部关节手势识别。研究的核心贡献在于系统性地评估了轻量级特征表示，证明紧凑的基于形状的描述符能够在标准化且计算高效的条件下实现具有竞争力的性能，从而为复杂深度学习模型提供了有效的替代方案。

研究人员开展的研究主要包括以下方面：构建了一个包含12名健康成人受试者的自定义数据集，涵盖5类肩部关节运动模式，即斜面运动I（Oblique Plane Movement I, OPM-I）、斜面运动II（OPM-II）、横断面运动I（Transverse Plane Movement I, TPM-I）、横断面运动II（TPM-II）和矢状面运动（Sagittal Plane Movement, SPM）；采用人体姿态估计（Human Pose Estimation, HPE）技术从预处理帧中提取关键关节坐标，生成了224,796个图像帧的骨骼表示；独立评估了链码和矩不变量两种特征提取方法，使用8方向链码编码运动轮廓的方向分布，以及具有平移、旋转和尺度不变性的矩不变量描述全局形状特征；采用四种监督式机器学习分类器——XG-Boost、随机森林、Light-GBM和逻辑回归，在三种验证方案（留出验证70:30、留出验证80:20、分层10折交叉验证）下进行系统比较；最后，在公开基准数据集UI-PRMD（Upper-limb Physical Rehabilitation Movement Dataset）和KIMORE上进行了外部验证，以评估模型的泛化能力。

研究结果表明，特征提取I（链码）方法在统计评估中表现更优。在回归性能方面，链码特征在平均绝对误差（Mean Absolute Error, MAE）、均方误差（Mean Squared Error, MSE）、均方根误差（Root Mean Squared Error, RMSE）和最大误差等指标上均低于矩不变量特征，同时具有更高的决定系数（R2）。具体而言，链码特征的MAE约为0.036-0.043，R2达到0.963-0.975；而矩不变量特征的MAE约为0.069-0.087，R2为0.856-0.907。这表明链码特征能更准确、稳定地预测肩部关节运动。

在分类性能方面，XG-Boost在所有验证方案中均表现最佳。在留出验证70:30方案中准确率达87.38%，留出验证80:20方案中为86.54%，分层10折交叉验证中为87.12%±0.010。随机森林表现次之，三种验证方案中的准确率分别为83.75%、83.53%和85.17%±0.012。Light-GBM的准确率分别为81.25%、80.41%和83.21%±0.021。逻辑回归表现最差，准确率分别为68.54%、66.86%和67.02%±0.018。XG-Boost的精确率、召回率和F1分数均达到0.87，表现出高度可靠且平衡的分类结果。受试者工作特征曲线（Receiver Operating Characteristic Curve, ROC）分析显示XG-Boost的曲线下面积（Area Under the Curve, AUC）为0.91，表明其具有最强的类别区分能力。

外部验证结果显示，所提出的XG-Boost模型在UI-PRMD数据集上达到86.26%的准确率（标准差0.012，95%置信区间[86.24, 86.28]），在KIMORE数据集上达到85.91%的准确率（标准差0.015，95%置信区间[85.88, 85.94]）。这表明模型未对内部数据集过拟合，能够在不同运动模式、受试者和数据集分布条件下保持可靠性能。

在讨论部分，研究人员指出链码直方图方法对新手势形状变化具有较强的适应性，因其依赖像素运动的相对方向分布而非手的绝对大小，这一特性使其对类内变化具有鲁棒性。XG-Boost对肩部关节运动类别中的轻微类别不平衡表现出显著鲁棒性，所有手势类别的F1分数均保持较高水平。同时，研究人员坦承视觉得能方法存在一定局限性，包括光照条件变化、遮挡和相机位置等因素可能影响关节运动估计的准确性，相较于可穿戴传感器可能提供更稳定的直接运动测量而言，但鉴于其实用性和对康复监测场景的适用性，所提出的方法仍具有优势。

研究结论指出，本研究提出的视觉得能肩部关节运动智能识别系统，利用链码特征提取有效捕捉几何运动模式，结合数据驱动的多分类模型评估，XG-Boost实现了87.38%的最优准确率和[87.36, 87.40]的95%置信区间，表现出高稳定性和鲁棒性。外部基准数据集评估确认了模型的强泛化能力。通过纳入外部数据集，确保了模型不仅针对内部数据分布优化，还在不同运动模式和受试者变异条件下得到验证。综合验证方法的使用确保了强泛化能力同时最小化过拟合风险。此外，所提出的框架计算高效且轻量，适用于资源有限的实际部署场景。总体而言，本研究为基于特征的运动识别提供了可靠且可复现的方法，为智能康复系统的发展提供了有价值的见解。