用于物理治疗运动评估的实时深度学习框架，采用 Mediapipe 姿势识别技术和 LSTM-CNN 架构

《Biomedical Signal Processing and Control》：Real-time deep learning framework for physical therapy motion evaluation using mediapipe pose and LSTM-CNN architectures

　　范氏红（Phan Thi Huong）| 霍氏曹团（Huynh Cao Tuan）| 阮氏清渠（Thanh Q. Nguyen）
越南同奈省 Bien Hoa 勒洪大学（Lac Hong University）信息技术学院，邮编 810000

**摘要**
物理治疗在受伤者康复过程中以及患有肌肉骨骼和神经系统疾病的人群中起着关键作用。然而，传统的评估方法主要依赖治疗师的视觉观察，这些方法往往具有主观性、不一致性，并且无法提供量化的实时反馈，尤其是在家庭或远程护理环境中。本研究提出了一种先进的自动化系统，旨在客观高效地评估物理治疗动作的准确性。该系统利用 MediaPipe Pose 从标准 2D 视频输入中提取实时 3D 人体姿态特征点，捕捉 33 个关键关节的坐标。原始姿态数据经过归一化和卡尔曼滤波处理，以消除尺度和位置变化并抑制噪声。然后提取关键的运动学特征（尤其是关节角度）来描述运动模式。为了评估运动质量，系统结合了两种互补的方法：动态时间弯曲（DTW，用于测量与专家参考动作的时间相似性，而不考虑执行速度）和深度学习模型（特别是长短期记忆（LSTM）和卷积神经网络（CNN），通过学习时空模式来分类运动准确性。系统通过视觉提示和警报提供实时纠正反馈，使用户能够在训练过程中自我调整。在对常见物理治疗动作的数据集进行的实验结果表明，该系统的分类性能优异，ROC 曲线下积（AUC）为 1.0，测试集准确率约为 99%。此外，系统能够以约 30 FPS 的速率保持实时处理能力，证实其在实际应用中的适用性。这项研究突显了将计算机视觉和深度学习结合在一起，开发智能、易用且有效的物理康复工具的潜力。

**引言**
物理治疗（PT）是现代医疗系统的重要组成部分，在恢复功能活动能力、缓解疼痛以及改善受伤者、手术患者或患有肌肉骨骼和神经系统疾病患者的生活质量方面发挥着重要作用。标准的物理治疗程序通常包括需要精确执行动作的结构化练习，以实现治疗效果并防止二次伤害。然而，传统上对练习质量的评估严重依赖于训练有素的治疗师通过直接观察的主观判断。虽然临床经验非常宝贵，但这种方法存在显著局限性：首先，评估结果可能不一致且容易受到评估者经验、时机和个人偏见的影响；其次，向患者提供详细、客观和实时的反馈具有挑战性，特别是在小组课程中或治疗师需要同时监测多个人的情况下；第三，在远程或家庭康复环境中，专业人员的直接监督最少或完全缺失，这可能导致错误的动作重复、降低患者参与度，并最终影响治疗效果。

**计算机视觉和深度学习的最新进展**
计算机视觉（CV）和深度学习（DL）的最新进展为克服这些挑战提供了有希望的解决方案。特别是人体姿态估计（HPE）技术使系统能够从 2D 视频或图像中检测和跟踪身体关键点，为自动运动分析提供丰富的时空数据。先进的 HPE 框架（如 MediaPipe Pose [14]、OpenPose [15] 和 AlphaPose [16]）现在可以在资源受限的设备上高精度地实时估计 3D 骨骼特征点，使其非常适合用于非侵入式康复应用。这些技术为在真实世界、不受控制的环境中自动评估物理治疗动作奠定了坚实的基础。最近的研究进一步支持了基于无标记姿态分析的低成本 AI 遥程康复的可行性。例如，Latreche 等人 [17-19] 展示了一种基于 MediaPipe 的测量系统，可以为选定的康复动作提供可靠且有效的活动范围评估，支持其在远程康复监控中的应用。相关研究还探讨了基于 AI 的人体跟踪技术，用于远程康复进展监测，强调了在传统临床环境之外使用基于视觉的系统进行长期随访的日益增长的兴趣。这些研究强调了轻量级姿态估计框架在家庭康复中的实际意义，并激发了本文关注使用标准 RGB 视频进行实时运动质量评估的动机。

**为解决上述问题，本研究提出了一种智能的实时框架，用于自动评估物理治疗动作的准确性。该系统利用 MediaPipe Pose 从标准视频输入中高效提取 3D 姿态，并结合动态时间弯曲（DTW）和深度学习模型（LSTM [20]、CNN [21]）来评估动作执行的质量。重要的是，该系统设计为提供实时、可解释的纠正反馈，使用户能够在康复过程中自我调整，而无需持续的临床监督。**

**本文有四个贡献：**
1. 基于 3D 姿态估计、预处理和运动学特征提取的实时运动评估流程。
2. 结合基于 DTW 的对齐提示和深度模型（CNN/LSTM）的混合运动分类策略。
3. 提供可解释的视觉/音频提示和会话日志的实时反馈层。
4. 在多项物理治疗数据集上的实验验证，报告了预测质量和实时可行性。

**所提出的系统旨在作为康复练习的客观运动质量评估工具，重点在于是否正确执行了规定的动作，而不是识别或诊断潜在的伤害。** 因此，其适用性取决于练习方案（即要识别和评估的动作集）以及基于 RGB 的姿态估计捕捉相关关节的能力。在本研究中，我们在一组常见的上肢和下肢练习上验证了该框架（第 4.1 节）；通过扩展练习库和更新参考模板及训练数据，可以将其扩展到其他特定伤害的练习。尽管基于 MediaPipe 的姿态跟踪、序列模型（如 LSTM/CNN）和 DTW 都已被广泛研究，但所提出的贡献不仅仅是组件的简单组合。关键的附加值是一种基于鲁棒性的融合机制，它将对齐不变的模板一致性（DTW）与学习到的判别证据（深度置信度）相结合，以在实际的远程康复条件下稳定决策。最近的研究表明，无标记的姿态估计对于某些康复动作来说足够可靠，但其准确性可能会因视角变化、遮挡和特定于动作的运动学而降低——这些因素正是那些在家庭环境中可能破坏纯数据驱动分类器的因素 [25, 26]。为了解决这个问题，我们计算了一个标准化的 DTW 分数 sDTW ∈ [0,1] 并将其与深度分类器的置信度 pDL 通过单一决策分数融合：shyb = αsDTW + (1-α)pDL，α ∈ [0,1]。这种公式明确针对时间变化性（由 DTW 对齐处理）同时保留了受试者间的泛化能力（由 DL 处理），从而在不牺牲实时可行性的前提下提高了鲁棒性 [25, 27]。

**本文的其余部分安排如下：**
第 2 节回顾了人体姿态估计、深度运动分析、基于 DTW 的评估和自动化康复系统的相关工作。第 3 节详细介绍所提出的方法论。第 4 节描述了实验设置、数据集和评估指标。第 5 节讨论了结果和局限性。第 6 节总结了本文并概述了未来的研究方向。

**相关工作**
物理治疗和康复领域的自动化运动分析技术由于传感技术、计算机视觉和机器学习的进步而取得了迅速发展。本节回顾了四个主要领域的相关文献：（1）人体姿态估计（HPE）、（2）用于运动分析的深度学习、（3）康复评估的自动化系统以及（4）动态时间弯曲（DTW）在运动评估中的应用。

**方法论**
本节概述了所提出的实时评估物理治疗动作准确性的框架的架构和计算流程。该方法论分为五个主要部分：（1）流程概述、（2）数据预处理、（3）特征提取、（4）分类模型设计以及（5）实时反馈和部署。为了便于阅读，正文仅保留了定义所提出的运动学表示和决策公式所需的方程式。

**实验设置**
本节详细介绍了用于评估所提出的运动评估系统有效性和性能的实验配置。评估过程围绕四个核心组成部分展开：数据集描述、数据注释和标记、模型训练协议以及评估指标。

**结果**
本节对实验结果进行了全面分析，评估了所提出的运动评估框架在分类性能、实时处理能力和比较模型分析方面的有效性。结果证实了该系统在实时物理治疗评估应用中的鲁棒性和实用性。

**讨论**
本研究介绍并验证了一种新颖的混合深度学习架构，该架构将动态时间弯曲（DTW）与长短期记忆（LSTM）[18] 和卷积神经网络（CNN）[11] 模型结合，以实现物理治疗动作的实时评估。所提出的框架在分类准确性、关节级别细节和部署准备就绪方面表现出色 [64, 4]。在本节中，我们讨论了该框架的主要优势。

**结论**
本研究提出了一种实时混合深度学习框架，用于物理治疗动作的分类和评估，将动态时间弯曲（DTW）与长短期记忆（LSTM）和卷积神经网络（CNN）模型相结合。确定性对齐技术与自适应深度学习架构的集成使模型能够提供高准确性和 segment-level 诊断精度，解决了智能康复系统中的关键挑战。

**作者贡献声明**
范氏红（Phan Thi Huong）：写作、审阅与编辑；
霍氏曹团（Huynh Cao Tuan）：写作、原始草稿撰写；
阮氏清渠（Thanh Q. Nguyen）：可视化、验证、监督、软件和资源准备。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。