《Journal of Biomechanics》：Development and validation of a deep learning markerless system for lower-limb kinematics in hip and knee osteoarthritis population
编辑推荐：
本研究基于骨关节炎患者数据集开发了四摄像头无标记运动捕捉系统，验证其在下肢运动学分析中的准确性。结果显示关键点预测平均误差13.4mm，ICC达0.93， sagittal平面关节角误差4.1°，证实该系统在OA患者群体中具有高精度和适用性。
王俊青|李腾飞|徐伟|胡波|徐发树|宋斌|聂勇|范玉波|李康
中国四川省成都市四川大学华西医院骨科外科及骨科研究所
摘要
随着深度学习技术的进步，无标记系统作为一种成本效益高且用户友好的替代方案应运而生，取代了传统的基于标记的系统。然而，大多数现有的无标记系统都是使用健康人群的数据集开发的，这限制了它们在患者群体中的通用性。因此，本研究开发了一个基于四台摄像头的无标记系统，并使用骨关节炎患者的数据集对其在下肢运动学测量方面的准确性进行了验证。共有150名髋关节或膝关节骨关节炎患者被分为训练集（n=120）和测试集（n=30）。在行走过程中，同时使用无标记系统和基于标记的系统收集运动学数据。我们在训练集上开发了这个四摄像头无标记系统。在测试集中，通过均方根误差（RMSE）和类内相关系数（ICC）评估了无标记系统和基于标记的系统在行走周期内的运动学差异。无标记系统预测的关键点之间的平均位置差异为13.4毫米，类内相关系数为0.93。此外，所有关节角度的平均RMSE为4.1度。无标记系统和基于标记的系统在矢状面、冠状面和横断面上的关节角度波形的类内相关系数分别为0.93、0.50和0.34。我们基于患者数据集开发的无标记系统在关键点和矢状面关节角度预测方面表现出高准确性。这表明我们的无标记系统适用于骨关节炎患者群体，并为疾病相关的生物力学研究提供了一种经济高效且便捷的工具。
引言
骨关节炎（OA）是最常见的肌肉骨骼疾病，2020年影响了全球约7.6%的人口（约5.95亿人）（Courties等人，2024年）。该疾病的特点是骨髓病变、骨赘形成和软骨损失，常伴有疼痛和功能缺陷。步态分析是一种常用的定量方法来评估功能缺陷（Stebbins等人，2023年）。目前，基于标记的运动捕捉系统是步态分析的主要方法。然而，基于标记的系统成本高昂，需要花费时间进行标记放置，并且需要操作者熟悉系统和人体解剖结构。标记的固定可能会改变自然运动模式，导致步态模式与参与者的自然行为不同。这些系统还对光照敏感，通常需要受控的实验室环境才能进行准确测量。这些限制限制了它们在临床实践中的广泛应用。
随着计算机视觉和深度学习的进步，基于视觉的无标记运动捕捉技术已成为基于标记系统的有前途的替代方案（Kanko等人，2021a；Kanko等人，2021b；Uhlrich等人，2023年）。这些系统成本更低，设置更简单，操作更友好。更重要的是，去除身体标记可以减少准备时间，降低操作者的要求，并减少运动干扰，使其非常适合临床步态分析。
无标记系统通常分为两个阶段工作。第一阶段利用开源数据集训练的模型从视频中估计解剖特征的2D关键点（Cao等人，2021年；Lin等人，2014年；Sun等人，2019年），这些数据集通常只包含有限的关节中心。这些关节中心通常是手动标注的，可能与解剖标志物不完全对齐。此外，这些公开可用的数据集主要来自健康人群，缺乏患者群体的数据。因此，2D估计器不仅难以捕捉多样化的步态特征，还会将群体特定的偏差传递到后续的3D重建阶段，在此阶段解剖精度变得更加关键。
在第二阶段，利用空间信息重建3D关键点。多视图方法通过利用同步的相机视角来增强3D空间定位，从而减轻单视图观察中的遮挡伪影。当前的方法分为两类：一类是使用多视图关键点和相机参数的三角测量方法（Bartol等人，2022年；Iskakov等人，2019年；Zhao等人，2023年）；另一类是直接推断标记位置的深度学习方法（Yu等人，2023年；Zheng等人，2021年；Zhu等人，2023年）。像Theia3D和KinaTrax这样的商业系统使用八台相机进行三角测量，得到的平均关节中心误差分别为22-36毫米和31-35毫米，关节角度误差分别为2.6-11.6度（Kanko等人，2021a；Ripic等人，2022年；Tang等人，2024年）。深度学习方法通过绕过相机校准简化了工作流程，并通过不同的算法策略提高了泛化能力。跨视图跟踪和形态约束方法分别在健康队列中实现了18.7毫米和17.6毫米的关键点位置差异（Iskakov等人，2019年；Qiu等人，2019年；Reddy等人，2021年；Chun等人，2023年）。然而，上述方法依赖于临床验证有限的开源数据集。像骨关节炎患者这样的患者群体往往表现出关节畸形和步态模式改变。我们之前使用基于智能手机的无标记平台OpenCap进行的研究表明，与健康参与者相比，膝关节骨关节炎患者在下肢关节运动学方面的均方根误差明显更高（Wang等人，2025年），这表明与骨关节炎相关的病理关节畸形和步态模式改变可能会影响无标记系统的准确性。因此，为患者群体开发专门的无标记系统对于这项技术在临床应用中的发展至关重要。
本研究开发了一个大规模的、专门针对髋关节和膝关节骨关节炎患者的数据集，用于训练一个能够直接从多视图视频流中推断下肢运动学的临床可行的深度学习模型。此外，我们还严格评估了无标记系统与传统基于标记的协议之间的测量一致性。
数据集
数据集
2023年6月至2024年2月期间，我们从华西医院招募了150名骨关节炎患者。其中，63人被诊断为髋关节骨关节炎，87人被诊断为膝关节骨关节炎（表1）。纳入标准包括：（1）髋关节或膝关节的放射学诊断；（2）过去一个月内大多数日子都有髋关节或膝关节疼痛；（3）计划进行髋关节或膝关节置换手术；（4）能够独立行走，无需辅助设备。排除标准包括：
结果
我们共收集了150名患者的670次试验数据。其中，训练集包含120名患者的537次试验数据，测试集包含30名患者的133次试验数据。
无标记系统预测的所有关键点的平均3D距离均方根误差为13.4毫米（标准差：3.2毫米）（表2）。无标记系统预测的关键点轨迹与基于标记系统测量的轨迹高度一致，所有标记的平均类内相关系数为0.93（标准差：0.03）。
讨论
本研究开发了一个针对骨关节炎患者下肢运动学评估的四摄像头无标记系统，并验证了其与基于标记的系统在测量下肢运动学方面的一致性。无标记系统在预测骨骼标志物上的关键点位置时表现出高精度。此外，从预测的关键点计算出的下肢关节角度在矢状面上的结果与
结论
在这项研究中，我们基于从骨关节炎患者收集的视频数据库开发了一个四摄像头无标记运动捕捉系统。该系统在预测关键点和矢状面下肢关节角度方面表现出高精度，而在冠状面和横断面上的性能相对较低。鉴于软组织伪影对基于标记的系统的影响，未来的研究需要评估无标记系统与金标准骨骼系统的对比。
CRediT作者贡献声明
王俊青：撰写 – 审稿与编辑、撰写 – 原稿、验证、方法学、研究、正式分析、数据管理、概念化。
李腾飞：撰写 – 审稿与编辑、撰写 – 原稿、可视化、软件、方法学、正式分析、概念化。
徐伟：撰写 – 审稿与编辑、撰写 – 原稿、可视化、软件、正式分析、概念化。
胡波：撰写 – 审稿与编辑、可视化。
徐发树：撰写 – 审稿
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
本工作得到了以下项目的支持：国家重点研发计划（2023YFB4606700）；四川大学华西医院的1•3•5卓越学科项目（ZYYC21004）；四川省国际科技创新合作（2025YFHZ0110）；四川大学华西医院的1•3•5卓越学科临床研究基金（2023HXFH024）；四川省科技计划（2024NSFSC1489）；华西医院的博士后研究基金
