《Expert Systems with Applications》：Improving long-term human motion prediction for physical exercise actions using a lightweight approach
编辑推荐：
人体运动预测通过双流MLP模型结合DCT编码短长期动作历史，并设计动力学损失函数优化关节权重差异，在Fit3D数据集上实现2秒内更稳定的3D姿态预测，参数量约28k。
Bruno Ferreira | Paulo Menezes | Jorge Batista
科英布拉大学，系统与机器人研究所，电气与计算机工程系，Silvio Lima街 - Polo II，3030-790，科英布拉，葡萄牙
摘要
预测人体运动为许多现代应用铺平了道路，例如自动驾驶中的行人路径控制、人机合作的适应等。然而，这不仅仅是预测接下来会发生什么，更重要的是实时预测、引导和评估运动，这对于自动化分析体育锻炼特别有趣。因此，我们提出了一个双流模型，该模型能够感知体育锻炼动作中存在的潜在时间模式。该模型利用运动历史及其随时间的累积来提高3D姿势的预测准确性。训练过程基于这样的前提：从最后一个姿势到未来姿势的学习比直接进行姿势回归更有效。此外，监督损失的设计遵循了人体运动学的某些原则，即人体关节在优化过程中的权重不应相同，因为它们在运动特征上表现出不同的变异性。总体结果表明，我们的提案在Fit3D数据集上改进了人体运动的长期预测。此外，我们的模型继承了基于MLP的方法的最新成功，这些方法强调简单性是成功的关键，并且仅包含约0.28M个可训练参数。
引言
人体运动预测（HMP）在支持许多现代应用中起着核心作用，例如自动驾驶中的行人轨迹控制、人机协作/交互的适应等（Gu, Zhang, & Kuriyama (2024); Usman & Zhong (2022)）。其主要目标是从过去的姿势中捕捉隐含的时间演化模式，以预测未来的姿势。然而，这项任务不仅仅是预测接下来会发生什么，更重要的是实时预测、引导和评估运动。因此，预测未来姿势使得系统能够在偏差发生之前就检测到它们，从而提高机器处理人体运动的能力，进而影响更高层次的程序。
尽管目前已有相关应用，但当前的技术尚未考虑到一个潜在的用例，即体育锻炼的自动化分析。根据我们之前的研究（Ferreira et al. (2020); Ferreira, Menezes, & Batista (2022)）以及其他研究（Hu et al. (2022) 和 Zaher, Ghoneim, Abdelhamid, & Atia (2024)），通常通过分类所进行的锻炼、计算重复次数以及可能提供执行有效性的反馈来分析这些身体运动。其他研究（Mennella et al. (2023), Cheng et al. (2023), Sarwar, Daraghmi, Tsì-Uí, & Li (2023) 或 Postlmayr et al. (2024)）则侧重于利用2D和3D姿势估计来创建人工私人教练，以实时向用户提供反馈。然而，这些研究可以通过整合一个预测未来锻炼姿势轨迹的模型来进一步改进。考虑到这样的模型只会用有效且表现良好的重复数据进行训练，自动评估机制可以关注模型预测与实际记录姿势之间的交集/对齐程度。此外，如果预测任务失败，无论是由于观察到的意外姿势、关键身体部位的问题，还是模型无法应对姿势、速度或节奏的变化，都可以触发额外的机制来分析和解决这种差异。
体育锻炼本质上是一类由重复模式强烈决定的动作，但它们也面临着与传统预测任务相同的挑战，例如捕捉与人体姿势演变相关的时间动态的复杂性。虽然大多数当前模型都很复杂，并采用基于图或基于注意力的架构来确定涉及部分的时空关系，但它们仍然容易收敛于在宏观尺度上容易捕捉到的平均姿势（Deng & Sun (2024); Olivas-Padilla, Manitsaris, & Glushkova (2024)）。因此，预测任务往往无法在长期范围内生成真实或合理的姿势序列，因为这些预测无法应对动作的更长时间动态，这显著影响了我们目标应用的性能。
尽管HMP研究方向广泛，但最近的趋势是关注简单但有效的前馈网络，这些网络具有较少的可训练参数，同时仍在推动预测准确性的极限。Bouazizi et al. (2022), Guo et al. (2023) 和 Du et al. (2024) 提出的工作激发了我们创建一种架构的灵感，该架构结合了离散余弦变换（DCT）作为时间编码和多层感知器（MLP）块的优势。在这里，分支被称为流，所提出的方法使用双流设置来分析观察到的动作的短期和长期时间动态，并在健身数据集上进行3D姿势预测。此外，我们的主要贡献可以总结如下：
- •
我们提出了一个基于MLP的双流管道，其可训练参数少于300k个，适用于实际系统。虽然当前的最先进方法通常将长期预测定义为能够预测未来1秒内的运动，但我们的工作通过展示超过2秒的预测范围来扩展这一定义。
- •
我们构建了一个处理具有不同时间分辨率的3D姿势的管道，这些姿势使用DCT进行编码：近期运动历史和累积运动历史。后者是对过去姿势的扩展视图，包含捕获运动的长期趋势，而前者则关注短期运动动态的表示。这种额外的时间背景对预测范围的后期时间步长有显著改进。
- •
我们引入了一种改进的学习算法，该算法采用了一种考虑人体运动学结构的空间感知损失。即当人们执行动作时，与运动链中的下游关节相比，末端关节通常具有更高的变异性和运动性。
- •
据我们所知，我们提出了第一项针对体育锻炼动作的预测任务的探索性工作，这将为该主题的进一步研究提供支持。实验侧重于从Fit3D数据集（Fieraru, Zanfir, Pirlea, Olaru, & Sminchisescu (2021)）中对结构化体育锻炼动作的长期时间依赖性进行建模，同时在常用的Human3.6M数据集（Ionescu, Papava, Olaru, & Sminchisescu (2013)上也取得了有竞争力的结果。
本文的其余部分组织如下：第2节概述了该主题的最新研究，第3节详细描述了我们的双流预测器方法、其训练过程和实现细节。第4节提出了在多个方面进行的全面实验：(i) 在Fit3D数据集（Fieraru et al. (2021)上评估预测性能；(ii) 预测任务的质量；(iii) 提出的损失函数的时间组分的敏感性分析，包括所选权重在生物力学启发公式中的影响；(iv) 融合短期和长期频率嵌入的替代策略的比较；(v) 对提出的融合机制的缩减比例的消融研究；(vi) 在噪声输入条件下评估模型的鲁棒性；以及(vii) 在不同领域数据集上进行的额外评估，以检验泛化能力，超出体育锻炼动作的范围。最后，第5节讨论了所提工作的关键部分及其局限性，第6节总结了本文。
相关工作
相关工作
现代方法受益于大规模数据集的快速发展和当前最先进深度学习模型的改进。自然地，HMP任务通常被视为序列到序列问题，这促使研究人员广泛采用循环神经网络（RNNs）。Fragkiadaki et al. (2015) 的关键工作引入了一个编码器-解码器框架，用于处理人体姿势
提出的方法
3D姿势的预测任务可以正式定义为：给定一个由H个连续姿势组成的序列，表示为
为此，我们提出了一个基于双流MLP的管道，它使用X1:H，以及一个子采样的H*姿势序列
实验结果
在本节中，我们通过将其与其他方法进行比较来评估我们方法的有效性。我们的目标是展示基于双流的MLP架构如何通过利用短期和长期运动时间背景来提高未来姿势预测的稳定性。在Fit3D数据集（Fieraru et al. (2021)上选择的比较基线是基于它们在广泛使用的Human3.6M数据集（Ionescu et al.）上的表现
讨论
最近在HMP方面的进展主要得益于复杂的架构，如循环网络、基于图或基于注意力的模型。虽然这些方法在短期内（特别是在前面提到的500ms范围内）表现出色，但它们的预测准确性在更长的时间框架内往往会迅速下降。相比之下，我们的提案将重点放在长期预测上，例如Zhao et al. (2023)的工作，但使用了计算上轻量级的
结论与未来工作
本文提出了一种基于MLP的方法来解决3D HMP任务。为此，我们提出了一个双流管道，利用运动历史和累积运动历史来提高模型对序列级别当前观察到的姿势的全球定位的敏感性。主要思想是模型应该能够提取人类动作通常表现出的时间模式，以改进所需的预测任务。我们的实验表明
CRediT作者贡献声明
Bruno Ferreira：概念化、方法论、写作——审稿与编辑。Paulo Menezes：概念化、写作——审稿与编辑、监督、资金获取。Jorge Batista：概念化、写作——审稿与编辑、监督、资金获取。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
