三传感器惯性定位系统（3SIP）：仅使用三个惯性测量单元即可生成全身运动数据

《Computers & Graphics》：Three-Sensor Inertial Poser (3SIP): Full-body motion generation using only three inertial measurement units

三维全身动作生成基于头和手腕三个IMU，提出多阶段方法结合时间姿态估计、全局速度估计、VQ-VAE模块和姿态融合策略，实验表明在AMASS、Xsens等数据集上优于现有三IMU方法，接近六IMU方法性能。

　　

郭子豪|赵景波

中国农业大学信息与电气工程学院，北京，中国

摘要

现有的基于惯性测量的3D全身人体运动生成方法通常需要使用三个以上的惯性测量单元（IMUs）。由于这些方法的侵入性和硬件成本，它们在个人游戏和虚拟现实（VR）应用中的广泛应用仍然不切实际。在本文中，我们提出了一种新颖的多阶段方法，仅使用佩戴在头部和手腕上的三个IMUs来生成3D全身人体运动序列，并结合全局平移。我们的方法首先通过时间姿态估计模块估计全身姿态序列。这一过程得到了全局速度估计模块估计的头部、手腕和骨盆全局速度的辅助。然后，该方法在向量量化变分自编码器（VQ-VAE）模块的指导下对姿态序列进行细化，并采用融合策略生成最终的运动序列。通过整合骨盆（根）速度来估计姿态序列的全局平移。我们的方法在AMASS数据集以及Xsens和TotalCapture等IMU运动捕捉（MoCap）数据集上进行了评估。实验结果表明，与使用相同设置的现有最先进（SOTA）方法相比，我们的方法表现更优。该研究的代码可在以下链接获取：https://github.com/vrlab561/3SIP-release。

引言

3D全身人体运动生成在游戏、电影和VR应用等中的动画制作中起着重要作用。3D人体运动生成的主要目标是基于传感器的稀疏身体关节观测数据，生成平滑自然的人体运动序列。基于可穿戴IMUs的人体运动生成方法不受遮挡或光线不佳的影响，并允许更大的运动范围。近年来，这一领域的研究受到了广泛关注。以往的方法[1]、[2]、[3]、[4]、[5]、[6]使用佩戴在头部、腰部、手腕和腿部的六个IMUs来准确生成全身姿态序列。然而，在下肢和腰部佩戴IMUs可能会干扰人体运动，并且当需要多个IMUs时也会增加成本。因此，使用佩戴在头部和手腕上的三个IMUs来生成3D全身人体运动对于许多实际应用非常有用，尤其是在方便性和成本较低的场合。如今，佩戴在头部和手腕上的商业电子设备（如无线耳机和智能手表）已经集成了微机电系统（MEMS）IMUs。这为开发无处不在的惯性MoCap和运动生成应用开辟了新的机会[7]。此外，基于IMUs的全身人体运动生成对于投影式VR系统（如PowerWall和CAVE）特别有用。在这些系统中，具有逼真动作的全身虚拟形象可以实现虚拟环境中的第三人称交互体验。

基于三个IMUs的全身运动生成面临两个主要挑战：可用观测数据的高度稀疏性和生成姿态序列的不确定性。我们通过提出一个时间姿态估计模块来解决这些挑战，该模块有效利用了全局速度估计模块估计的稀疏速度来补偿观测数据的高稀疏性。两个模块中的长短期记忆（LSTM）网络都通过初始运动状态进行初始化，以解决不确定性问题。我们还采用了VQ-VAE架构，该架构能够有效建模人体姿态的潜在表示，进一步细化估计的姿态序列。

我们在IMU MoCap数据集上进行了实验来评估我们的方法。结果表明，我们的方法优于使用相同设置的现有最先进（SOTA）方法[7]、[8]、[9]。提出的方法在与基于六个IMUs的方法（包括DIP [2]和TransPose [3]）的性能上也接近。通过消融实验，我们研究了全局速度估计、基于VQ-VAE的运动生成和姿态融合模块对3D全身运动生成的影响。全局速度估计模块提高了生成姿态序列的平均准确性和时间平滑性。在VQ-VAE模块的指导下进行训练可以改善时间姿态估计在大多数数据集上的性能指标。额外的实验表明，在3SIP设计中加入姿态融合模块可以获得更好的整体性能。

本研究的主要贡献是我们提出了一种名为3SIP的新方法，该方法能够基于佩戴在头部和手腕上的三个IMUs的MoCap数据生成平滑自然的人体运动。

章节片段

基于IMUs的人体运动生成

商业化的基于IMUs的MoCap系统[10]、[11]使用17个IMUs来准确估计人体姿态和全局平移。然而，佩戴整套IMUs会干扰人体运动，对于普通用户来说，使用基于IMUs的MoCap系统进行3D人体运动生成也不切实际。

一些方法[1]、[2]、[3]、[4]、[5]、[6]采用了六个IMUs进行运动生成。这些方法基于优化、循环神经网络（RNNs）和Transformer设计。稀疏惯性

问题表述

单个IMU可以观测到人体关节的角速度$\omega \in R^3$和加速度$a\in R^3$。关节的方向由$R\in R^3$表示，它是通过积分角速度$\omega$获得的。给定佩戴在头部和手腕上的三个IMUs（$M$ = 3）的稀疏观测序列，我们的目标是生成一个长度为$\stackrel{?}{\Theta }={\{{\theta }_{}i\}}_{}^{}i=1N\in R^N$的全身运动序列，该序列由姿态帧组成，表示为$\stackrel{}{\Theta }={\{{\theta }_{}}_i^{\}}i=1N\in R^N$$\stackrel{}{\Theta }={\{{\theta }_{}}_i^{\}}$