Guidance++：在手腕上提供6自由度（6DoF）引导的触碰反馈

《International Journal of Human-Computer Studies》：Guidance++: Rendering poking feedback on wrist for 6DoF guidance

提出一款手腕佩戴的六自由度触觉引导设备Guidance++，通过可移动触觉装置实现平移与旋转的直觉触觉反馈，解决传统方法高自由度不足和认知负担问题。研究包含定量轨迹与旋转引导评估及定性XR应用验证，结果显示RMSE为3.75cm，验证了其在远程协作中的潜力。

　　

蒋逸婷|王世豪|陈希安|徐伟琳|蔡欣瑞

台湾国立成功大学

摘要

在扩展现实（XR）中的远程协作或指导中，触觉引导可以与视觉引导或物理世界的视觉反馈相结合并加以补充。对于更复杂的操作引导来说，这更具挑战性，因为这些操作涉及多个方向和动作的连续步骤，例如从抽屉中取物（打开、取出、放置）、操作带有多种操作元件的复杂面板，或准备饮料（摇晃、倒出）。为了实现对手的操作甚至轨迹引导，需要一种免提引导设备，该设备不占用操作空间，同时在平移和旋转方面具有高自由度（DoF），并且不需要复杂的触觉模式来提高直观性。然而，目前的引导方法要么依赖触觉模式，从而增加用户的脑力负担，要么无法同时实现平移和旋转的高自由度。因此，我们提出了一种佩戴在手腕上的设备Guidance++，它可以提供6DoF的平移和旋转方向的触觉引导提示。Guidance++由一个腕带和两组可倾斜的触觉器组成，每组触觉器有两个触觉器。这些触觉器沿着腕带移动并倾斜，从而模拟真实世界中他人触碰的感觉。我们进行了引导性能研究，分别评估了其在轨迹和旋转引导方面的效果。此外，我们还进行了XR体验研究，观察Guidance++如何在涉及连续步骤的操作任务中引导用户，并展示了其6DoF力引导功能的应用。

引言

随着居家工作的兴起，远程协助和扩展现实（XR）中的远程协作变得越来越普遍。然而，在远程协作中，视觉引导可能不够充分，因为本地用户需要在远程用户和他们的本地主要任务之间分配视觉注意力，同时还要应对视野（FoV）限制、遮挡和观看角度约束等问题（Kaul和Rohs（2017）；Günther等人（2018）；Marquardt等人（2020）；Tsai等人（2021））。在涉及多个方向和动作的复杂操作引导中，这一挑战更加明显，例如从抽屉中取物（打开、取出、放置）、操作带有多种操作元件的复杂面板，或准备饮料（摇晃、倒出）（图10，图11）。因此，触觉引导可以与视觉引导相结合并加以补充，或者完全依赖于物理世界的视觉反馈，而无需视觉引导（如Affordance++（Lopes等人（2015）所示）。为了实现对手的复杂操作触觉引导，需要在平移和旋转方面具有高自由度（DoF），甚至实现轨迹引导。此外，为了减少执行本地主要任务时的脑力负担，直观的引导提示（即不需要复杂的触觉模式）和免提设计至关重要（如GuideBand（Tsai等人（2021）所强调的）。然而，目前尚未充分探索能够实现高自由度、直观引导提示和免提设计的触觉引导方法。

在之前的触觉引导研究中，振动触觉方法（Culbertson等人（2017）；Günther等人（2018）；Jin等人（2014））要么提供离散方向的引导提示，要么通过复杂的振动触觉模式提供高自由度的引导。这些方法要么只能提供有限方向的引导，要么要求用户记忆和解释模式，从而增加脑力负担并降低直观性（如GuideBand（Tsai等人（2021）所示），相比之下，无触觉模式的力引导更为简单。皮肤拉伸引导（Chinello等人（2016））更容易让用户识别和跟随，但通常仅限于有限的方向。力引导方法（Heo等人（2018）；Lopes等人（2015））利用电机拉动/推动身体部位、螺旋桨、电肌肉刺激（EMS）和陀螺效应来提供易于识别的引导提示，但不需要触觉模式。尽管一些方法可以实现高自由度的引导，但它们要么是占用用户手部的手持设备，要么是沉重的机械臂或穿戴在多个身体部位的外骨骼。此外，EMS会干扰用户执行主要任务。据我们所知，GuideBand（Tsai等人（2021）是第一个可以提供3DoF平移方向直观牵引力引导提示的免提手腕设备。然而，它的引导提示仅限于平移方向，不支持旋转方向，因此难以实现复杂的操作引导。

我们提出了一种免提手腕设备Guidance++，可以在XR中提供直观的（即不需要触觉模式的）6DoF平移和旋转方向的触觉引导提示（图1）。Guidance++由一个腕带和两组触觉器组成，每组触觉器有两个可倾斜的触觉器。这些触觉器沿着腕带移动并围绕手腕或前臂定位，彼此相对。触觉器最多可倾斜90度，从而模拟真实世界中他人触碰的感觉。一个触觉器朝向引导方向移动以实现3DoF平移引导，而两个触觉器朝相反方向移动以实现3DoF旋转引导。值得注意的是，在6DoF引导中，3DoF平移和2DoF旋转（屈曲/伸展和桡/尺侧偏移）可以同时实现，而1DoF旋转（旋前/旋后）则单独实现。这三种类型的引导提示不能同时提供，具体细节稍后描述。由于这些触觉提示让人感觉像是真实世界中他人触碰，因此实现了直观的引导（如GuideBand（Tsai等人（2021）所示）。尽管在实际使用中，Guidance++的触觉引导会与视觉引导或物理世界的视觉反馈结合使用，但我们仍然进行了引导性能研究，以评估其在轨迹和旋转引导方面的效果，并获得定性反馈。然后，我们进行了XR体验研究，观察Guidance++如何在模拟物理世界视觉反馈的6DoF操作任务中引导用户，并展示了其6DoF力引导功能的应用。

本文的贡献如下：

1.

提出了第一个免提手腕设备，能够实现直观的6DoF平移和旋转引导。

2.

单独评估了触觉引导的性能，以了解其能力，尽管在实际应用中它通常会与视觉引导或物理世界的视觉反馈结合使用。

3.

观察了用户在物理世界视觉反馈的辅助下如何根据触觉引导提示进行操作，并展示了Guidance++提供的6DoF力引导在真实使用中的应用场景。

章节片段

触觉引导

振动执行器常用于振动触觉引导。FingerSight（Satpute等人（2020）在食指上的魔术贴环上安装了四个振动电机，用于五个方向的引导（上/下/左/右/前）。VibroSleeve（Prabhu等人（2020）在前臂袖子上安装了16个振动电机，形成4x4布局，用于生成前后方向引导提示。VT-ware（Jin等人（2014）在手腕佩戴设备上使用6个超声波线性执行器，提供四个方向的引导提示。

Guidance++

我们提出了一种免提手腕设备Guidance++，通过轻触手腕来实现直观的3DoF平移和3DoF旋转引导，甚至可以实现轨迹引导。其引导提示设计模拟了他人手指在现实世界中的引导动作。

引导研究

尽管在实际使用中，Guidance++的触觉引导会与视觉引导或物理世界的视觉反馈结合使用，但我们仍然进行了定量引导性能研究，以评估其在轨迹和旋转引导方面的效果，并获得了关于Guidance++触觉引导体验的定性反馈。由于Guidance++可以提供6DoF的连续方向引导，理论上可以提供无限多的引导提示，

XR体验研究

我们进行了XR体验研究，观察Guidance++如何在XR实际使用场景中引导用户完成操作任务。在这些场景中，Guidance++的触觉引导可以与视觉引导或物理世界的视觉反馈结合使用。其中，仅依赖物理世界的视觉反馈而无需任何视觉引导更具挑战性。此外，在某些远程协作场景中，用户可能需要专注于主要任务，同时仅依靠周边视觉。

局限性与未来工作

尽管研究提到了Guidance++的几个优点，但仍存在一些局限性。虽然Guidance++支持6DoF引导，但每次只能同时实现3DoF平移和2DoF旋转，而1DoF旋转则单独实现。因此，平移和旋转的引导提示不能同时呈现。然而，我们观察到在常见场景中，平移和旋转的引导提示很少需要同时出现。此外，该设备还需要进一步改进。

结论

我们提出了一种免提手腕设备Guidance++，可以提供直观的6DoF平移和旋转方向的触觉引导提示，模拟真实世界中他人手指触碰的感觉。我们进行了仅使用触觉的引导性能研究，获得了3.75厘米的RMSE和平均角度误差（$$），以及一些定性反馈。此外，我们还进行了XR体验研究以验证

CRediT作者贡献声明

蒋逸婷：撰写——原始草稿，验证，项目管理，调查，正式分析，数据整理。王世豪：验证，软件开发，调查，数据整理。陈希安：可视化，验证，调查，数据整理。徐伟琳：可视化，验证，软件开发，数据整理。蔡欣瑞：撰写——审稿与编辑，监督，资源协调，项目管理，方法论研究，资金获取，概念构思。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究得到了台湾国家科学技术委员会（NSTC 111-2221-E-004-008-MY3, 113-2221-E-004-007 -, 114-2628-E-004-001-MY4, 114-2221-E-004-005-）和台湾国立成功大学的支持。