虚拟现实（VR）中虚拟键盘输入方法的比较分析：控制器输入、触控输入和捏合输入技术

《Displays》：Comparative analysis of virtual keyboard typing methods in VR: controller, poke, and pinch techniques

虚拟打字环境下比较控制器基础光投射（CRC）、手势穿刺（GHPo）和手势捏合（GHPi）三种输入方法，发现CRC在速度（WPM最高）但错误修正更多，GHPo更沉浸但速度较慢，GHPi精度高但认知负荷大。研究揭示了性能与用户体验的权衡，为优化虚拟打字系统提供依据。

　　

Min Joo Kim | Yong Min Kim | Donggun Park

韩国浦项国立大学媒体传播系

摘要

在虚拟环境中进行打字面临着独特的挑战，因为需要在三维（3D）空间内进行精确且重复的操作。尽管虚拟文本输入的重要性日益增加，但现有研究主要集中在比较不同的输入方法及其对用户体验（UX）和任务性能的影响上。本研究通过评估三种虚拟打字技术来填补这一空白：基于控制器的光线投射（CRC）、基于手势的拨动（GHPo）和基于手势的捏合（GHPi）。30名参与者使用这些方法完成了文本输入任务，其表现通过客观指标（包括打字速度和错误率）以及主观评价（可用性、沉浸感和工作负荷）进行了评估。研究结果表明，CRC实现了最快的打字速度，但需要频繁的错误修正，这凸显了速度与精度之间的权衡。GHPo通过模拟真实的打字体验提供了更加沉浸和令人满意的UX，但速度较慢。而GHPi虽然精度较高，但需要较大的认知和体力消耗，从而降低了其长时间使用的效率。这些结果强调了不同输入技术在性能和UX之间的固有权衡，并为优化虚拟打字系统提供了实际见解。未来的研究应探索其他输入方式，如基于语音的方法或混合方法，并评估它们在动态和多样化环境中的长期可用性和有效性，以进一步提升虚拟打字体验。

引言

虚拟环境（VEs）中的虚拟打字任务属于一种复杂的3D交互类型，要求用户在受限的虚拟空间内执行连续的动作序列，包括对象选择和重复的按钮操作[1] [2]。这些任务需要高度的精确性和协调性，这与仅涉及对象移动或单步交互的简单选择或操作任务有所不同。 当前的虚拟打字方法主要分为两类：基于控制器的和基于手势的技术，它们可以结合直接和间接输入。基于控制器的方法（如光线投射或触发式选择）依赖硬件工具来定位和激活虚拟按键[3] [4]。而基于手势的方法则利用自然的手部动作（如拨动或捏合）与虚拟界面进行交互。虽然基于控制器的系统通常通过精细的光标控制实现更高的精度[4]，但它们对外部硬件的依赖性可能会降低直观性和沉浸感。相反，基于手势的输入更注重直观性[5]，但在沉浸感方面并不总是优于基于控制器的方法[4]。 这两种方法都有多种实现方式。例如，基于控制器的系统可以结合光线投射、摇杆导航或触觉反馈来优化用户交互。同样，基于手势的技术也从基本的手部追踪动作发展到能够实现更广泛交互能力的复杂多指手势[6]。鉴于这种多样性，系统地比较不同实现方式的优点和局限性对于设计能够优化用户体验（UX）和性能的VE界面至关重要。 虚拟打字方法显著影响VEs中的UX，影响诸如沉浸感、心理和体力负荷、感知有用性以及满意度等指标[4] [7] [8] [9]。不同的输入方法会以独特的方式影响这些结果，因此需要系统地了解它们对任务性能、工作负荷和满意度的影响。因此，在标准化条件下进行比较研究对于全面评估各种方法之间的UX权衡至关重要。 尽管虚拟打字任务的重要性日益增加——尤其是随着其应用的扩展[10]——但与其他虚拟交互相比，相关研究仍然有限。这一差距突显了对虚拟文本输入所面临的具体挑战和机遇进行深入研究的紧迫性。虚拟现实（VR）技术的进步越来越重视基于自然用户界面（NUI）的交互方式，这些方式利用手势来实现自然的交互模式[11] [12]。虽然NUI方法承诺提供直观和沉浸式的体验[13] [14]，但在需要精确度的重复性任务（如虚拟打字）中的有效性和效率仍需严格评估。例如，尽管NUI具有吸引用户的优势，但在准确性和可靠性方面仍可能存在问题。相比之下，基于控制器的方法由于与现有硬件的兼容性和用户的熟悉度而主导当前的VR系统[15]。光线投射等技术在商业应用中促进了流畅的任务切换[4]，但它们在复杂任务（如虚拟打字）中的性能和UX优势尚未得到证实。因此，直接比较基于控制器和NUI的方法对于识别各自的优点、缺点以及性能、工作负荷、沉浸感和满意度方面的权衡至关重要。 本研究调查了基于控制器和NUI的虚拟打字方法的优点和局限性。通过评估关键指标（包括任务性能、感知可用性、沉浸感和工作负荷），本研究旨在为这两种方法提供实用的设计指导。这些发现将为改进现有的虚拟打字系统以及优化基于控制器和手势的交互方式提供依据。专注于已在商业VR系统中实现的方法，确保了研究成果能够直接应用于实际场景。

虚拟打字界面

在扩展现实（XR）环境中，有效的文本输入仍然是一项关键且具有挑战性的任务，XR包括VR、增强现实（AR）和混合现实（MR）。即使在文本输入不是主要目的的情况下，虚拟办公室、游戏、教育和远程协作等应用中也经常需要执行基本搜索命令或基于聊天的通信等操作。因此，一直有研究致力于开发相应的虚拟打字技术。

参与者

本研究共有30名大学生参与（15名男性，15名女性），平均年龄为23.2岁（标准差=1.6岁）。所有参与者的视力均为正常或经过矫正至正常水平。关于虚拟现实的先前经验，8名参与者没有使用过VR头显，其余22人的使用次数较少（少于5次）。由于整个群体的先前经验有限，预计不会出现显著的交互影响。研究方案已获得相关机构的批准。

性能指标

RM-ANOVA分析结果显示，交互方法（CRC、GHPo和GHPi）对以下指标有显著影响：每分钟单词数（WPM）（F_2,58 = 33.782, p = 0.000, η² = 0.538）、退格键使用次数（F_2,58 = 4.098, p = 0.022, η² = 0.124）以及吞吐量（F_2,58 = 76.027, p = 0.000, η² = 0.724）。事后比较（见表2）显示，CRC条件下的WPM、退格键使用次数和吞吐量显著高于GHPo和GHPi，而后者之间没有显著差异。

不同虚拟打字方法的任务性能比较

CRC方法的打字速度高于基于手势的方法（GHPo和GHPi），但同时也导致更频繁地使用退格键。值得注意的是，三种方法的用户错误率（UER）和错误率（WER）没有显著差异，这表明尽管使用CRC方法时参与者进行了更多的修正，但最终的正确率在所有输入技术中相当。这表明，虽然CRC加快了文本输入速度，但也导致了更多的初始错误。

结论

本研究比较了三种虚拟环境（VEs）中的虚拟打字方法（CRC、GHPo和GHPi）。结果表明，这些方法在任务性能、UX和工作负荷指标方面存在显著差异，突显了每种交互技术的独特优势和局限性。这些发现为设计更高效的虚拟打字系统提供了宝贵的见解。CRC在打字速度方面表现优异，并在易用性和学习便利性方面获得了高评价，因此非常适合……

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

本研究得到了韩国科学技术信息通信部（MSIT）的支持，该研究属于HRD信息通信技术挑战与高级网络（ICAN）支持计划的一部分，由信息与通信技术规划与评估研究所（IITP）监督（项目编号：IITP-2023-RS-2023–00259806）。此外，该研究还得到了韩国国家研究基金会（NRF）的资助（资金由韩国政府（MSIT）提供，项目编号：RS-2023–00242528）。