编辑推荐:
本文提出一种基于用户感知的标签布局方法,通过动态量化用户对象兴趣得分和构建标签属性与用户感知时间的映射函数,优化3D空间标签位置以提升目标定位效率。实验表明该方法显著降低任务负荷、减少视觉疲劳并提高定位准确率。
栾帅|吴健|周东|柯伟|王莉莉
北京航空航天大学虚拟现实技术及系统国家重点实验室,中国北京
摘要
虚拟现实(VR)技术为用户提供了沉浸式虚拟环境体验。在目标定位场景中,标签对于引导用户快速识别和定位目标至关重要,从而提高了定位效率。然而,虚拟环境中信息的复杂性和数量不断增加,常常导致标签信息过载和视觉混乱。为了解决这些问题,我们提出了一种基于用户感知的标签布局方法来提高目标定位效率。该方法引入了对象兴趣分数的概念,该分数动态量化了用户对场景对象的兴趣,并用于标签过滤。此外,还构建了从标签属性到用户感知时间的映射函数,以便估计用户感知标签的速度。通过结合对象兴趣分数和用户感知时间,我们开发了一种由用户感知力驱动的标签布局优化方法。为了评估布局的有效性,我们提出了一种新的指标——标签感知时间成本,用于衡量用户感知感兴趣对象标签所需的努力。用户研究表明,与传统基于动态力的标签布局相比,所提出的方法显著提高了目标定位效率,减少了任务负担,增强了可用性,并降低了不适感。
引言
近年来,虚拟现实应用在多个领域得到了深入发展,包括制造业和医疗保健。目标定位在虚拟装配、维修和培训中得到了广泛应用。一些研究通过使用视觉线索(如显著颜色,Erickson等人,2022年)或突出目标轮廓(Horst等人,2019年)以及减少遮挡(Yu等人,2019年)来提高目标定位效率。然而,当用户需要在许多外观相似的候选对象中找到特定对象时,仅依靠颜色或形状等视觉显著性线索可能不足以区分对象,他们必须根据特定的语义信息指定搜索行为。基于标签的定位可以通过直观的视觉线索加速用户在虚拟环境中的目标定位,特别是在用户需要从大量对象中快速找到所需目标时。研究人员在VR/AR中的标签布局方法方面做了大量工作。针对某些视角下标签重叠和交叉的问题,Hartmann等人(2004年)提出了一种基于粒子弹簧模型的标签布局方法,以尽可能消除这些现象。复杂场景中的大量对象会导致标签过多,为了解决这个问题,McNamara等人(2019年)根据用户的注视区域选择标签,从而减少了显示的标签数量。Madsen等人(2016年)在一项关于增强现实标签的详细用户研究中表明,当标签直接放置在对象的3D空间中而不是2D空间中时,参与者的表现更好。因此,我们在3D空间中优化标签以保持深度感知。
然而,在包含许多对象的复杂虚拟场景中利用标签引导快速定位目标仍然面临一些挑战。第一个挑战是找到用户可能感兴趣的对象。在搜索目标时,用户会自然地关注与目标形状和位置相似的对象,因此这些对象很可能引起用户的兴趣。帮助用户过滤感兴趣的对象可以有效避免标签信息过载的问题。第二个挑战是确定这些标签的3D位置,以便用户能够快速找到它们。当用户佩戴VR头显观察虚拟场景时,他们通常对视野中心的内容反应更快。生物学文献(Schiefer等人,2001年)也提到,人类视觉反应时间与视野中内容的偏心角呈正相关。将标签放置在用户能更快感知的位置可以提高他们的搜索效率。第三个挑战是如何合理地在这些3D位置布局标签。尽管现有的粒子弹簧模型可以根据用户的视角移动标签,从而减少标签重叠和交叉,但它无法将用户可能感兴趣的不可见对象的标签推到可见位置,也无法合理地将标签布局在用户能快速感知的位置。
在本文中,我们提出了一种基于用户感知的标签布局方法用于目标定位。该方法通过分析用户在搜索过程中对对象的兴趣分数,并将标签放置在用户感知时间较短的3D位置来提高基于标签的目标定位效率。首先,我们定义了对象兴趣分数来表征用户对场景中对象的兴趣随时间的变化。其次,我们提出了一种数据驱动的拟合函数方法,用于创建从标签属性到用户感知时间的映射,量化用户识别和处理标签的速度。该映射函数可用于估计用户可能感兴趣的对象的标签的感知时间。最后,我们根据对象兴趣分数和用户感知标签时间函数计算用户感知力,并提出了一种由用户感知力驱动的动态引导标签布局优化方法。此外,我们引入了一个新的指标——标签感知时间成本,用于衡量用户感知感兴趣对象标签所需的成本。我们设计了一项用户研究来评估我们的方法。与传统基于动态力的标签布局相比,我们的标签布局显著提高了目标定位效率,减少了任务负担,增强了可用性,并降低了不适感。
图1展示了两种用户视图(第1行和第2行)与传统的动态标签布局方法(a)、McNamara等人(2019年)提出的基于距离视野中心的标签过滤方法(b)以及我们的标签布局方法(c)的比较。在两种视图中,用户都在查看用红色方块标出的。使用传统的动态标签布局方法(a),只显示用户视野中心最近的n个标签,这些标签通常位于相应对象的相邻区域。粒子弹簧系统减少了标签重叠和交叉,但由于标签对象位于视野中心范围内且深度不同,可能会导致标签遮挡。使用我们的标签布局方法(b),我们使用右侧的图例颜色来可视化标签;标签颜色越红,用户对该标签所标识的对象的兴趣越大,我们仅对用户最感兴趣的对象进行可视化,对更高兴趣的对象的标签位于更容易感知的3D位置。根据用户当前注视的,我们的方法估计用户对具有一定相似性的对象感兴趣,例如、,因为的形状基本相同,和的环境更为相似,而和的环境则不太相似,的环境完全不同。(c)展示了及其周围环境的放大视图。
总结来说,我们的主要贡献如下:
•我们引入了一个新的对象兴趣分数概念,用于捕捉用户对对象的兴趣,并提出了一种实时更新对象兴趣分数的算法。
•我们提出了一种数据驱动的方法,用于建模引导标签属性到用户感知时间的映射,以测量用户对视野中标签的反应时间。
•我们提出了一种由用户感知力驱动的动态引导标签布局方法。
•我们引入了一个新的指标“标签感知时间成本”,用于衡量用户对当前标签布局的感知成本。
相关工作
相关工作
在本节中,我们首先介绍了一些使用视觉线索进行目标定位的研究,然后回顾了虚拟和混合场景中的3D标签布局和标签过滤的先前方法。
方法
在虚拟场景中定位目标时,如果有多个相似的对象,很难确认当前观察的对象是否为目标,或者可能需要多次比较相似的可能对象。通过观察标签来定位目标可以避免这个问题。标签通常携带特定的语义信息,帮助用户快速判断它们是否为目标对象的标签。因此,如果能够快速找到目标标签,用户就可以
用户研究
为了评估我们提出的标签布局方法的有效性,我们进行了用户研究。我们将我们的方法与Hartmann等人(2004年)提出的传统基于动态力的布局方法()进行了比较,并使用了Tatzgern等人(2016年)在用户移动距离或旋转角度超过阈值时使用的离散更新策略()以及McNamara等人(2019年)提出的基于距离视野中心的过滤方法()
结论、局限性和未来工作
我们提出了一种基于用户感知的标签布局方法,以提高目标定位效率。我们的方法分析了用户在定位任务中对每个对象的兴趣程度,并将标签放置在用户注意力集中的对象的3D空间位置,从而缩短了感知时间。通过优化标签布局,我们的方法提高了基于标签的目标定位效率。用户研究的结果表明,我们的标签布局方法
CRediT作者贡献声明
栾帅:写作——审稿与编辑、撰写——初稿、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、正式分析、数据管理、概念化。吴健:写作——审稿与编辑、撰写——初稿、监督。周东:写作——审稿与编辑、概念化。柯伟:写作——审稿与编辑。王莉莉:写作——审稿与编辑、撰写——初稿、监督。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
王莉莉报告称获得了国家自然科学基金的支持。吴健报告称获得了国家自然科学基金的支持。王莉莉报告称获得了国家重点研发计划的支持。吴健报告称获得了基础研究基金的支持。
栾帅是中国北京航空航天大学计算机科学与工程学院的硕士研究生。他的当前研究方向是虚拟现实、增强现实和人机交互(HCI)。