用于识别与虚拟现实(VR)运动病训练相关的神经子图的可解释图神经网络:一项脑电图(EEG)研究

【字体: 时间:2026年03月03日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  虚拟现实运动病(VRMS)的缓解机制研究:通过7天VR适应训练结合可解释图神经网络(GNBI)分析脑电信号,发现训练后受试者脑网络小世界指数上升、冗余度降低,且模型能输出可解释的神经子图以实时评估VRMS状态,为闭环训练系统提供理论依据。

  
冯乃实|陈志琪|赵宏伟|华成成
沈阳大学信息工程学院,中国沈阳,110044

摘要

虚拟现实引起的运动病(VRMS)仍然是限制虚拟现实(VR)技术广泛应用的关键瓶颈。因此,迫切需要利用VR技术进行前庭功能训练,以减轻运动病的强度。然而,VRMS的神经机制仍不清楚,现有技术缺乏实时评估的能力。为此,本研究设计了一项小样本研究,进行了为期7天的VR适应训练,并收集了训练前后的静息状态和任务状态脑电图(EEG)数据以及行为数据。从时间、频率和空间三个维度提取了代表静息状态和任务状态的特征,并构建了一个具有内置可解释性的图神经网络(GNBI)模型。该模型在执行状态检测的同时可以输出可解释的神经子图。结果表明,7天的训练可以有效缓解VRMS。GNBI模型的分类性能与主流模型相当。此外,对模型提取的神经子图的分析显示,训练后,受试者内部脑网络的小世界指数增加,冗余减少,而受试者之间的脑网络趋于趋同。本研究填补了VRMS研究中行为干预与神经机制之间关联的空白,为开发具有实时神经反馈的闭环VR训练系统提供了可能,以实现个性化的运动病缓解。

引言

虚拟现实(VR)技术在许多领域取得了快速进展(Qin等人,2025年)。然而,其实际应用受到效果不足的限制,其中虚拟现实引起的运动病(VRMS)是一个主要障碍(Chattha等人,2020年)。VRMS指的是由于过度沉浸而引起的头晕和恶心等症状,在严重情况下可能导致更严重的健康问题。因此,针对VRMS的定向训练和调节方法具有不可替代的重要性(Chang等人,2020年)。尽管VRMS和普通运动病在某些方面有相似之处,现有研究也利用VR技术进行前庭功能训练以减轻运动病的强度,但由于对VRMS神经机制的了解不足,目前尚无直接通过这些方法缓解VRMS的坚实理论基础。
值得注意的是,虽然虚拟现实运动病和传统运动病在某些方面有共同点(Mazloumi Gavgani等人,2018年),例如都涉及视觉-前庭信号不匹配,且现有研究已证实使用虚拟现实技术的前庭功能训练可以降低普通运动病的诱发强度(Kasegawa等人,2024年),但两者在本质上有显著差异。VRMS的核心诱因在于虚拟环境中“不自然的视觉运动信号”与身体静态状态之间的强烈冲突,其神经机制(例如特定脑区对虚拟运动的异常反应模式)尚未达成明确共识(Ng等人,2020年)。这种机制的模糊性使得难以直接将针对普通运动病的干预方法应用于VRMS的缓解。因此,针对VRMS的特定训练和实时评估研究对于实现个性化抗运动病效果以及进一步突破用户体验的界限具有不可替代的意义。2024年,研究人员提出了一种使用眼动追踪和问卷作为主要技术方法的VRMS缓解训练方法。该方法通过提前让用户接触与VRMS相关的刺激来增强他们的适应能力。结果显示,这种训练显著降低了47%的恶心感和34%的眼动不适(Won等人,2024年)。其他研究则通过训练视觉能力来降低VRMS的易感性。参与者在14天的训练期间每天完成固定任务,其视觉空间技能提高了40%(Smyth等人,2021年)。此外,一些研究通过硬件调整来缓解眩晕,例如在任务中调整姿势(Yang等人,2025年)、动态改变视角(Bredikhin等人,2022年)以及添加静态帧(Cao等人,2018年)。
然而,目前大多数研究使用问卷和心理测试等主观报告方法来量化缓解效果,很少使用眼动追踪器或生理电信号等客观评估工具。在评估方法方面,模拟器不适问卷(SSQ)是目前用于实时评估的主要工具。它通过16个项目量化三类症状(恶心、眼动不适和眩晕),在0-3的评分范围内捕捉用户的主观感受,从而快速生成可比较的定量结果(Kennedy等人,1993年)。然而,SSQ依赖于用户的主动反馈,导致时间延迟(例如,评分只能在症状出现后完成),并且难以捕捉瞬时的生理变化。因此,参与者的生理信号是评估的最佳选择(Li等人,2024/05;Zhan等人,2025;He等人,2025)。当前的主流方法包括眼动追踪、心电图、皮肤电反应和脑电图(EEG)(Li等人,2025;Sangeetha等人,2024)。其中,EEG可以直接捕捉大脑活动的变化(Shi和Liu,2024;Huang和Xu,2025/11;Lu等人,2025a),与其他电信号相比,能够更早地检测到大脑中视觉-前庭信号冲突的异常整合。然而,过去十年的研究回顾显示,大多数研究仅关注频率分析(Andrievskaia等人,2023年)或采用端到端的方法进行状态分类(Hua等人,2024;Liu等人,2024;Chen等人,2026a)。尽管在其他研究领域已经应用了因果关系(Zhao等人,2024;Lu等人,2025b),但大多数研究仍难以捕捉与VR运动病(VRMS)状态相关的EEG信号的复杂时空动态特征。此外,关于VRMS的神经机制的可解释性不足,特别是对于端到端模型(Wang等人,2022;Zhang等人,2025a),这些模型就像黑箱一样,无法明确判断提取的EEG特征是否真正与VRMS的核心机制相关。
总之,本研究对一小部分参与者进行了虚拟现实运动病训练,分析了训练前后大脑模式的变化,并提出了一个可解释的神经子图,从而为VRMS训练提供了理论支持。本研究包括五个部分:第1部分是引言;第2部分涵盖材料和方法,包括实验设计、数据处理和模型建立;第3部分呈现分析结果;第4部分是讨论,第5部分是结论。

实验设计

本研究共招募了22名受试者(16名男性和6名女性,年龄在19-28岁之间)。其中4名受试者未参与训练后的数据收集并自动退出。实验使用了Bit Planet Games开发的Super Glider 2游戏,持续时间为5分钟。在实验过程中,受试者需要控制飞机飞越位于不同位置和方向的7个目标。

SSQ值比较

通过计算VRSQ值,比较了受试者在训练前后的VRSQ值。图3(a)显示了训练前七天任务前后受试者VRSQ的变化,图3(b)显示了训练后VRSQ的变化。训练前的任务前后受试者的VRSQ存在显著差异;然而,训练后的任务前后没有显著差异。可以初步得出结论,

讨论

本研究提出了一种具有内置可解释性的图神经网络(GNBI),旨在识别与虚拟现实引起的运动病(VRMS)训练相关的EEG神经子图,并系统地分析了7天VR适应训练前后大脑功能的变化。

结论

由于目前虚拟现实引起的运动病的神经机制尚不清楚,将其应用于VRMS的适应性训练和实时评估存在困难。为了解决这个问题,本研究进行了为期7天的VR适应训练实验,并提出了一个具有内置可解释性GNBI(具有内置可解释性的图神经网络)的模型。该模型在执行状态检测的同时可以输出可解释的神经子图。本研究分析了EEG状态

CRediT作者贡献声明

冯乃实:撰写——原始草案、方法论、形式分析、概念化。陈志琪:可视化、验证。赵宏伟:撰写——审阅与编辑、概念化。华成成:监督、资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金的资助,项目编号为622061306247131962101355;部分得到了东北师范大学引进人才创业基金的资助,项目编号为2020r075;以及辽宁省博士创业基金的资助,项目编号为2025BS0872
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号