基于双模态脑电图-功能性近红外光谱和深度学习的听觉皮层响应强度分级分类研究

《IEEE Journal of Biomedical and Health Informatics》：Bimodal EEG–fNIRS and Deep Learning for Classifying Intensity-Dependent Cortical Auditory Evoked Responses

为解决听觉皮层诱发响应强度分类的难题，研究人员基于双模态脑电图(EEG)-功能性近红外光谱(fNIRS)和深度学习，开展了强度依赖性皮层听觉诱发响应分类研究。结果表明，利用原始时间序列的卷积神经网络模型，在双模态数据上获得了92.2%的准确率，显著优于单模态脑电图数据。这揭示了fNIRS能提供互补信息，深度学习方法能有效捕捉区分不同听觉强度的关键内在模式，为听力和神经学研究中的临床评估提供了增强工具。

　　

想象一下，我们如何精确地解读大脑对不同声音强度的反应？这在临床听力学和神经系统疾病研究中至关重要。目前，脑电图（Electroencephalography, EEG）虽然是监测大脑活动的“金标准”，但它主要捕捉的是电信号。那么，是否存在其他技术能提供互补的视角，从而更全面、更准确地对大脑的听觉响应进行分类呢？这正是本研究试图探索的核心问题。

为了回答这个问题，一项题为“Bimodal EEG–fNIRS and Deep Learning for Classifying Intensity-Dependent Cortical Auditory Evoked Responses”的研究被开展并发表在了《IEEE Journal of Biomedical and Health Informatics》上。该研究创新性地将EEG与功能性近红外光谱（functional near-infrared spectroscopy, fNIRS）——一种能监测大脑血流动力学变化（即血氧水平）的光学成像技术——结合起来，旨在探究fNIRS是否能提供EEG之外的有价值信息，以更精准地区分大脑对五种不同强度听觉刺激的皮层诱发响应。

研究人员设计并评估了两种基于深度学习的分类模型。一种是TS-模型（Time-Series model），它基于卷积神经网络（Convolutional Neural Network, CNN），直接输入原始的、未经过多处理的EEG和/或fNIRS时间序列数据。另一种是F-模型（Features model），它基于多层感知器（Multi-Layer Perceptron, MLP），输入的是从时间序列中提取的特征。为了评估双模态（EEG-fNIRS）数据的优势，研究人员不仅用双模态数据训练和测试了这些模型，同时也使用了单模态的EEG数据作为对比。此外，研究还将这些深度学习模型与三种传统的机器学习分类器进行了性能比较。

主要的研究技术方法包括：利用EEG和fNIRS双模态系统同步采集受试者对五种不同强度听觉刺激的神经响应数据；构建并训练了两种深度学习分类架构，即基于CNN的TS-模型和基于MLP的F-模型；采用严格的评估指标（如准确率、AUC面积和F₁-分数）对模型在双模态与单模态输入下的性能进行对比分析；同时，将深度学习模型的结果与支持向量机（SVM）等传统机器学习方法进行对比，以凸显深度学习方法在处理此类时间序列数据上的潜力。

研究结果清晰地展示了几方面的发现：

双模态数据始终优于单模态数据：无论使用哪种分类模型（TS-模型、F-模型还是三种传统机器学习模型），基于EEG-fNIRS双模态输入的分类性能都系统地、一致地超过了仅使用EEG单模态输入的性能。这强有力地证明了fNIRS能够提供EEG所不能捕获的、关于皮层听觉响应的互补性信息。

TS-模型（基于原始时间序列的CNN）表现最佳：在所有的模型中，TS-模型取得了最高的分类性能。具体而言，使用双模态输入时，其分类准确率达到了92.2%，而使用单模态EEG输入时，准确率仅为79.3%。其他关键指标也呈现出显著提升：受试者工作特征曲线下面积（Area Under the Curve, AUC）从80.5%提升至94.4%；F₁-分数从77.5%提升至89.6%。这凸显了深度学习模型，特别是能够自动从原始数据中学习层次化特征的CNN，在捕捉复杂神经时间序列内在模式方面的强大能力。

深度学习模型优于传统机器学习方法：与支持向量机等传统分类器相比，本研究中的两种深度学习模型（尤其是TS-模型）在分类任务上表现更优。这表明对于EEG-fNIRS这类高维、具有时序依赖性的生物信号数据，深度学习的方法学框架可能更具优势。

综合以上结果，本研究得出了明确的结论：整合EEG和fNIRS的双模态神经数据，并结合深度学习（特别是基于原始时间序列的卷积神经网络）进行分析，能够显著提升对强度依赖性皮层听觉诱发响应的分类精度。fNIRS提供的血流动力学信息与EEG提供的电生理信息具有互补性，二者的结合为理解大脑处理听觉刺激的神经机制提供了更丰富的维度。深度学习方法，尤其是直接处理原始时间序列的模型，能够有效地自动提取和利用数据中对于区分不同刺激强度至关重要的内在模式，避免了手工设计特征可能带来的信息损失或偏差。

这项研究的意义在于，它不仅在方法论上展示了多模态神经成像与前沿人工智能技术结合的巨大潜力，也为未来的临床应用指明了方向。在临床听力学领域，这种方法有望开发出更敏感、更客观的听力评估工具，特别是对于难以进行传统行为测听的患者（如婴幼儿或认知障碍者）。在神经科学研究中，它为探索各种神经系统疾病（如听觉处理障碍、耳鸣、自闭症谱系障碍等）中异常的听觉皮层处理机制提供了新的技术路径。最终， leveraging multimodal neural data may enhance clinical assessments in hearing and neurological research（利用多模态神经数据可以增强听力和神经学研究中的临床评估）。