《Frontiers in Neuroergonomics》：Hybrid EEG-fNIRS phoneme classification based on imagined and perceived speech
编辑推荐：
本文创新性地结合脑电图（EEG）与功能近红外光谱（fNIRS）技术，实现了四类音素（/a/、/i/、/b/、/k/）在想象语音（77.29%）与感知语音（76.05%）条件下的高精度解码。研究通过互信息（MI）特征选择优化多层感知器（MLP）分类器，首次证实多模态融合在音素级脑机接口（BCI）中的可行性，为运动障碍患者的直觉性通讯康复工程提供了新范式。
引言：严重运动功能障碍患者常面临沟通困境，基于想象语音的脑机接口（BCI）研究为此提供新途径。尽管脑电图（EEG）和功能近红外光谱（fNIRS）等单模态神经成像技术广泛应用，但多模态融合研究仍显不足。本研究通过混合EEG-fNIRS数据，探索音素在想象与感知条件下的解码潜力，旨在构建更直观的语音假体系统。
材料与方法：22名右利手受试者参与实验，完成针对/a/、/i/、/b/、/k/四个音素的想象与感知语音任务。EEG特征提取功率谱密度（PSD），涵盖α（8-12 Hz）、β（12-30 Hz）、γ（30-70 Hz）频段；fNIRS特征采用不同时间窗（0-1 s、1-3 s、3-5 s）的血红蛋白浓度变化均值。通过互信息（MI）准则进行特征排序，并基于10折交叉验证确定最优特征数量。采用多层感知器（MLP）分类器，对比混合模态与单模态（EEG、fNIRS）在个体内及跨被试分类中的表现。
结果：混合分类在想象与感知语音中分别达到77.29%和76.05%的准确率。EEG单模态分类（79.74%想象/76.79%感知）与混合模式无显著差异，而fNIRS单模态准确率较低（27.75%想象/28.43%感知）。互信息特征选择显著提升分类性能，γ频段脑电特征贡献度达84.36%。跨被试分类中，混合模式与EEG单模态分别获得64.97%和69.36%的想象语音解码准确率。
讨论：本研究首次实现基于多模态EEG-fNIRS的四类音素解码，性能超越既往研究。短时程试验设计（5 s任务+2-4 s间隔）虽提升效率，但限制了fNIRS血流动力学响应函数（HRF）的完整捕捉，导致其贡献有限。神经机制分析显示，右额下回（IFG）与左颞叶区域在音素想象中具有高 discriminative 价值，occipital 区域激活提示视觉加工参与。未来研究需平衡试验时长与信号质量，并扩展音素库以提升BCI实用性。
结论：混合EEG-fNIRS策略为音素级语音BCI提供了有效解决方案，尤其依赖EEG高频振荡特征。研究证实互信息驱动特征优化在多模态数据中的必要性，为开发实时通讯假体奠定了方法论基础。
