《Frontiers in Neuroscience》：Evaluating haptic experience using EEG and deep learning across multiple modalities: linking stimulus and self-reports
编辑推荐：
这篇综述系统探讨了利用脑电图（EEG）和深度学习评估多模态触觉体验的研究，比较了基于物理刺激（PS）和主观报告（SR）两种标签策略对模型性能的影响。研究覆盖延迟力反馈（DFF）、指尖振动反馈（FVF）、上身振动反馈（UVF）和指尖热反馈（FTF）四种触觉模态，采用ATCNet、EEG Inception和EEG Conformer三种深度学习架构进行留一被试交叉验证（LOSO）。结果表明，PS标签在群体水平上提供更稳定、更高的分类准确率，尤其在近知觉阈值条件下（如温和热变化、中等振动强度、边界延迟设置）优势显著，而SR标签因个体差异和认知误差导致性能波动。研究强调PS训练的解码器可作为结构化表征基础，后续结合用户特异性SR信息进行自适应优化，为认知触觉接口的实时适配提供了新思路。
引言：触觉体验评估的传统挑战与神经触觉学兴起
人类触觉在日常体验中至关重要，但传统评估依赖主观报告（SR）和行为观察，存在主观性强、记忆依赖和社会压力影响等局限。神经触觉学（Neurohaptics）通过分析脑电图（EEG）等神经生理信号，为实时解码触觉体验提供了新途径。EEG凭借高时间分辨率和低成本优势，已应用于触摸屏反馈检测、纹理分类、热感知评估等场景。然而，EEG数据标注的核心问题在于：应基于实验控制的物理刺激（PS）参数，还是用户的主观报告（SR）？本研究旨在系统比较PS与SR标签策略对深度学习模型性能的影响，揭示神经响应与触觉体验不同层面的关联，而非简单替代主观报告。
方法：多模态实验设计与统一处理流程
研究涵盖四种触觉体验：延迟力反馈（DFF）关注力反馈延迟感知，指尖振动反馈（FVF）探索振动强度，上身振动反馈（UVF）传递紧迫度等级，指尖热反馈（FTF）涉及离散温度感知。每种模态采用独立被试组（DFF：34人，FVF：29人，UVF：31人，FTF：28人），使用32或64通道EEG系统记录数据。EEG预处理包括0.1~40 Hz带通滤波、50/60 Hz陷波滤波、共同平均参考和降采样至250 Hz，以模拟在线认知触觉接口的实时处理条件。PS标签直接来自刺激参数（如延迟时间、振动强度），SR标签通过试次后用户报告获取，并通过映射对齐类别数（如DFF将120 ms、250 ms、400 ms统一为“延迟”类）。标签匹配率（Match Ratio）分析显示，FVF一致性最高（95.5%），FTF最低（64.2%），差异主要源于近阈值条件的个体感知变异。
深度学习模型采用ATCNet（结合时空卷积与自注意力）、EEG Inception（多尺度并行卷积）和EEG Conformer（卷积-注意力混合架构），均通过留一被试交叉验证（LOSO）训练，使用AdamW优化器，并添加高斯噪声和数据平衡策略以提升鲁棒性。
结果：PS标签显著提升模型稳定性与性能
三类模型在PS标签下均表现更优或相当，其中ATCNet综合性能最佳。DFF任务中，PS标签模型准确率达74.6%，显著高于SR标签的62.8%，近阈值延迟（120 ms、250 ms）的SR标签不一致是主因。UVF任务中PS标签准确率较SR标签提升22.1%，因中等紧迫度模式易被用户误判。FVF因PS与SR标签匹配率高（95.5%），两者差异较小。FTF任务整体准确率较低（PS标签40%~43%），因极端温度（如非常冷/非常热）与温和温度（冷/热）的神经响应相似，且SR标签受个体热适应影响显著。
逐类精度分析表明，PS标签在中间条件（如低振动强度、低紧迫度、中等延迟）中优势最大，这些条件下SR标签因个体差异波动明显。混淆矩阵进一步显示，PS标签模型对极端条件（如无延迟、高强度振动）分类稳定，而SR标签模型在近阈值类中混淆严重。匹配率与SR模型准确率的相关性分析显示，UVF任务中两者显著正相关（r=0.792），说明标签一致性直接决定SR模型效能，而FTF任务无显著相关性，反映热感知的高度主观性。
讨论：PS标签作为认知触觉接口的稳健基础
PS标签的优势源于其跨被试一致性，尤其在线索模糊的近阈值条件下，能减少因注意力分散、感官错觉或个体差异引入的标签噪声。尽管SR标签可捕捉个性化感知，但群体水平训练时易受变异影响。三种深度学习架构中，ATCNet的注意力机制擅长捕捉振动和延迟任务的瞬态响应，EEG Inception的多尺度滤波适用于慢速热电位，EEG Conformer的全局依赖建模对上身振动模式解码有效。
未来方向包括结合半监督学习或域适应方法，将PS标签的稳健性与SR标签的个性化融合，并整合肌电（EMG）或皮电（GSR）等多模态信号，以解决中间条件的感知模糊问题。
结论：为自适应触觉接口提供理论支撑
本研究证实PS标签在群体水平EEG解码中更具可靠性，尤其适用于知觉阈值附近的触觉体验评估。PS训练的解码器可作为结构化表征基础，为后续融入用户特异性SR信息提供适配框架。未来可扩展至其他触觉模态（如抖动、不同身体部位振动），并探索全局触觉体验识别器，实现模态与强度的联合解码。
