HSA2M：用于从脉冲神经网络中获取视觉解释的分层脉冲聚合激活图

《IEEE Transactions on Neural Networks and Learning Systems》：HSA2M: Hierarchical Spike Aggregation Activation Map for Visual Explanations From Spiking Neural Networks

针对脉冲神经网络（SNNs）视觉解释中空间稀疏和时序不连续的挑战，提出HSA2M方法，通过分层脉冲聚合和自适应融合生成高精度、高可信度的视觉解释，实验表明其显著优于现有方法。

　　

摘要：

在脉冲神经网络（SNNs）中实现可视化解释具有挑战性，因为脉冲在空间上分布稀疏且在时间上不连续，这导致难以生成连贯的显著性映射并影响解释性。为了解决这个问题，我们提出了分层脉冲聚合激活图（HSA2M）方法，该方法受到了两个神经生物学原理的启发：1）腹侧通路中的分层特征整合（V1 → V2 → V4 → IT）；2）反映决策相关显著性的短脉冲间隔（ISI）。HSA2M通过多层脉冲聚合和自适应融合在SNNs中实现了细粒度的可视化解释。它由三个核心模块组成：脉冲激活图生成器（SAMG），该生成器通过时间脉冲聚合逐层构建显著性映射；Fisher加权融合（FWF）模块，该模块利用Fisher信息（FI）自适应地整合多层映射；以及度量感知超参数优化器（MA-HPO），该优化器通过度量驱动的参数调整来提高解释的准确性。通过整合这些组件，HSA2M在保持基于脉冲处理的事件驱动效率的同时，生成了更精确和高保真的可视化解释。在神经形态学（DVS-Gesture和DSEC-Semantic）以及静态（Tiny-ImageNet和ImageNet）基准测试上的广泛实验表明，HSA2M在解释性（例如，ADCC从0.8792提高到0.9215，提高了4.81%）、忠实度（例如，Spearman等级相关系数从0.189提高到0.209，提高了10.085%）和对抗鲁棒性（例如，归一化L1距离从0.0673降低到0.0092，降低了86.32%）方面优于现有方法。