《Frontiers in Neuroscience》：Computational modeling of spatiotemporal afterimage visual perception with spiking neural networks
编辑推荐：
本文介绍了一项基于生物启发的脉冲神经网络模型，用于计算模拟轮廓诱导的视觉后像现象。该研究通过整合单拮抗和双拮抗（SO, DO）颜色通道、神经适应（HPF）以及扩散填充等机制，在统一的脉冲架构中复现了正、负及组合后像等多种复杂视觉错觉。模型不仅验证了人类受试者的实验发现，其内禀的时空动态特性也使其能够预测多阶段交替轮廓等时序效应，为理解大脑中色彩填充的主动神经过程提供了新视角，并为受生物启发的神经形态成像（SNN, neuromorphic imaging）管线设计提供了概念指导。
引言
视觉错觉长期以来是研究视觉感知背后神经过程的重要工具。颜色后像是其中一种熟悉的例子：长时间注视一个彩色刺激后，当刺激被空白背景替换时，会感知到互补的颜色。在经典的后像效应中，负后像出现在被颜色直接刺激的区域。然而，多项研究表明，后像感知会受到亮度对比的调制。轮廓可以在未直接暴露于颜色的区域诱导产生虚幻的颜色填充后效，且色调不限于诱导色的互补色。这种虚幻的填充可以由与呈现同时的彩色轮廓引发，也可以由初始彩色刺激之后出现的无色轮廓引发。这种轮廓依赖的感知现象，其神经机制超出了简单的神经适应模型，其确切性质尚不清楚。
本文的研究工作，旨在通过一个生物可信的脉冲神经网络（Spiking Neural Network, SNN）来实现知觉后像效应。模型比较了与人类参与者的实验结果，展示了视觉错觉复杂的时序演化如何从其构成脉冲动力学的动态中产生。这个神经设计能够模拟广泛的现象，包括正、负和组合的后像配置，以及交替和开放轮廓的效应。模型通过其脉冲动力学内在地纳入了时间维度，能够准确再现感知颜色的时间演化，包括连续轮廓观察到的交替极性。研究表明，一个单一的、统一的、生物可信的脉冲架构可以同时解释真实颜色和复杂的轮廓诱导后像现象，这表明一个共同的主动神经过程——色彩填充，负责了不同形式的感知颜色。从工程角度看，该模型例示了在不简化为静态帧的情况下，对视觉数据基于事件表征的神经形态计算处理，并通过可配置参数实现了对推理错误和虚幻后像的系统分析，为设计受生物启发的神经形态成像管线提供了概念指导。
方法
模型的总体架构基于神经工程框架（Neural Engineering Framework, NEF）实现。视觉刺激被编码为三个对立通道：红/绿（L/M）、蓝/黄（S/(L+M)）和亮度（Luminance）。这些单拮抗信号被输入到双拮抗边缘检测组件，这对应于初级视皮层中对颜色和空间边界进行编码的双拮抗神经元。彩色双拮抗信号经过神经适应，产生的适应信号随后受到亮度通道双拮抗输出的调制，这增强了测试轮廓处的颜色梯度。每个通路都实施了基于扩散的填充，遵循知觉填充的同构理论。填充由颜色通道中经过调制的边缘和亮度通道中的亮度边缘驱动。所有通道的输出被组合和整合，产生最终的感知。
模型输入是RGB图像，通过线性转换矩阵M变换到对立颜色空间，得到三个通道的信号。在双拮抗和适应阶段，首先对每个通道的单拮抗输入进行拉普拉斯滤波以检测边缘，模拟V1区的双拮抗细胞。检测到的空间边缘受到神经适应，通过高通滤波（HPF）建模，这导致在刺激移除时产生反转的颜色边缘，与负后像的反弹响应机制一致。适应过程被视为对突触抑制的抽象，其放置对应于皮层而非视网膜适应。
颜色填充
颜色填充被建模为一个扩散过程。填充由适应的颜色梯度驱动，并通过无色轮廓进行调制。调制机制通过一个由亮度双拮抗响应幅度提供的兴奋性输入，和一个由颜色单拮抗响应幅度提供的抑制性输入共同作用实现。调制信号C的计算近似等于亮度边缘幅度减去经过缩放和膨胀的联合颜色单拮抗幅度，并与零取最大值。这个调制信号增强了在空间上与无色轮廓重合的颜色梯度。当物理上存在颜色刺激时，它会提供强大的抑制性输入，从而抑制调制。这种机制使得在刺激存在时，模型能够重建真实颜色；而在刺激被移除、仅有无色轮廓时，被适应的反转边缘（即反弹响应）会被增强，从而驱动虚幻后像的填充。
填充过程实现为递归脉冲神经网络，遵循扩散方程。扩散由调制后的颜色诱导子E驱动，该诱导子将适应的颜色梯度分解为正负分量，施加与符号匹配的调制信号后再重新组合。扩散模块通过递归连接实现，每个神经元与其四个最近邻相连，模拟了水平神经连接，从而实现边缘驱动的表面颜色重建。
亮度填充与感知图像
亮度输出也通过边缘驱动的扩散进行重建，实现方式与颜色通道类似。提取出的亮度边缘既用于触发亮度通道内的填充，也用于调制颜色通道。脉冲网络在模拟过程中产生动态输出。首先，在填充之后，通过低通探针在不同时间点对颜色通道输出进行时间采样。当存在单拮抗颜色信号时，用它作为锚点，通过简单的仿射变换将颜色输出重新缩放到其原始范围。最后，将缩放后的颜色通道和亮度通道组合，并使用对立颜色变换的逆变换转换回RGB空间，生成表示模型预测感知的图像。
结果与模型预测分析
闭合轮廓刺激：使用基于Hazenberg和van Lier实验的刺激评估模型，包括四种颜色和四种轮廓配置。模型成功预测了正条件（内轮廓）下的同色填充和负条件（外轮廓）下的互补色填充，颜色饱和度均降低。对于破坏性组合（同色双轮廓），预测颜色接近原点（中性）；对于建设性组合（互补色双轮廓），预测颜色的饱和度高于单独的正或负条件。在CIELAB颜色空间中，预测颜色与人类感知数据趋势一致。
星形刺激：使用基于van Lier和Vergeer实验的星形重叠刺激。模型正确预测了与无色轮廓所勾勒形状相对应的负后像，并平滑地填充了重叠的灰度区域。额外的、不与颜色边缘重合的内轮廓不会阻断填充，与心理物理学证据一致。
交替无色轮廓：模型成功模拟了三阶段刺激（一个颜色刺激后跟随两个交替的无色轮廓），产生了交替的正、负效应，表明模型内部状态保留了足够的颜色和空间信息，无需重新呈现颜色刺激即可产生适当响应。
螺旋刺激：模型在螺旋刺激上测试了开放轮廓的效应。当仅呈现外边缘时，正效应占主导；当仅呈现内边缘时，负效应占主导；当呈现完整轮廓时，螺旋内部和外部的填充效应出现清晰分离。这些结果与先前研究一致。
时空动态：模型参数调整至在测试阶段结束时能产生清晰可见的颜色。模型的动态源自填充（迭代扩散）和双拮抗适应两个过程的相互作用。适应具有双重且相反的效果：更强的适应增强了颜色梯度，驱动更显著的填充；但同时也加速了颜色的消退。这些效应共同产生了色度的初始积累，然后在测试阶段的大部分时间保持稳定，之后迅速衰退。在负条件下，适应区域和剩余内部区域之间的填充存在额外延迟，这归因于较弱的内部颜色边缘（未被测试轮廓放大）驱动了相反方向的扩散，阻碍了其向中心传播。
讨论
这项工作提出了一个生物可信的脉冲神经模型，实现并整合了早期视觉系统的核心组件。该模型通过单一机制，成功预测了轮廓诱导的正、负及组合后像，以及真实颜色感知。它还能复现经典后像以及适应时长对其强度的影响。这些结果表明，所有这些情况下的填充可能都由一个共同的神经过程介导。
本模型是生物可信的，但为了计算效率，大多数神经组件使用脉冲整流线性神经元实现，缺乏真实神经元的某些特性。然而，这并不构成模型的概念性限制。本模型与Virtual Retina等大型生物细节模拟器不同，后者专注于视网膜处理的详细模拟，而本模型则在一个端到端的脉冲架构中，解释轮廓驱动填充和后像形成的时空动态感知效应。
模型局限于视网膜拓扑参考系内的视觉处理，没有内部机制在不同空间尺度上生成感知，因此无法解释涉及多感官的现象。同时，虽然调制信号限于刺激驱动的相互作用，但模型可以通过额外的连接进行扩展，以纳入外部空间选择性调制信号，从而允许未来研究工作探讨自上而下过程（如注意和意识）对后像形成的影响。
尽管总体模拟时间线与感知过程基本一致，但填充的积累过程慢得不切实际。这可能是因为模型使用了单一的填充层和简单的四邻域水平连接方案，限制了每个神经元的有效感受野，导致颜色传播缓慢。然而，这种填充的演化进程可能提供相关见解，特别是对于负配置。在这种情况下，轮廓内部包含两个不同的区域：一个暴露于颜色诱导剂的轮廓邻接区域和一个未暴露的中心区域。鉴于已知亮度轮廓能增强后像，这些区域的感知不能假定为相同。这种潜在的差异在设计实验和解释未暴露区域的填充时应予以考虑。
