一种受生物启发的脉冲神经网络，具备自适应的时空滤波功能以及深度调节的突触可塑性，从而实现强大的碰撞检测能力

碰撞检测中基于动态视觉传感器的生物启发式突触神经网络，提出自适应时空滤波抑制噪声并稳定事件率，以及深度调制时序依赖可塑性增强目标选择性，实验验证多场景下准确率超94%。

　　

任玉萌|赵叶|陈龙|江启航|徐月|王家莉|黄迅|王翔|冉航|周玉梅|乔淑珊

中国科学院微电子研究所，中国北京市朝阳区北土城西路3号，100029

摘要

为了实现自主代理的快速且稳健的碰撞检测，需要以最小的延迟感知威胁并发出早期警告。动态视觉传感器（DVS）特别适合这一需求，它能够以微秒级的时间分辨率捕捉高速运动，使lobula giant movement detector（LGMD）的计算模型能够进行快速和选择性的碰撞检测。与这种生物启发式方法相一致，脉冲神经网络（SNN）的神经形态结构和固有的时间动态特性使其成为整合这些优势的理想框架。然而，现有系统仍然存在明显的噪声、高度可变的事件率以及在复杂运动场景中有限的碰撞选择性问题。为了克服这些限制，我们提出了一种既能提高鲁棒性又能增强选择性的SNN。受到视网膜适应机制的启发，我们引入了一种自适应时空滤波（ASTF）机制。通过利用时空整合和具有全局-局部适应性的混合阈值神经元，ASTF机制可以抑制热像素和背景活动（BA）噪声，并使输出事件率标准化，从而确保下游处理的稳定性。为了进一步提高对逼近运动的选择性，我们提出了一种深度调节的时序依赖性可塑性（D-STDP）学习规则。该机制结合了从全局运动线索中提取的深度调节因子，选择性地增强对逼近运动的突触激活，抑制对远离运动的突触激活，并关闭对无关刺激的可塑性。我们在一个包含几何物体、球体和模型车辆运动的多场景数据集上评估了所提出的模型，结果表明该模型在多样且具有挑战性的条件下准确率超过了94%，为开发生物启发的碰撞检测视觉系统提供了一种有前景的方法。

引言

碰撞检测使自主代理能够迅速应对迫在眉睫的威胁，这是安全导航和避障的基础。然而，在多样和动态的环境中实现快速、可靠且节能的碰撞检测仍然具有挑战性，特别是对于资源受限的平台，如移动机器人和无人机（UAV）。生物视觉系统为这个问题提供了优雅的解决方案。一个著名的例子是蝗虫中的lobula giant movement detector（LGMD），它擅长感知逼近物体并触发快速逃避反应（O’Shea, Williams, 1974; Simmons, Rind, 1992）。基于LGMD神经元的架构，多年来已经开发并逐步改进了多种计算模型（Chang, Chen, Hua, Fu, Peng, 2025; Fu, Hu, Peng, Yue, 2018; Lei, Peng, Liu, Peng, Cutsuridis, Yue, 2022; Rind, Bramwell, 1996）。这些基于LGMD的模型在增强自主代理的实时避障和碰撞预测方面取得了显著的成功（Fu, Hu, Peng, Rind, Yue, 2019; Gao, Liu, Wang, Fu, 2024; Salt, Indiveri, Sandamirskaya, 2017; Zhao, Wang, Bellotto, Hu, Peng, Yue, 2021; Zhao, Zhao, Wu, Li, Shuang, 2025）。

与此同时，受生物视网膜启发的神经形态视觉传感器，如动态视觉传感器（DVS）（Finateu et al., 2020），在碰撞检测任务中具有独特的优势。DVS能够异步实时捕捉像素级别的亮度变化，产生具有高时间分辨率、宽动态范围、低延迟和最小运动模糊的事件流（Gallego et al., 2022）。这些特性使DVS能够有效地捕捉细粒度运动信息，这与基于LGMD的碰撞检测模型的功能需求非常吻合。最近的研究探索了将DVS作为输入到基于LGMD的脉冲神经网络（SNN）中，揭示了它们在动态环境中的强兼容性和低延迟碰撞检测潜力（Dai, Fu, Peng, Li, 2024; Deng, Ruan, He, Yang, Guo, 2024; Salt, Howard, Indiveri, Sandamirskaya, 2019; Salt, Indiveri, Sandamirskaya, 2017; Wang, Wang, Qian, 2024）。

尽管DVS和LGMD模型之间存在有前景的协同作用，但这样的集成系统仍然面临两个关键挑战。第一个挑战在于DVS事件流的性质，它通常带有噪声并且事件率波动较大。由于DVS的内部硬件因素，生成的事件流伴随着显著的噪声，包括低频的、空间随机的背景活动（BA）和高频的、空间固定的热像素噪声（Guo, Delbruck, 2022; Xu, Wang, Zhao, Yao, 2023）。为了解决噪声干扰，Wang等人（2024）应用了一种噪声邻域滤波算法，在将事件流输入LGMD网络之前消除了孤立和低频的噪声事件。然而，该方法依赖于固定的滤波阈值，限制了其抑制热像素噪声和适应不同场景下噪声水平的能力，可能导致后续网络中的错误激活。此外，Salt等人（2019）指出，不同的输入场景（如合成的几何逼近刺激和真实世界的逼近物体）会产生广泛变化的事件率，使得固定参数模型难以保持一致的碰撞检测性能。因此，基于DVS的神经系统必须结合能够有效过滤噪声并适应事件率变化的机制，以确保稳定和准确的下游处理。

其次，现有基于SNN的LGMD模型中对突触可塑性的有限利用限制了它们在多样运动场景中保持可靠逼近选择性的能力。Dai等人（2024）通过在ON/OFF通道中引入相位延迟编码和偏心下采样来增强逼近选择性。同时，Deng等人（2024）精确建模了分数脉冲神经元（FSN）电路，以模拟LGMD神经元观察到的多尺度脉冲频率适应（SFA）行为，从而增强了逼近选择性。尽管这些方法从多个角度提高了性能，但利用突触可塑性的努力仍然有限。Salt等人（2019）将经典的时序依赖性可塑性（STDP）机制纳入网络，但在特定条件下仅提供了有限的性能改进。这突显了需要更适合的塑性机制来提高在不同场景下的逼近选择性。

为了克服这些挑战，本文提出了一种基于LGMD的SNN，它在面对不同的事件率和噪声水平时表现出增强的选择性和鲁棒性。受到哺乳动物视网膜中自适应时空处理机制的启发，我们在光感受器层引入了一种自适应时空滤波（ASTF）机制。通过监测输入事件流的全局活动和局部时间波动，该模块能够自适应地调整自适应混合阈值积分-发射（AMTIF）神经元的阈值，有效抑制热像素和BA噪声，并在动态场景中稳定输出事件率。为了进一步提高逼近选择性，我们提出了一种深度调节的时序依赖性可塑性（D-STDP）机制。该机制利用从中间计算中提取的深度运动线索作为第三个调节因子，当检测到逼近运动时选择性地增强突触连接，否则减弱或维持它们。

本文的主要贡献总结如下：

•

我们提出了一种针对事件流的高效生物启发式ASTF机制。通过结合局部和全局自适应阈值，它有效地抑制了噪声并标准化了输出事件率，提高了下游LGMD网络的稳定性和准确性。

•

我们引入了一种新颖的深度调节的STDP（D-STDP）学习规则，该规则利用内在的深度运动线索动态调节突触可塑性。这种无监督学习机制显著增强了网络对逼近威胁的选择性和敏感性。

•

我们构建了一个包含501个通过DVS捕获的多样运动模式样本的多场景事件数据集。实验结果表明，在所有三个测试场景中，所提出的模型准确率均超过了94%。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细介绍了所提出的模型架构。第4节展示了实验结果。第5节讨论了研究结果。最后，第6节总结了本文。

章节片段

哺乳动物视网膜中的自适应时空处理

哺乳动物视网膜不仅作为光感受组织，还作为一个复杂的前端处理器（Tang et al., 2024）。大量研究表明，视网膜电路在将视觉信息传输到更高视觉中心之前，执行复杂的时空整合和自适应调制（Demb, Singer, 2015; Field, Chichilnisky, 2007; Masland, 2012）。至关重要的是，这种处理在多个尺度上运作。在全局层面上，视网膜

网络架构

所提出的模型基于ON/OFF通道LGMD1模型（Fu et al., 2018），并结合了生物启发式机制来增强鲁棒性和选择性。所提出网络的总体架构如图1所示，包括五个层次：光感受器层（P层）、侧向抑制层（LI层）、求和层（S层）、分组层（G层）和LGMD神经元。其中，P层结合了ASTF机制，以增强对噪声的鲁棒性

实验和结果

本节介绍了所提出模型的实验评估。我们首先在理想和真实世界条件下评估了其整体性能。然后分析了ASTF机制和D-STDP学习规则的功能行为。最后，进行了消融研究以量化每个核心组件的贡献。

讨论

生物视觉系统为碰撞检测提供了优雅的计算范式。基于LGMD架构，我们提出的SNN整合了两种关键的生物启发式机制，以模拟它们在动态环境中的卓越鲁棒性和选择性。ASTF机制反映了哺乳动物视网膜电路中的多尺度适应。具体来说，其全局阈值模仿了视网膜增益控制机制，使响应针对整体

结论

在这项工作中，我们提出了一种基于生物启发的LGMD SNN，它结合了ASTF机制和D-STDP在线学习规则。这种组合抑制了DVS噪声，稳定了事件率，并提高了在多样运动条件下的逼近选择性，从而实现了可靠的决策。我们在三个DVS记录的数据集上评估了该模型，获得了稳定的性能（在理想几何刺激上的准确率为95.97%，在嘈杂移动球体上的准确率为94.67%，在模型车辆上的准确率为95.95%）。消融研究证实了

CRediT作者贡献声明

任玉萌：撰写——原始草稿、软件、方法论、调查、形式分析、概念化。赵叶：撰写——审阅与编辑、监督、资源管理、项目协调、资金获取。陈龙：撰写——审阅与编辑、软件。江启航：验证。徐月：验证。王家莉：数据管理。黄迅：数据管理。王翔：可视化。冉航：撰写——审阅与编辑。周玉梅：监督。乔淑珊：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了北京市重大科技项目（合同编号Z241100004224003）的支持。