EF-YOLO：基于事件融合的YOLO框架，用于精确量化斑马鱼的行为数据

《Biomedical Signal Processing and Control》：EF-YOLO: Event fusion-based YOLO framework for accurate zebrafish quantification

基于事件相机的斑马鱼动态计数框架，融合多模态事件图像表示（二进制、事件计数、极性加权灰度、累积帧），结合YOLOv5轻量级检测、卡尔曼滤波跟踪及短窗口统计优化，实验在100个3秒动态测试段中实现97.95%平均准确率，有效解决遮挡和密集场景下的计数难题。

　　

Ming Li|Cong Liu|Ying Zhao|Qianghua Chen|Huiyu Wang|Yudong Zhang

上海电技大学电子信息学院，中国上海201306

摘要

斑马鱼是一种广泛使用的生物医学模型，但由于个体体积小且经常相互遮挡，自动化、可靠的种群数量统计仍然具有挑战性。我们提出了一种基于事件相机的斑马鱼计数框架，该框架利用动态视觉传感器（DVS）的微秒级时间分辨率和事件融合策略，能够可靠地估计实验室水箱中的斑马鱼数量。原始事件流被重建为四种互补的表示形式——二值、逐像素事件计数、极性加权灰度和累积帧——并融合成一种混合模式图像，保留了空间定位、活动密度和时间连续性。我们使用轻量级的YOLOv5检测器在融合的事件帧中定位个体。通过卡尔曼滤波器和匈牙利算法跟踪检测结果，以在短暂遮挡期间保持个体身份的准确性。为了解决因遮挡或密集聚集导致的瞬时计数不足问题，我们应用了短窗口统计聚合方法，并使用四舍五入规则最终确定斑马鱼的数量。在100个不重叠的3秒混合模式测试片段中的实验结果表明，我们的方法平均准确率为97.95%，在准确性和部署便捷性方面显著优于现有方法。这一框架为动态环境中的斑马鱼数量统计提供了稳健高效的解决方案。

引言

斑马鱼因其基因组和组织生理特性与人类相似，以及对药物和毒素的反应相似而被广泛应用于生物医学研究[1]。它们体积小、繁殖率高且饲养成本低，特别适合大规模研究[2]。因此，建立准确且自动化的斑马鱼数量统计方法对于确保实验室高效运作至关重要。

现有的数量统计方法主要分为两类：手动计数和自动化计算机视觉解决方案。手动计数速度慢、容易出错，并可能对动物造成压力[3]。相比之下，计算机视觉方法提高了速度和准确性，同时减少了对人工干预的需求[4]。深度学习的进步使得快速定位个体和稳健估计种群动态成为可能，从而提高了水生生物量估计的准确性[5]、[6]。

现有的基于视觉的数量统计方法主要依赖于光学相机或成像声纳，传感器的选择通常取决于操作环境和所需的空间分辨率。Francisco J. Silvério等人[7]提出了一种斑马鱼计数方法，该方法结合了光学相机和高斯混合模型（GMM）背景减除技术和斑点计数技术。尽管针对斑马鱼的特定检测算法在文献中相对较少，但许多通用的鱼类种群评估方法显示出对该模式生物的适应性潜力。Costa等人[8]使用双目相机捕捉金枪鱼的水下视频，并提取了多种生物测量数据来分析金枪鱼的数量。Shahrestani等人[9]使用自适应分辨率成像声纳记录了59小时的数据，成功以超过94%的准确率计数了鱼类。Jing等人[10]在水下部署了双频识别声纳来获取声纳图像并估计鱼类数量。Chang等人[11]通过检测来自声纳和双目图像的重叠三维点云区域来确定计数区域，然后计算网箱内特定鱼类的数量。Hernández-Ontiveros等人[12]采用二值化方法检测鱼类轮廓，提取了面积、周长等特征，并通过设置面积和周长阈值实现了观赏鱼的自动计数。

准确统计斑马鱼的数量仍然具有挑战性，因为单个鱼体很小（通常长度为3-5厘米），在图像帧中占据的像素非常少，这严重限制了传统基于帧的机器学习方法的性能[13]。在这项研究中，我们开发了一种基于事件相机的斑马鱼计数方法，该方法利用具有微秒级时间分辨率的动态视觉传感器（DVS）来捕捉运动轨迹。通过将运动动态作为主要信息来源，所提出的方法在低分辨率和视觉复杂的实验环境中表现出强大的鲁棒性。斑马鱼计数的工作流程如图1所示。

本工作的主要贡献如下：（1）我们利用DVS技术以微秒级的时间精度捕捉运动事件，从而能够在动态环境中可靠地跟踪小型生物；（2）我们设计了一种以运动信息为中心的计数流程，而不是静态纹理，从而提高了斑马鱼数量估计的准确性；（3）我们提出了一种混合模式事件融合方法，将四种互补的事件表示形式（二值、计数、灰度和累积模式）融合成单一的“灰度背景+绿色事件”图像，同时保留了空间定位、活动密度和时间连续性的关键信息，从而增强了斑马鱼检测和计数的鲁棒性；（4）我们引入了一个短时间窗口统计优化模块，减少了由遮挡和反射引起的瞬时误差，使得群体大小估计更加稳定，并在准确性和部署便捷性方面优于现有方法（见图1）。

章节片段

鱼类维护

斑马鱼在上海电技大学（SDJU）的自循环系统中进行饲养。本研究遵循ARRIVE指南进行。所有方法均符合相关指南和规定。所有实验方案均获得了上海电技大学的批准。

事件相机

事件相机是一种受生物启发的传感器，它捕捉亮度变化而不是在固定时间间隔内记录连续的图像帧[14]。每个像素都

单图像量化

为了验证检测性能，我们收集了500秒的事件流数据，并使用与训练集相同的提取方法生成了每种模式的100张代表性帧。这些独立的测试图像使用特定模式的预训练模型进行处理，其定量准确结果总结在表2中。

如表2所示，尽管混合模式方法取得了最高的准确率，但仍存在两个误差来源：遮挡伪影和

结论

我们提出了一种基于事件相机的斑马鱼计数框架，该框架融合了多种事件衍生的图像表示形式，执行自适应跟踪，并应用了短窗口统计优化。通过结合混合模式事件融合、YOLOv5检测、卡尔曼滤波器预测、匈牙利分配和时间聚合，该方法在频繁遮挡和复杂游动行为下仍能获得稳健的种群估计。短时间窗口统计步骤通过

数据可用性

本研究中生成和分析的数据集可在以下链接获取：https://drive.google.com/drive/folders/1hY02CWqQ9Jk1oxvtLhNb0LlOMY_gLkF_?usp=sharing。

作者贡献声明

Ming Li：撰写——审稿与编辑、方法论、资金获取。Cong Liu：撰写——审稿与编辑、验证。Ying Zhao：数据管理、概念化。Qianghua Chen：撰写——初稿、软件开发。Huiyu Wang：资源管理、项目协调。Yudong Zhang：撰写——审稿与编辑。

资助

本工作部分得到了上海教育科学研究一般项目（项目编号：C2025084）和上海“科技创新行动计划”社会发展科技攻关项目（项目编号：21DZ1205000）的支持。（通讯作者：Qianghua Chen）

利益冲突声明

作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。