《Scientific Data》：An underwater image dataset for occlusion-aware fish instance segmentation
编辑推荐：
本研究聚焦水下智能养殖中鱼类视觉感知的核心难题——鱼类重叠造成的严重遮挡阻碍了精准实例分割。为解决此问题，作者团队构建了一个大规模、细粒度标注的水下鱼类遮挡数据集Fish Occlusion Dataset (FOD)，并在此基准上系统评估了多种实例分割模型，最终发现Mask2Former在严重遮挡场景下表现最佳，为发展鲁棒的水下生物感知技术提供了关键数据与评估基准。
在广阔而神秘的海洋与水产养殖场中，准确“看清”并识别每一条鱼，是智能化养殖、生态监测和海洋研究的基础。然而，现实往往比理想骨感——水下的鱼儿并非总是规规矩矩地排排坐，它们会成群游动、相互交叠，形成复杂的遮挡场景。这导致了一个在计算机视觉领域颇具挑战性的问题：如何从一张水下图片中，精准地分割出每一条被部分甚至完全遮挡的鱼？这不仅要求算法能“认出”鱼，还要能精确勾勒出每条鱼被遮挡后剩余的轮廓。遗憾的是，现有技术在这一难题面前常常“失灵”，而一个核心的瓶颈在于，缺乏专门针对“遮挡”这一严苛条件设计的大规模、高质量标注数据集。
为了破解这一困局，来自中国农业大学涿州精准水产养殖基地的研究团队，开展了一项旨在推动遮挡感知鱼类实例分割技术发展的研究。他们系统性地构建了一个前所未有的专业数据集——鱼类遮挡数据集（Fish Occlusion Dataset, FOD），并以此为基础，对当前主流的实例分割模型进行了全面的“压力测试”，最终找到了在严重遮挡环境下表现最为鲁棒的模型。这项意义深远的工作已发表在《Scientific Data》期刊上。
研究者们采用了几个关键方法来完成这项研究。首先，是数据集的精心构建：他们在真实养殖环境中采集了大量原始水下图像，并进一步合成了更多样化的遮挡场景图像，最终形成了包含14,376张图片和144,894个精细标注的鱼类实例的FOD数据集。每个实例都根据遮挡程度被精细地标注为“整体”、“部分”和“碎片”三个等级。其次，是严谨的标注流程：所有标注工作均由经过培训的学生在专家监督下手工完成，确保了数据的一致性与高精度。最后，是系统的模型基准测试：他们选取了八种具有代表性的实例分割模型（涵盖基于检测和无提议框两种主流架构）在FOD上进行了性能评估与对比。
数据集构成与特性
研究人员构建的FOD数据集是一个专为遮挡场景设计的大规模资源。它不仅包含了在真实养殖池中拍摄的原始图像，还通过合成技术生成了更多具有复杂遮挡模式的图像，极大地丰富了数据多样性。数据集的核心价值在于其精细的三级遮挡标注体系（整体、部分、碎片），这使得研究者能够从粗到细、分层次地评估模型在不同遮挡难度下的性能表现，为算法优化提供了明确的靶点。
基准模型性能评估
为了检验FOD的实用性与挑战性，研究团队在数据集上对八种主流实例分割模型进行了横向评测。这些模型代表了该领域的不同技术路线，包括Mask R-CNN、Cascade Mask R-CNN等基于检测的架构，以及SOLOv2、Mask2Former等提案无关（proposal-free）的架构。性能评估采用了平均精度（Average Precision, AP）等通用指标，并特别关注了模型在不同遮挡等级下的表现差异。
结果分析
全面的评测揭示了一些有趣的发现。总体而言，在FOD数据集上，所有模型在“整体”鱼类（无遮挡或轻微遮挡）上的分割精度都显著高于“部分”和“碎片”级别，这印证了遮挡确实是实例分割的主要难题。横向对比显示，Mask2Former模型脱颖而出，取得了最高的综合分割性能。更深入的分析表明，Mask2Former在处理“严重遮挡”（即“碎片”级别）的鱼类实例时，其优势尤为明显。这暗示了其独特的基于Transformer的架构和掩码注意力机制，可能更善于从支离破碎的视觉线索中整合全局信息，从而更好地处理复杂遮挡。
这项研究通过构建首个专门面向鱼类遮挡实例分割的大规模、细粒度标注数据集FOD，为水下计算机视觉社区提供了一个至关重要的基准平台。它不仅解决了该领域数据匮乏的痛点，其三级遮挡标注体系更为算法性能的细粒度评估树立了新标准。基于FOD的模型基准测试结果表明，现有模型在严重遮挡下仍面临巨大挑战，而Mask2Former展现出了相对更强的鲁棒性。这些发现不仅为后续研究指明了方向——即开发更强大的、遮挡感知的实例分割模型，也直接服务于智能水产养殖的实践，为实现高精度的自动化鱼类计数、行为分析和健康监测提供了坚实的数据与方法论基础，对推动海洋科学研究和蓝色经济发展具有积极意义。
