《Food Control》：A lightweight network for non-destructive and precise prediction of loquat bruising volume based on RGB images
编辑推荐：
青果表面瘀伤检测与体积估算模型LB-YOLO结合CT扫描与改进YOLOv9，实现98.9%表面分割精度和94.31%体积预测准确率，适用于边缘设备部署。
徐长苏|冯柳燕|黄向飞|陈朗|朱明辉|李云武
中国重庆西南大学工程技术学院，400715
摘要
碰伤是导致园艺作物经济损失的最关键因素之一，因为它可能发生在收获、运输和加工过程中。最近的研究将深度学习应用于碰伤检测，但大多数研究仅关注表面分析，而传统的光学成像虽然可以量化碰伤体积，但其成本过高，无法大规模应用。为了解决这个问题，本文提出了基于YOLOv9的改进模型LB-YOLO，该模型结合了扩展窗口多头自注意力（EW-MHSA）和深度可分离卷积（DW-Conv）技术，以提高效率和精度。LB-YOLO能够检测枇杷表面的碰伤区域，并通过计算机断层扫描（CT）分析建立的表面碰伤面积比与碰伤体积比之间的关联模型来估算碰伤体积比。该模型处理870×580像素的RGB图像，并输出碰伤表面面积比和估算的碰伤体积比。实验结果表明，与其他基于YOLOv9的模型及常用的语义分割模型相比，LB-YOLO具有更好的综合性能。其表面碰伤分割准确率达到98.9%，平均检测速度为每张图像18.1毫秒。同时，碰伤体积比的平均预测准确率为94.31%。在边缘设备上的部署实验进一步证实了其在实际环境中的可靠性能。这项研究为园艺作物碰伤的高效、无损量化提供了重要见解，这可能成为未来精准水果分级领域的一个重要研究方向。
引言
枇杷是一种营养丰富的水果，在多个温暖气候国家和地区广泛种植（Kong等人，2023年）。在成熟过程中，枇杷的果皮较薄，果肉柔软多汁，内部含有较大的种子，因此在收获、运输和加工过程中容易受到撞击、挤压或振动的影响而产生碰伤（Yin等人，2022年；Zhou等人，2017年）。碰伤问题会导致品质下降，增加腐烂的风险，从而影响消费和销售（Munera等人，2021年）。
水果碰伤的本质是在外力作用下，果肉细胞受损，导致水分和果汁流失，果肉组织迅速软化，并在受伤部位出现褐变（Mei & Li，2023年；Sun等人，2023年）。碰伤不仅发生在表面，还会深入果肉内部，并形成一定的体积（Fu等人，2023年）。由于碰伤形状不规则且无法直接观察，因此采用了多种方法进行检测。传统方法是通过沿碰伤区域中心切割水果，手动测量关键参数，然后代入数学公式计算碰伤面积和体积。这种方法将碰伤截面简化为圆形或椭圆形，并基于经验公式进行计算，但存在一定的误差并对水果造成破坏性影响（Bollen等人，1999年；Lewis等人，2007年；Lu & Wang，2007年）。
随着数值模拟技术的发展，计算机模拟方法也被应用于碰伤研究。这种方法通常包括使用逆向工程软件重建水果的尺寸，根据水果特性选择合适的物理模型，并为其赋予新鲜水果的物理参数。通过施加冲击、挤压或振动来诱导碰伤，从而研究碰伤生成机制、可视化模型以及最终的碰伤形态，许多能量指标也是可量化的（Chavoshi等人，2023年；Gao等人，2018年；Xu等人，2023年）。但由于水果碰伤问题的复杂性和物理特性的多样性，这种方法往往简化了水果的属性，忽略了在假设单一均匀体时的许多必要特征（Zheng等人，2023年）。
此外，还广泛利用基于声音、光、电、热和磁等技术的无损方法来评估水果质量。例如，Di Natale等人（2006年）应用电子鼻技术，利用二氧化碳和乙烯作为呼吸作用和成熟度的指标来反映水果的机械损伤。Lu等人（2021年）利用机器视觉技术对腌制黄瓜进行缺陷检测和分类，而Ni等人（2021年）结合三维重建技术估算蓝莓的体积。Cai等人（2023年）和Wu等人（2023年）分别使用近红外高光谱成像技术选择有效波长来检测富士苹果和灵武长枣的碰伤。Olisah等人（2024年）采用可见光和近红外光谱技术，利用堆叠通用集成框架训练卷积神经网络来检测黑莓的细微成熟特征。
X射线CT技术作为一种有吸引力的方法出现（Rozefelds等人，2017年）。该方法可以捕捉水果内部组织的密度、水分和气泡分布的变化，从而区分碰伤组织和健康组织。它已被用于分析微观结构（Du等人，2020年）、表征形态特征以及识别和分类水果内部缺陷。Arendse等人（2016年）使用CT扫描作为无损技术来表征和量化石榴的内部结构和物理特性。Joseph等人（2023年）利用基于X射线CT的孔隙成像和空间分辨光谱技术来研究整个梨的孔隙率和光学特性，探讨了孔隙率与光散射特性之间的关系。这些研究证实了X射线CT在无损检测园艺产品方面的实用性；然而，该方法成本较高且效率较低。因此，开发灵活的策略将这种技术与新的快速高效检测内部碰伤的方法结合，仍然是亟待解决的问题。
随着人工智能的快速发展，计算机视觉技术已广泛应用于水果检测和碰伤分割。在这些应用中，以YOLO系列算法为代表的目标检测方法尤为突出，成为研究的焦点。Ni等人（2022年）开发了一个Web应用程序，可以快速准确地识别蓝莓内部的碰伤。Lin等人（2023年）应用了改进的YOLOv5s网络，通过加入冷刺激来提高苹果碰伤检测的灵敏度。Meng等人（2023年）提出了一种时空卷积神经网络模型，利用移位窗口变换器与区域卷积神经网络结合，用于在收获过程中检测菠萝。Li等人（2024年）引入了一种轻量化的修改版YOLOv5s模型，适用于白天和夜间补光条件下的龙果检测。Chen等人（2024年）开发了一种视觉算法，用于果园中水果收获机器人的运动路径估计、实时自我定位和动态采集。Castillo-Girones等人（2024年）探索了高光谱成像和深度学习算法在430-1000纳米范围内早期检测李子不可见碰伤的潜力。
总之，目前的机器视觉方法在无损检测水果碰伤方面仅限于检测和分割表面碰伤，无法有效识别内部损伤，这给精确量化带来了挑战。相比之下，超声波、激光和光谱等无损技术可以获得内部信息，但它们成本较高，操作复杂且灵活性有限。尽管CT技术可以无损地穿透并准确捕捉内部碰伤信息，但不适合大规模的产后处理，这限制了其在产后处理和储存中的广泛应用。因此，目前仍缺乏既经济又能全面获取水果表面和内部碰伤信息的有效方法。
本研究旨在结合CT技术和计算机视觉的优势，提出一种无损检测枇杷碰伤的方法。它将利用CT扫描获得的碰伤信息构建数学模型，同时利用基于视觉的方法快速检测表面碰伤。通过将数学模型与表面碰伤检测结果相结合，可以有效地估算枇杷内部的碰伤情况。本研究解决了现有技术在灵活性和成本方面的局限性，为枇杷的储存和销售提供了一种经济高效的无损检测解决方案。本研究的主要创新贡献如下：a) 构建了枇杷碰伤数据集，并介绍了LB-YOLO网络，并比较了不同网络模型的碰伤表面分割性能；b) 使用X射线CT扫描仪准确获取枇杷的实际表面和内部碰伤特征；c) 建立了枇杷碰伤面积比与实际碰伤体积比之间的映射关系；d) 验证了LB-YOLO网络基于CT扫描结果估算碰伤体积比的准确性。
数据集获取与处理
实验中使用了“吴兴”品种的枇杷进行碰伤实验和图像采样。共选择了688个在48小时内收获的新鲜枇杷作为实验材料（376个用于碰伤表面面积识别模型训练和测试，312个用于碰伤体积实验）。为了丰富实验数据集，每个枇杷从0.5到2米的高度随机掉落一次，以产生不同程度的碰伤。
消融研究结果
在本研究中，选择YOLOv9-s-dseg作为基础网络，并对其主干网络进行了改进。使用原始的枇杷碰伤图像训练数据集以及扩展的数据集，对不同模型进行了消融实验。YOLOv9-c-dseg简称为v9c，YOLOv9-s-dseg简称为v9s，YOLOv9-s-DW-Conv-dseg仅在主干网络中使用DW-Conv模块，简称为v9s-DW-Conv，YOLOv9-s-CSP-ELAN-iRMB-dseg仅在...
结论
收获后识别和分类枇杷表面的碰伤对于提高其经济价值和去除表面缺陷至关重要，可以有效降低工业运输和储存过程中的污染风险。本研究采用LB-YOLO深度学习模型实现了高效的碰伤分割检测，在测试集上的准确率达到98.9%，mAP0.5:0.95为0.808，IoU阈值为0.5到0.95，平均推理速度为每张图像18.1毫秒。
CRediT作者贡献声明
黄向飞：撰写 – 审稿与编辑、验证、软件开发。冯柳燕：撰写 – 审稿与编辑、方法论、调查。徐长苏：撰写 – 审稿与编辑、初稿撰写、软件开发、资金筹集、概念构思。陈朗：可视化、验证、软件开发。李云武：撰写 – 审稿与编辑、监督、资金筹集。朱明辉：可视化、验证、数据整理
未引用参考文献
Castillo-Gironés等人，2024年。
数据可用性
本文中使用的自建枇杷数据集已发布在GitHub上：
https://github.com/XiangfeiHuang0213/Dataset-for-Loquat/tree/master利益冲突声明
? 作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了中央高校的基础研究资金支持，[项目编号：SWU-KQ24038]。
