在复杂的农业环境中，利用具有细节感知能力的Transformer对草莓成熟度进行基于视觉的定量评估

草莓成熟度检测面临果实形态、规模差异、复杂背景及外观连续变化挑战，本研究提出DAPT-DETR框架，采用多路径特征融合、自适应小果特征融合及高效注意力机制提升检测性能，结合二维高斯椭圆分布的混合形状感知损失函数优化模型，并构建含7700张图像、85,601个标注的大规模跨场景数据集验证，实验显示AP达80.6%、APs达56.1%，有效支持自动化分级系统。

　　

摘要

在现代农业中，准确客观地测量草莓的成熟度对于确保采后品质、营养价值以及及时收获至关重要。然而，现有的检测方法在真实农业环境中的能力有限，常常受到果实形态、尺寸变化、复杂背景以及成熟过程中外观持续变化的限制。为了解决这些挑战，本研究将草莓成熟度检测定义为一种细节感知任务（DAPT），并提出了一个端到端的框架DAPT-DETR。在这种任务中，检测器不仅需要定位草莓的位置，还需要捕捉与成熟度相关的细微外观差异，而不仅仅是确定物体的存在和位置。该框架采用了多路径特征融合结构来提高对具有细微成熟度差异或被叶子遮挡的果实的识别能力；采用了一种自适应的小果实特征融合方法来增强对小型且分布密集的果实的检测；以及一种高效的注意力机制，在复杂的田间条件下实现稳健的全局特征建模。此外，还开发了一种基于二维高斯椭圆分布的混合形状感知损失函数，以更好地捕捉果实形态并减少背景干扰。为了评估所提出的方法，构建了一个大规模的跨场景草莓成熟度数据集，包含7,700张图像和85,601个标注实例，这些数据来自温室、塑料隧道、露天土壤栽培和悬挂栽培系统，涵盖了多种气候和管理条件。草莓成熟度根据果实表面红色覆盖的比例被分为三个等级（未成熟、转熟和完全成熟）。实验结果表明，DAPT-DETR的准确率（AP）为80.6%，平均精度（AP_S）为56.1%，超过了主流检测算法，同时保持了相对较低的计算复杂度。总体而言，所提出的方法为复杂农业环境中的草莓成熟度评估提供了一种非破坏性的定量工具，为自动化分级系统提供了可靠的支持，并有助于提高水果生产和供应链的一致性和质量。

图形摘要