早期苹果霉变果心的多模态感知与SE-ResNet18分类方法

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Early apple moldy core classification via multi-modal sensing and SE-ResNet18

　　王瑞峰|李娜|马学霞|朱宁华|李婷婷|马佳雪|张忠雄|王松雷|李海峰
宁夏大学食品科学与工程学院，中国银川750021

**摘要**
苹果霉心病是一种主要的病害，会严重降低苹果的采后品质，其早期的内部病变无法通过外观观察直接识别。为了实现高效且无损的早期诊断，本研究提出了一种多模态图像编码方法，该方法结合了可见近红外光谱（Vis-NIR）和电子鼻（E-nose）数据，并通过SE-ResNet18深度学习模型进行疾病分类。利用Gramian角场（GAF）、马尔可夫转移场（MTF）和递归图（RP）等编码技术，将一维时间序列和光谱数据转换成图像表示，从而可视化它们的时空模式并增强与疾病相关的细微特征。在此基础上，构建了一个基于通道注意机制的双分支SE-ResNet18模型，以提高特征表达能力并实现有效的模态融合。实验结果表明，该多模态融合模型的分类准确率为95.93%，显著优于单一模态方法，验证了多源信息的互补性。消融实验进一步表明，SE注意力模块在特征校准和模态平衡中起着关键作用。信息熵分析显示，所提出的方法在特征提取过程中有效增强了信息的区分度。本研究为农产品的早期无损检测提供了一种具有明确理论基础和可靠性能的解决方案，具有良好的应用前景和推广潜力。

**引言**
苹果霉心病是苹果产业中常见的内部病害，在储存期间容易导致大规模感染[12]。该病害在早期阶段没有明显的外部症状，使得传统的外观检测方法难以发现病变。结果，大量受感染的苹果进入市场，不仅给果农和分销商带来严重的经济损失，还可能对消费者健康构成威胁[15]。由于病变发生在果实内部，传统的视觉检测方法无法实现准确的早期诊断。如果在储存期间不及时识别出具有早期霉心病的苹果，内部果核的霉菌腐烂将持续发展，导致进一步的水果腐烂和周围健康果实的交叉感染，最终造成重大经济损失。因此，实现早期霉心病苹果的准确检测具有重要的实际价值和紧迫性，开发无损、快速、高精度的检测技术尤为重要。目前，以可见近红外（Vis-NIR）光谱和电子鼻（E-nose）为代表的检测技术已在农产品质量和安全领域得到广泛应用，显示出良好的应用潜力[13]。

近年来，无损检测技术在农产品质量检测方面显示出了显著潜力[6]。Vis-NIR光谱可以无损获取农产品内部化学成分的信息，并成为检测水果内部品质和病害的有效方法之一[27][31]。Wang等人[27]通过分析患霉心病苹果不同区域的光学特性，优化了光谱检测方法并提高了信号采集的准确性。Jiang等人[8]基于Vis/NIR透射光谱实现了早期霉变苹果的无损在线检测。此外，这项技术还可以与其他检测方法结合，以提高检测系统的可靠性。Liu等人[15]将Vis-NIR光谱与声学方法结合，用于苹果霉心病的在线检测。Chen等人[2]进一步探索了融合声学和Vis-NIR技术的可行性，推动了多信息融合检测方法的发展。电子鼻是一种动态气体检测技术，模拟生物嗅觉系统，通过气体传感器阵列实时检测和分析挥发性有机化合物（VOCs），可以实现气味识别、浓度量化及状态预测等功能[23]。这项技术在农产品质量检测领域取得了显著进展。例如，Guo等人[5]使用电子鼻系统检测并预测了苹果上的Penicillium expansum腐烂及其感染情况，并通过竞争自适应重采样（CARS）方法优化了偏最小二乘（PLS）模型，校准相关系数（Rc）达到0.953。同样，Martínez[17]基于特定批次的电子鼻传感器数据，在整体外部样本中的识别准确率超过87%，对于早期真菌感染的样本识别率高达97%。此外，该技术还应用于其他农产品的质量监测。例如，Yan和Lu[30]通过结合PEN3电子鼻系统和深度学习算法实现了大米质量的高精度识别。Hou等人[7]利用电子鼻成功监测了脐橙在不同生长阶段的酚酸含量和抗氧化活性的动态变化。Martínez等人[18]基于电子鼻检测了油桃的褐腐病感染气味，并能以96%的准确率区分健康、早期感染和晚期感染的样本。然而，单一技术仍存在固有局限性。Vis-NIR光谱对病变的局部细微特征敏感度不足，而电子鼻难以捕捉与病理变化相关的物理结构信息，因此在全面反映苹果内部病理变化方面存在一定限制[35]。

研究表明，将机器学习与高光谱成像结合显著提高了复杂组织环境中的诊断精度[9]。此外，使用带选择光谱成像进行早期内部病变识别的有效性已有充分文献支持，为本研究采用的无损方法提供了明确的先例[24]。使用先进的卷积神经网络（CNN）架构捕捉高维光谱数据集中的细微特征，也为这里提出的多模态融合策略提供了关键技术基础[11]。深度学习在农业领域展现了强大的应用潜力[22]。尽管卷积神经网络（CNN）在图像分类方面表现优异，但在复杂农业场景中，传统的多尺度特征融合方法仍存在局限性。特别是在处理表型异质性显著的病害时，往往难以有效协调局部特征与全局特征之间的关系[27]。为了充分利用深度学习在特征提取方面的优势，一种可行的方法是将一维（1D）数据转换为二维（2D）图像表示。在时间序列分析中，提出了多种序列到图像的方法，如Gramian角场（GAF）[4]、马尔可夫转移场（MTF）[26]和递归图（RP）[19]。由于Vis-NIR光谱和电子鼻的响应数据在数据结构上类似于时间序列，这些方法近年来已被引入农业信息检测领域[3][31]，为后续的深度特征提取提供了更丰富的表征基础。在模型架构方面，尽管深度学习具有强大的自动特征提取能力，但其常用的softmax分类器对输入值范围较为敏感，极端值容易使输出置信度集中在某一类别上，从而影响模型的泛化性能。为此，研究者提出了多种结构改进方案。例如，Zhao等人[34]通过结合声学振动检测、图像编码和混合深度学习模型，实现了早期霉心病梨的有效识别；Liu等人[14]设计了CT-CLIP框架，这是一种融合CNN和Transformer的多分支结构，用于苹果叶病害的识别。在主干网络优化方面，ResNet18凭借其预激活残差块结构，在小样本量的柑橘水果分类中表现良好[21]。为了进一步提升特征表达能力，SE-ResNet18引入了挤压激活（SE）注意力机制，使模型能够通过动态加权通道特征来关注关键信息。类似的方法也在其他领域得到了验证。例如，在基于电子鼻的慢性阻塞性肺病诊断中，SE-RelationNet通过融合残差结构、双向门控循环单元（BiGRU）和SE注意力机制显著提高了特征区分能力[29]。因此，针对苹果霉心病早期检测的迫切需求和单一模态数据的局限性，本研究旨在构建一个高精度的多模态融合检测模型。具体目标如下：（1）通过图像编码技术将Vis-NIR光谱和电子鼻响应的一维时间序列信号统一转换为二维图像表示，解决异构数据的融合问题；（2）采用具有注意力机制的SE-ResNet18模型进行深度特征提取和分类，提高模型捕捉疾病关键区分特征的能力；（3）基于信息熵理论分析多模态融合模型的分类决策机制，提高模型的可解释性。

**材料**
本研究选择富士苹果作为研究对象。所有苹果均由中国银川西京路果园的经验丰富的果农于2024年10月24日现场手工采摘（106.3563°E, 38.2929°N）。为确保实验重复性和数据可靠性，具体样本筛选和预处理操作如下：共选取了250个大小均匀、无表面缺陷的苹果。

**结论**
为了解决苹果早期霉心病的无损检测挑战，本研究提出了一种集成Vis-NIR光谱和电子鼻数据的多模态图像编码方法，并结合SE-ResNet18模型进行分类。实验表明，该方法有效聚集了双模态信息的互补性，分类准确率达到96.00%，比最优单一模态GADF方法高出2.33%。