编辑推荐：
多源光谱数据融合与自监督多任务学习框架用于库尔勒香梨糖度硬度预测，实验表明MTL-CNN在Vis/NIR-NIR融合下糖度R2达0.9576，硬度R2达0.9297，且仅需700样本即可实现>0.9预测精度，较传统STL-CNN及单源模型提升显著。
Youhua Bu|Jianing Luo|Chengxu Gong|Jixiong Zhang|Bin Wu|Dong Wang|Wenchuan Guo
中国陕西省杨陵市西北农林科技大学机械电子工程学院，邮编712100
摘要
为了降低水果品质检测中标记数据的成本，本研究提出了一种深度学习框架，该框架结合了多源光谱数据、自监督学习（SSL）和多任务学习（MTL）。本研究收集了可见光/近红外（Vis/NIR）和近红外（NIR）范围内的光谱数据，并测量了库尔勒香梨的可溶性固形物含量（SSC）和硬度（FI）。分别构建了单任务和多任务学习卷积神经网络（STL-CNN和MTL-CNN），使用Vis/NIR、NIR以及融合光谱来预测库尔勒香梨的SSC和FI。同时，引入了SSL策略，利用未标记的光谱数据进行知识转移，并使用有限的标记数据对CNN模型参数进行微调。结果表明，MTL-CNN的预测性能优于STL-CNN。MTL-CNN（Vis/NIR-NIR）在SSC预测中的相关系数（Rp）和均方根误差（RMSEP）分别为0.9576和0.3657%，而在FI预测中的相关系数和RMSEP分别为0.9297和0.9941。两种模型的性能都优于仅使用单一光谱数据（Vis/NIR和NIR）构建的MTL-CNN。此外，SSL显著提高了在少量样本量下CNN的预测性能。SSL-MTL-CNN（Vis/NIR-NIR）仅使用700个样本进行训练，但在FI和SSC的预测中均获得了超过0.9的相关系数。Rp。总之，将多源光谱数据与SSL-MTL策略相结合可以提高库尔勒香梨品质的预测性能，并为同时检测多种水果品质属性提供了一种有效方法。
引言
库尔勒香梨（Pyrus sinkiangensis）是中国新疆特有的高品质品种，因其独特的风味、丰富的果汁、脆爽的口感和高可溶性固形物含量（SSC）而在全球市场上广受欢迎[[1], [2]]。SSC直接影响水果的甜度和消费者的接受度，是衡量水果品质的关键指标[3]。此外，硬度（FI）在水果的采后供应链中起着重要作用，它不仅决定了最佳的储存条件和运输方法，还直接影响水果的新鲜度和市场价值[4]。然而，传统方法主要依赖于化学分析或机械探针测量，这些方法耗时、具有破坏性，且不适用于大规模应用。因此，开发一种快速、准确且非破坏性的技术来检测库尔勒香梨的SSC和FI对于其采后储存、分级和运输优化以及智能供应链管理具有重要意义。
近年来，光谱技术已广泛应用于水果品质检测领域，如梨[[5], [6]]、苹果[[4], [7]]、猕猴桃[[8], [9]]和桃子[[10], [11]]。在各种光谱技术中，可见光/近红外（Vis/NIR）和近红外（NIR）光谱在水果SSC和FI预测方面表现出色，因为它们具有更强的穿透能力、更低的仪器成本，并能够揭示水果的内部化学成分和组织结构[12]。可见光范围主要反映表面颜色信息，而近红外范围更有效地捕捉内部化学成分[13]。然而，大多数现有研究依赖于单一光谱源或建模策略，限制了利用互补信息的能力，从而影响了预测性能。因此，结合Vis/NIR和NIR的多源光谱融合已成为提高预测性能的有效策略。最近的研究定量证明了多源光谱融合在水果品质预测中的优越性。Puneet和Passos[14]结合了两个便携式光谱仪（400–1000 nm和900–1700 nm）来预测梨的品质，与单光谱仪模型相比，预测相关性更高，均方根误差（RMSE）降低了约6.5%。同样，Gutiérrez等人[15]融合了Vis/NIR（570–1000 nm）和NIR（1100–2100 nm）光谱进行葡萄成分建模，获得了更高的预测相关性和更低的误差。Zhang等人[16]使用融合的Vis/NIR（450–780 nm）和NIR（783–1050 nm）光谱提高了芒果干物质含量的测试集准确性。Cevoli等人[17]将Vis/NIR（400–1000 nm）高光谱成像与FT-NIR（800–2500 nm）光谱结合，用于预测猕猴桃的SSC和FI，获得了0.914和0.843的测试集决定系数。这些结果一致表明，多源光谱融合提高了不同水果和光谱配置下的预测准确性和鲁棒性。
目前，单任务学习（STL）方法广泛用于水果品质的光谱建模中的SSC或FI预测。然而，STL需要为每个品质属性分别构建模型，降低了实际应用效率。先前的研究表明，结合卷积神经网络（MTL-CNN）的MTL在水果品质预测方面的性能优于传统的单任务学习（STL）模型。Shi等人[5]开发了一个MTL-CNN，可以同时预测梨的SSC、FI和可滴定酸度（TA），所有指标的RPD值均超过4，超过了带有预处理和特征选择的传统机器学习模型。Bu等人[16]应用MTL-CNN预测桃子的SSC、FI和DMC；与STL-CNN相比，FI和DMC的RMSE分别降低了0.0256和0.0719%，而SSC的RMSE仅略微增加了0.0192%，这突显了MTL在多指标预测中的稳定性。Zou等人[18]提出了一个MTL-CNN的任务亲和度评估框架，能够选择适合同时预测的属性，使桃子数据集的RMSE降低了1.7–27.3%，验证相关系数提高了2.6–3.3%。尽管如此，MTL仍然严重依赖于大规模的标记数据集，而这些数据集的获取成本高昂且耗时，尤其是对于SSC和FI等破坏性测量[[4], [12]]。为了解决这个问题，自监督学习（SSL）最近受到了广泛关注，它可以使用大量未标记的光谱数据进行特征学习，然后使用少量标记数据进行微调，从而提高模型的泛化能力[19]。一些研究已成功将SSL应用于小数据集上的模型性能提升，例如芒果的干物质预测[20]、苹果的FI预测[4]、茶叶分类[21]和玉米品种识别[22]。然而，现有的SSL应用主要集中在单任务场景，其在多源光谱融合下增强多任务预测的潜力尚未得到系统探索。
基于上述情况，显然需要一个统一的框架，该框架结合了多源光谱融合、SSL和MTL，减少对标记数据的依赖，同时提高预测准确性和泛化能力。基于这一动机，本研究提出了一个双通道自监督多任务学习框架，结合Vis/NIR和NIR光谱数据，同时预测库尔勒香梨的SSC和FI。这种方法为在标记数据有限的情况下同时检测多种水果品质属性提供了一种新颖且高效的解决方案。主要目标如下：（1）研究光谱数据融合对预测库尔勒香梨SSC和FI的影响；（2）开发STL-CNN和MTL-CNN模型，评估MTL对库尔勒香梨SSC和FI预测性能的影响；（3）引入SSL并评估其在标记数据有限条件下的学习效率和泛化能力；（4）验证所提出的MTL-CNN与传统MTL模型的性能。
样本准备
样品准备
2024年9月，从新疆维吾尔自治区的果园中采集了库尔勒香梨。考虑到梨的大小差异，并参考当地库尔勒香梨的标准，选择了400个样本，包括大、中、小三种尺寸的样本，总共1200个样本（图1(A)）。所有选定的样本形状均匀，没有可见疾病或机械损伤。根据质量分级标准DB收集了三种不同尺寸的样本
品质的统计分析
图4展示了梨的SSC和FI分布及其与颜色参数（L*, a*, b*）的相关性。梨的SSC范围为9%至16.2%，平均值为12.4%±1.11%（图4(A)）。FI的范围为12.48 N至33.48 N，平均值为32.77 N±2.56 N（图4(B)）。校准集的SSC和FI范围分别为9.1–16.2%和12.48–33.48 N，而预测集的范围分别为9.0–15.0%
结论
本研究提出了一种结合多源光谱数据融合、SSL和MTL的深度学习框架，并验证了其在库尔勒香梨的FI和SSC预测中的有效性。结果表明，多源光谱数据融合策略可以提高模型性能。MTL-CNN#2（Vis/NIR-NIR）在FI（Rp = 0.9297, RMSEP = 0.9941 N, RPD = 2.5183）和SSC（Rp = 0.9576, RMSEP = 0.3657%, RPD = 2.9893）的预测准确性方面表现最佳。除了FI预测
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了陕西省重点研发项目（编号：2025CY-YBXM-642和2025NC-YBXM-165）、杨陵示范区科技计划项目（编号：2025CYFZ-15）以及新疆维吾尔自治区重大科技项目（编号：2024B02020-2）的支持。
