《LWT》:Deep learning method of visible and near-infrared spectroscopy considering small sample learning and prediction uncertainty assessment to detect soluble solids content of mandarin
编辑推荐:
本研究针对小样本场景下可见-近红外光谱检测柑橘可溶性固形物含量存在的模型泛化能力不足及预测不确定性评估缺失问题,创新性地提出了融合离散小波变换特征增强与多头不确定性量化模块的SSL-UncertNet深度学习模型。通过消融实验验证了DWT和MHUQ模块的有效性,结合不确定性驱动的微调策略,模型在测试集上取得了R2=0.961、RMSE=0.264、MAE=0.196的优异性能,显著优于传统机器学习方法,为小样本光谱分析提供了可靠的解决方案。
柑橘因其独特风味和丰富营养价值深受消费者喜爱,其内部品质参数如可溶性固形物含量直接决定了果实的甜度、贮藏期和最佳采收时间。传统检测方法如折光仪需要破坏果实且耗时费力,而可见-近红外光谱技术以其快速、无损、低成本的优势成为水果品质检测的研究热点。然而,在实际应用中,由于果实生产受季节性和地域性限制,往往难以获取大规模样本数据,导致深度学习模型容易过拟合;同时,光谱测量过程中环境光干扰、果实大小差异等因素会引入预测不确定性,进一步制约模型的泛化性能。
为解决小样本学习和预测不确定性评估的挑战,福建农林大学食品科学学院的研究团队在《LWT》期刊上发表了一项创新性研究,提出了一种名为SSL-UncertNet的深度学习模型。该模型通过离散小波变换模块增强光谱特征提取能力,利用多头不确定性量化模块评估预测可靠性,并结合分层自适应残差网络构建了端到端的检测框架。
研究采用的主要技术方法包括:基于离散小波变换的多尺度光谱特征增强技术、集成多头不确定性量化的深度学习架构、分层自适应残差网络的特征学习机制,以及基于预测不确定性的模型微调策略。实验样本为来自广西梧州三个商业果园的201个"十月桔"柑橘,采集其640-1050nm波长范围的可见-近红外光谱数据,并测量对应的可溶性固形物含量值。
3.1. SSC分析
样本的可溶性固形物含量分布在10.2%-16.4%之间,符合正态分布,训练集与测试集通过分层抽样保持分布一致性,为模型训练提供了可靠的数据基础。
3.2. 光谱分析
光谱数据显示在670nm、750nm、850nm和970nm附近存在明显吸收峰,分别与果皮颜色、C-H/O-H分子键合振动以及水分含量相关,这些特征波长为SSC预测提供了重要依据。
3.3. SSL-UncertNet模型性能评估
3.3.1. DWT特征增强
比较db4、haar和sym4三种小波基函数,发现db4在噪声抑制和特征保持方面表现最优,能够有效分解光谱信号的高频细节和低频趋势成分。
3.3.2. 模型验证
轻量级HARN配置在交叉验证中取得最佳性能(R2=0.84)。消融实验表明,移除MHUQ模块导致R2下降0.145,移除DWT模块使R2下降0.049,证明两个模块对提升模型性能均有显著贡献。
3.3.3. 模型泛化
通过两轮不确定性驱动的微调,模型在测试集上的性能从初始的R2=0.661提升至R2=0.961。不确定性分析显示预测不确定性主要来源于训练数据覆盖不足的认知不确定性,而非测量噪声。
3.3.4. 模型可解释性
SHAP分析识别出650-680nm、720-750nm和960-1020nm三个关键波长区间,这些波段与色素分布、糖分分子振动和水分吸收密切相关,证实模型学习了具有物理意义的光谱特征。
3.5. 进一步讨论
与传统机器学习方法相比,SSL-UncertNet在无需复杂光谱预处理和特征选择的情况下实现了更优的预测性能。研究还讨论了模型在跨品种、跨产地应用中的局限性,并提出了通过预训练-微调范式和使用轻量级网络架构的未来改进方向。
该研究成功开发了一种针对小样本场景的可见-近红外光谱深度学习检测方法,有效解决了光谱分析中的泛化能力和预测可靠性问题。SSL-UncertNet模型通过离散小波变换增强特征表示,利用多头不确定性量化评估预测置信度,结合不确定性驱动的微调策略,显著提升了柑橘可溶性固形物含量的检测精度。这项研究为资源受限条件下的水果品质无损检测提供了新的技术路径,对推动智能农业和食品工业高质量发展具有重要意义。