芒果专家：一种基于多模态光电子融合技术和图时序神经网络的可穿戴决策支持系统，用于优化果实采摘过程

《Computers and Electronics in Agriculture》：Mango Expert: a harvest-optimizing wearable decision support system based on multimodal optoelectronic fusion and graph temporal neural networks

　　黄文涛|文浩宇|李迎生|何文豪|张晓栓
中国农业大学工程学院，北京100083，中华人民共和国

摘要
作为热带经济作物，芒果的精确品质评估直接决定了最佳的采收时间和供应链效率。过早采收会导致果实风味不足，而延迟采收则会导致果实腐烂。传统的手动或静态成像方法具有高度主观性，并且无法捕捉动态的成熟过程。为了解决这一问题，我们提出了Mango Expert，这是一个智能决策支持系统，通过灵活的光电传感器网络整合了可见光/近红外光谱技术和阻抗传感技术。该系统结合了EfficientNet-B1进行图像特征提取，使用了带有位置编码的BiLSTM模型进行时间建模，以及图注意力网络（GAT）来动态模拟果实间的相互关系。通过融合光谱和阻抗数据，我们的方法克服了单一方法的局限性，达到了98.54%的分类准确率，优于现有技术。关键创新包括自适应图构建和时间连续的批量采样，这些技术保留了生物学相关性并提高了系统的鲁棒性。在实际采收应用中，该系统将劳动力成本降低了60%，并将优质果实的价值提高了20-30%。本研究开发的系统在精准水果采收方面展示了明确的应用价值，为智能农业中的精细采收决策提供了关键工具。

引言
全球芒果年产量超过5000万吨。作为主要生产国，中国的水果产业面临着诸如采收效率低下、采后损失高以及难以实现大规模标准化运营等核心挑战。芒果的成熟过程非常复杂，受到环境变化的显著影响（Ogunbode等，2024年）。过早采收会损害果实风味的发展，而延迟采收则增加腐烂和水分流失的风险，从而威胁冷链的稳定性和商业价值（Prusky，2011年）。因此，在单个果实层面实现准确的品质评估已成为提高芒果产业质量和效率的关键技术瓶颈（Anderson，2021年）。基于人工判断或静态成像的传统检测方法无法捕捉动态的成熟过程，容易受到个体差异、光照条件和传感器噪声的影响，导致准确性和一致性降低（Upadhyay和Gupta，2024年）。为了解决这些挑战，迫切需要一个能够整合多源数据并建模时间成熟模式的智能系统，以提高芒果品质预测的准确性。

水果的成熟过程不仅体现在表皮颜色和形态等外部变化上，还体现在果肉的内部物理和生理变化上，包括组织导电性、介电性质和其他生物电参数（Cao等，2023年）。光谱传感技术通过分析物体在不同波长下的光吸收、反射和透射特性，可以间接推断其内部化学成分，在农业品质评估中得到了广泛应用（Ardila等，2020年；Cao等，2023年）。电阻抗传感是一种非破坏性技术，通过监测生物组织的电响应来评估其内部结构，具有响应速度快、成本低和实时处理能力等优点（Huang等，2023年；Moghtaderi等，2024年）。这两种传感方式在精准农业和水果品质监测中显示出巨大潜力，特别是在非破坏性水果检测方面，这一领域正受到越来越多的关注（Islam等，2024年）。尽管光谱和阻抗传感技术具有优势，但很少有研究探索在单一传感器平台内集成这两种传感技术以实现协同效应（Zhou等，2025年）。这种差距主要源于它们测量原理和硬件架构的根本差异，使得系统集成面临重大兼容性问题（Huang等，2024年）。最近，柔性电子技术的进步——特别是激光直写技术——为集成多种传感功能开辟了新的可能性（Huang等，2024年）。这种方法在降低系统成本和设备尺寸方面具有明显优势，为开发便携式或可穿戴农业监测设备铺平了道路（Huang等，2024年；Liu等，2022年）。同时，多模态传感数据的有效融合对传感算法提出了更高要求（Paw?owski等，2023年）。作为人工智能研究的关键领域，多模态融合网络旨在统一异构数据表示，以增强整体感知和决策能力（Zhao等，2024年）。当前的研究越来越多地关注跨模态语义对齐和互补特征的建模（Xiao等，2023年），同时也强调融合架构的物理可解释性，以满足农业应用中的可靠性和实用性要求。

为了提高水果品质识别的准确性和鲁棒性，最近的研究探索了将外观特征与内部结构信息相结合，以构建多模态感知模型（Singh等，2024年；Wei等，2023年）。多源模态的协同集成有助于克服单一图像方法在不同光照条件或不同水果品种下的局限性，提高系统对多样化环境的适应性（Di等，2024年；Zhang等，2025a）。越来越多的研究开始认识到时间维度的重要性，一些研究引入了时间序列建模来捕捉果实生长阶段的特征变化（Munser等，2025年；Yang等，2024年）。常用方法采用循环神经网络（RNN）或其变体（LSTM）处理在多个时间点收集的多模态数据，从而提高模型对成熟动态的理解（Liu等，2025年；Ma等，2023年）。然而，这些方法通常关注单个果实，往往忽略了不同果实之间的潜在同步性和相互作用。因此，它们在捕捉同一环境中的集体成熟模式方面存在不足。一些研究还探索了使用基于图的表示方法来增强样本之间的关系建模（Di等，2024年；Islam等，2024年），通常通过静态或启发式构建的邻接关系连接样本，并通过图卷积网络（GCN）传播局部特征（Chen等，2022年）。虽然这些方法提高了模型捕捉结构信息的能力，但经常忽视了实际农业场景中果实的个体差异性和数据的时间特性。因此，图结构往往较为粗糙，无法捕捉果实成熟过程中的时空依赖性。此外，大多数图构建方法依赖于固定策略，在处理复杂多模态输入时的图拓扑变化方面缺乏适应性（Kim和Park，2024年；Xu等，2023年）。因此，有效整合时间信息和果实间关系以构建更具表现力和适应性的时空图结构仍然是当前研究的关键挑战。

基于以上分析，现有的单模态系统只能捕捉部分果实特征，无法考虑果实之间的成熟相关性。当前的多模态方法主要采用静态融合策略，缺乏对动态成熟过程的建模，导致在复杂果园环境中的鲁棒性不足。本研究提出了一种跨学科的方法，结合了灵活的光电传感、植物生物物理学和人工智能技术。具体来说，它利用了灵活的可穿戴硬件进行非侵入式数据采集，利用生物物理阻抗原理解释芒果组织的内部生理变化，并采用多模态图基深度学习进行复杂特征融合。这种跨学科整合对于从静态实验室测试向田间动态、实时品质监测的转变至关重要（Adaileh等，2025年；Esfandiari Fard等，2025年；Ghorbal等，2025年；Kermani等，2025年；Shen等，2025年；Sohail等，2024年）。本研究的主要贡献如下：
（1）首次在芒果采收决策领域引入了多模态时间序列图神经网络，利用图结构来模拟果实特征的时间演变。
（2）提出了一种新的架构，结合了基于KNN的动态图构建和基于GAT的图卷积，显著增强了多模态融合的深度表示能力。
（3）开发了一种基于单个芒果标识符的时间连续批量采样策略，在整个训练过程中保持了果实间的生物学相关性。
（4）所提出的系统具有很强的实用性，可以应用于实际的芒果采收场景。实验结果表明，该系统在真实世界芒果数据集上表现优异，其分类准确率超过了传统方法和其他先进技术，同时具有出色的部署潜力。

图1展示了本研究的研究框架和工作流程。首先，从热带果园中仔细选取了具有不同成熟度和健康状况的芒果样本进行多模态特征选择。随后，通过手动评估结合灵活的传感器测量，准确收集果实的生化和光电参数，用于品质检测和分级管理。构建了BLG-net多模态融合模型，通过融合模块整合异构数据特征。最后，在网络架构训练和特征分析之后，生成了品质评估模型并应用于实际果园。

本文的其余部分结构如下：第2节详细阐述了系统的理论框架，包括灵活的光电传感网络设计、多模态模型架构和数据处理方法。第3节描述了实验验证过程，并讨论了系统的应用性能和经济效益。第4节总结了研究结果并展望了未来的研究方向。

**灵活的光学传感系统**
有效的特征表示是准确水果品质评估的基础。在本研究中，我们没有采用独立的数学特征选择算法，而是采用了一种任务特定的特征整合方法。具体而言，我们根据已知的对芒果生理变化的敏感性，策略性地选择了18个光谱带和12种阻抗测量配置。这些原始信号随后被输入到BLG-net中，其中卷积主干网络和BiLSTM负责特征处理。

**实验设置和预处理**
所有实验都在装有Intel? Wi-Fi 6E AX211 160 MHz和NVIDIA RTX 4060 GPU的笔记本电脑上进行的Windows 11系统上完成。网络构建和训练使用PyTorch和Python 3.11实现。模型训练了100个周期，批量大小为64，学习率为0.0001，丢弃率为0.3，优化器为Adam。训练终止标准基于验证集的性能。

**结论**
本研究提出了一种新的多模态时间序列图学习系统，用于芒果品质分类，整合了可见光/近红外成像和阻抗传感技术，以实现准确且可解释的采收决策。通过结合特征提取、带有位置编码的BiLSTM进行时间建模，以及用于捕捉果实间关系的动态图注意力网络，该方法有效模拟了果实内部的成熟动态和果实间的上下文关系。

**作者贡献声明**
黄文涛：撰写——原始草稿，可视化，方法论，概念化。文浩宇：撰写——原始草稿，可视化，方法论，概念化。李迎生：撰写——原始草稿，可视化。何文豪：撰写——原始草稿，可视化。张晓栓：验证，资金获取。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
作者衷心感谢中国-黑山科学技术合作委员会交流项目（项目编号：4-7）的支持。