《Smart Agricultural Technology》：A Low-Cost Embedded Machine Learning-Based Acoustic Sensing Device for On-Tree Jackfruit Maturity Classification
编辑推荐：
针对传统菠萝蜜成熟度评估依赖主观经验、缺乏客观标准导致采收质量不一的问题，本研究开发了一套低成本、手持式、集成机器学习的声学传感设备，可直接在果树上对菠萝蜜进行无损检测。研究采集了1080个来自三个成熟阶段（未熟、成熟、过熟）的敲击声信号，并提取了包括峰值频率、谱质心和梅尔频率倒谱系数在内的28个频域特征。评估的多种机器学习模型中，支持向量机（SVM）表现最佳，测试集准确率达92.3%。所有模型在设备上的处理时间均小于1秒，具备实时性。该设备总成本约35美元，为现场水果成熟度评估提供了一个低成本、实用且可扩展的解决方案。
在南亚和东南亚的热带果园里，硕大的菠萝蜜（Artocarpus heterophyllus Lam.）高悬枝头。判断它们的成熟度，对于农户来说，是一门融合了经验、感觉甚至些许玄学的技艺。敲一敲听声音，看一看表皮颜色和棘突硬度，再结合果实着生后的天数，经验丰富的种植者能估摸个大概。然而，这种主观判断方法受评估者经验、品种、地域和天气影响很大，常常导致采收决策不一致，果实品质参差不齐，既影响市场价值，也增加了采后损失。特别是在热带供应链中，储存和运输条件本就苛刻，过早或过晚采收更是雪上加霜。因此，开发一种客观、无损且能在田间直接使用的成熟度评估工具，对于提升菠萝蜜产业效率和品质至关重要。
以往的研究者们尝试过多种非破坏性技术，如光学光谱、成像和声学/振动传感。其中，声学方法因其成本低、硬件简单且能通过敲击分析果实内部机械特性（如硬度），展现出独特优势。不过，现有研究多是在实验室可控环境下，对已采收的固定果实进行实验，开发的模型在真实、多变的果园环境中鲁棒性（稳定性）不足。更重要的是，大多数研究集中于信号处理和分类精度，却较少考虑田间部署所需的系统级要求，如计算复杂度、处理延迟、硬件限制、设备成本和易用性。对于实际的农业应用而言，理想的传感系统必须是低成本的、便携的、手持的且节能的，以便于农民，特别是资源有限的地区农民采纳。这正是本研究的切入点。
为了实现这一目标，一个来自越南的研究团队在《Smart Agricultural Technology》期刊上发表了一项创新研究。他们开发并验证了一个将硬件设计、田间数据采集和计算高效的嵌入式机器学习模型集于一体的声学传感设备，首次实现了对树上菠萝蜜的实时成熟度评估。简单来说，研究人员设计并制作了一款手持设备，它集成了微控制器、声学传感器、显示屏和电池等所有必要模块，总硬件成本仅约35美元。利用这款设备，他们直接在越南湄公河三角洲的一个菠萝蜜果园里，对树上果实进行敲击录音，采集了来自“泰国菠萝蜜”品种的三个成熟阶段（未熟、成熟、过熟）共1080个音频样本。每个果实分别在顶部、中部和底部三个位置进行敲击录音，以研究敲击位置的影响。随后，他们从这些音频信号中提取了28个频域特征，包括峰值频率、谱质心和梅尔频率倒谱系数，并使用五种经典的机器学习模型（判别分析、决策树、支持向量机、K-近邻算法和浅层神经网络）进行分类。
主要技术方法简述：
本研究主要应用了以下关键技术：1. 硬件系统集成设计：基于ESP32-S3微控制器，集成了INMP441 MEMS麦克风、OLED显示屏、存储卡和电源管理等模块，制成总成本约35美元的便携式声学传感设备原型。2. 在树数据采集协议：直接在果园中，使用农民常用的塑料柄刀作为敲击工具，对附着在树上的菠萝蜜进行音频信号采集，采样频率为16 kHz。3. 声学特征提取：对采集的时域音频信号应用快速傅里叶变换（FFT）转换到频域，并提取峰值频率、谱质心和26维梅尔频率倒谱系数（MFCCs）共28个特征。4. 嵌入式机器学习模型开发与优化：使用Optuna工具对五种传统机器学习模型（DA， DT， SVM， KNN， NN）进行超参数优化，并在设备上部署和评估其性能及计算效率。
研究结果：
3.1 设备操作验证
通过对比已知频率的纯音信号，验证了设备的录音和频率分析功能是可靠的，测量频率与参考频率的平均误差仅为0.7 Hz。
3.2 敲击位置对声学特征鲁棒性的影响
通过方差分析发现，大多数（平均84.5%）提取的声学特征在不同敲击位置间没有统计学上的显著差异，表明该方法对敲击位置的变化具有较好的鲁棒性。因此，后续分析将所有位置的数据合并。
3.3 不同成熟阶段的声学信号分析
分析表明，峰值频率随着果实成熟而显著降低：未熟果实最高（中位数约348 Hz），成熟果实次之（约328 Hz），过熟果实最低（约235 Hz）。同时，频谱的复杂性（次要峰的数量和幅度）随着成熟度增加而增加。这反映了果实组织逐渐软化、内部结构异质性增加的过程。
3.4 分类模型评估
3.4.1 模型性能评估
在所有模型中，支持向量机（SVM）在测试集上取得了最佳的综合性能，准确率达到92.3%，精确度、召回率和F1分数（综合评价指标）均超过92%。混淆矩阵显示，大多数误分类发生在相邻的成熟阶段之间（如未熟被误判为成熟），这是果实成熟过程连续渐变特性的体现。
3.4.2 模型效率评估
将模型部署到设备上后，所有模型的处理时间（特征提取+推理）均小于1秒（约883-889毫秒），证实了其实时操作的能力。支持向量机的模型大小适中（约84 kB），在性能和效率间取得了良好平衡。
3.5 讨论
3.5.1 与其它研究的比较
与之前报道的光谱、视觉或声学方法相比，本研究的设备首次同时实现了树上测量、实时决策、设备端机器学习和低成本（35美元）独立设备设计，其92.3%的准确率具有竞争力。虽然并非最高精度，但其集成性和实用性是主要优势。
3.5.2 对实际部署的启示
该设备紧凑轻便（210克），对敲击位置变化不敏感，处理快速，成本低廉，非常适合农户在实际果园环境中使用，有助于做出及时、准确的采收决策。
3.5.3 局限性与未来工作
研究基于单一品种和单一地理区域的数据，未来需要扩展到更多品种和不同环境条件以验证其普适性。同时，需要进行长期的环境耐久性评估。
研究结论与意义：
本研究成功展示了一种集成的低成本便携式声学传感设备，它结合了嵌入式机器学习，能够在果园条件下对菠萝蜜进行无损的成熟度分类。声学特征揭示了清晰的成熟度依赖模式，而敲击位置的影响有限。支持向量机被证明是最佳的实时分类模型。该设备成本低、处理快、易于使用，为现场水果成熟度评估提供了一个切实可行的解决方案。更重要的是，该研究提出的框架（硬件设计、特征提取、轻量级模型部署）具有很强的可扩展性，有望应用于其他通过敲击声评估成熟度的水果（如椰子、西瓜、榴莲等），推动精准农业中低成本、智能化传感工具的发展。
