基于计算机视觉和物联网的植物表型分析与生长监测技术，利用三维点云数据实现

《Biosystems Engineering》：Computer vision and IoT based plant phenotyping and growth monitoring with 3D point clouds

植物表型分析系统融合RGB-D成像与IoT技术，利用Segment Anything Model（SAM）和FastSAM实现零样本高精度分割，解决高密度重叠叶面积征问题，通过每10分钟高频数据采集提取株高、长度、宽度等参数，验证与人工测量高度相关，为精准农业提供高效解决方案。

　　

Akash Ajagekar|Yu Jiang|Fengqi You

系统工程，康奈尔大学，纽约伊萨卡，美国

摘要

计算机视觉和物联网（IoT）技术为植物表型分析提供了强大的解决方案，但传统的主流分割方法在叶层重叠的高密度种植环境中往往效果不佳。本研究介绍了一种集成的表型分析系统，该系统结合了自动化数据采集和基于市售硬件（Intel RealSense D435和Raspberry Pi）的高时间分辨率RGB-D成像技术，在受控的温室条件下生成生菜的3D点云。尽管最近的农业应用取得的成功有限，并且需要特定领域的调整，但Segment Anything Model（SAM）和FastSAM被证明能够在无需额外训练的情况下，对高密度排列中的单个生菜植株实现出色的零样本分割性能。这一能力有效解决了传统方法中针对特定物种的参数调整、大量训练数据需求以及精细调优的问题。通过将2D分割掩码映射到相应的3D点云上，系统准确提取了关键表型特征，即植株的高度、长度和宽度，并据此估算出面积和体积，结果显示这些数据与Rex和Rouxai生菜品种的手动测量结果高度相关。这种高时间分辨率、非破坏性的监测方法为植物生长动态提供了独特的见解。研究突显了这些品种之间的生长模式差异，强调了定制化表型分析方法在优化作物管理策略方面的重要性。通过克服现有表型分析方法的局限性，这项工作推动了精准农业技术的发展，为监测动态作物生长提供了一种成本效益高且高效的解决方案，具有广泛的应用潜力。

引言

先进技术的整合显著改变了现代农业，尤其是在受控环境农业（CEA）系统中。这些进步通过精确控制环境条件，彻底改变了作物监测和管理方式。然而，传统的人工方法（如田间检查）具有主观性和劳动密集性，限制了准确性和可扩展性。在室内农业环境中，这种局限性更为明显，因为高密度种植和受控环境需要更高效的监测解决方案（Chen & Yin, 2024; Pompeo et al., 2025）。人类的主观性可能导致评估不准确，从而影响作物产量和质量（Haquea et al., 2025; Shi et al., 2023）。植物检查需要大量时间和精力，尤其是对于大规模或密集种植的室内农场来说，这一过程尤为繁琐。此外，传统方法无法提供实时数据，限制了快速应对突发问题的能力（Karmakar et al., 2024）。因此，人们转向了基于技术的解决方案，以在室内农业环境中提供更可靠和一致性的监测。

自动化系统为传统方法带来的挑战提供了有希望的解决方案。通过整合计算机视觉（CV）和物联网（IoT）等先进技术，这些系统实现了针对室内农业的高效作物监测过程。IoT传感器、摄像头和遥感设备可以收集关于作物健康、环境条件和生长模式的实时数据。这些数据可以用来检测早期压力迹象，从而允许及时干预（Aman et al., 2025; Mansoor et al., 2025）。自动化使作物监测具有可扩展性，能够在不需要相应增加劳动力的情况下持续观察大面积的室内种植区域。这种能力使得数据收集更加全面，有助于更深入地了解作物发育情况，并为灌溉、施肥和气候控制等决策提供依据（Chen, 2025; Sezhian et al）。此外，自动化系统降低了与劳动力相关的成本，提高了效率，为室内农民带来了显著的经济效益（Praveen, 2025）。同时，最先进的计算机视觉技术使农业机器人能够完成具有挑战性的任务。例如，一种基于CycleGAN的风格转换方法显著提高了夜间菠萝检测的准确性，提升了收获机器人在低光照条件下的果实检测能力（Wu et al., 2024）。同样，动态视觉伺服控制算法现在允许水果收获机器人根据目标位置的变化实时调整动作，从而在整个果园中连续采摘果实（Chen et al., 2024）。计算机视觉和机器人技术的这些前沿发展为整合现代算法以应对作物监测中的不断变化挑战提供了重要支持。一种有前景的自动化作物监测方法使用3D成像技术在受控环境中提供作物生长的全面视图（Wang et al., 2025; Zhu et al., 2024）。

3D成像相比传统的手动测量和2D成像技术具有多个优势。例如，3D成像能够实现非破坏性的、连续的作物生长监测，提高了测量的准确性和一致性（Fernandez et al., 2024; Wang et al., 2025）。此外，3D成像提供了更全面的形态学信息，有助于解决2D空间中的潜在歧义，提高了测量准确性和对植物生长的理解（Akhtar et al., 2024）。基于深度学习的图像分析的最新进展使得能够从大型3D图像数据集中自动提取复杂的植物特征，进一步减少了获取植物生长数据所需的时间和劳动力（Nidamanuri, 2024; Saeed et al., 2023）。

尽管取得了这些进展，但在室内农业的植物表型分析方面仍存在一些关键差距。许多现有的表型分析系统无法分析高密度种植环境中的单个植株，而这在室内农场中很常见（Bao et al., 2025; Franchetti et al., 2019）。表型分析的时间维度对于理解生长模式和植物随时间的变化至关重要，但往往被忽视（Knoch et al., 2020; Pauli et al., 2016）。高频监测能够早期检测到压力或生长条件不佳的情况，从而及时进行干预。最近的研究展示了在温室中使用轨道驱动的表型分析平台，通过多视图立体（MVS）技术重建生菜种群的3D点云（Ma et al., 2025）。然而，它们的方法依赖于传统的分割方法，每天仅采集两次数据，限制了其解决高密度种植环境中快速生长动态和叶层重叠问题的能力。类似地，高级深度学习模型（如SoftGroup）已被应用于受控实验室环境中的叶片分割和静态特征提取（Ge et al., 2025）。虽然这些系统实现了高分割精度，但它们需要专用硬件，这限制了其广泛的应用，并且缺乏与IoT框架的集成，以进行高频生长跟踪或动态形态分析。此外，虽然许多系统适用于玉米或小麦等大宗商品作物，但缺乏针对室内种植作物或具有独特生长特性的作物的专用系统（Langstroff et al., 2022; Teo & Yu, 2024）。硬件和软件的集成仍然是一个挑战，特别是在成本效益、准确性和实际应用效率方面。许多现有平台需要复杂的操作和维护知识，这阻碍了其在室内农民和植物研究人员中的广泛应用。这些平台通常缺乏用户友好的界面和能够高效处理大量表型数据的数据管理系统。显然，需要一个集成的表型分析系统来解决这些问题，提供适用于高密度室内农业环境的可访问、准确和高效的监测解决方案。

在这项研究中，提出了一种基于云的表型分析系统，该系统结合了RGB-D成像和IoT设备，用于室内农业环境中的自主数据采集和实时分析。所提出的系统通过有效处理高密度种植情况，捕获详细的表型特征来表征CEA中的生菜生长。本研究的主要贡献如下：

o

开发了一种集成的表型分析系统，能够使用先进的计算机视觉方法（包括Segment Anything Model（SAM）和FastSAM）准确监测高密度室内农业环境中的单个植株，显著提高了分割精度。

o

在整个移栽后的生长阶段实施高时间分辨率（10分钟）的图像采集，从而能够详细分析昼夜生长动态和品种特定的生理行为。

o

设计了一个用户友好且可扩展的系统，使用易于获取的硬件和开源软件，提高了可复制性，并促进了在农业行业的广泛应用。

通过实现这些目标，本研究解决了现有表型分析系统中的关键差距，推动了适用于室内农业和受控环境农业（CEA）系统的精准农业技术的发展。开发的系统旨在提供可访问、高效和准确的工具，用于作物监测和管理，从而提高现代CEA研究和生产中的生产力、可持续性和资源优化。

实验设置和IoT配置

开发了一个集成系统来监测生菜的生长，结合了水培栽培、RGB-D成像、基于IoT的数据采集和先进的计算机视觉分析。通过在受控温室环境中使用精确的成像技术和强大的数据处理算法，这种方法支持对生菜品种的详细生长监测和分析。

代表性时间序列图像

为了定性评估成像系统的性能并展示生菜品种的生长动态，展示了在不同生长阶段和一天中不同时间捕获的时间序列图像集（图3）。这些图像展示了系统收集的高分辨率RGB-D数据，并提供了对移栽后生长阶段形态变化的视觉洞察，突显了成像系统在监测植物发育方面的有效性。

讨论

本研究提出了一种集成的表型分析系统，结合了高时间分辨率RGB-D成像、基于IoT的数据处理和零样本分割技术，用于高密度受控环境农业（CEA）中的非破坏性生菜监测。在CEA表型分析中，一个主要挑战是在密集的冠层中进行准确的分割，因为叶层重叠会干扰传统分析方法。现有平台在这方面往往表现不佳，要么依赖于难以处理遮挡问题的算法

结论

本研究提出了一种将先进计算机视觉和IoT技术相结合的新方法，用于受控环境农业（CEA）中的植物生长表型分析。开发的集成表型分析系统利用半自动化初始化策略，实现了RGB-D成像和先进的分割算法，用于监测和分析受控温室环境中的生菜生长特征。本研究的主要贡献包括部署了易于使用的

CRediT作者贡献声明

Akash Ajagekar：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，方法论，调查，正式分析，数据管理。Yu Jiang：撰写 – 审稿与编辑，验证，方法论，调查。Fengqi You：撰写 – 审稿与编辑，可视化，监督，软件，资源管理，项目协调，方法论，调查，资金获取，正式分析，概念化。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT（GPT-4o）进行编辑，以提高文本的语言表达和可读性。使用该工具/服务后，作者根据需要审查和修改了内容。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。