《Computers and Electronics in Agriculture》：A holistic 3D framework for single-plant point cloud segmentation and phenotypic trait extraction
编辑推荐：
3D植物表型分析框架整合零样本分割SAMPlant3D、点云补全算法及形态参数提取模块，通过高精度三维重建实现棉花个体表型特征（冠幅、叶倾角等）自动化测量，在100例基准数据中MAPE<10%，模型MUCov达0.8837，显著优于ASIS、3D-BoNet等模型，有效解决传统方法依赖人工且效率低的问题。
刘腾飞|孙伟利|江浩宇|田路旭|傅秀清|金晨浩|王成浩|陈彩荣|胡飞
南京农业大学人工智能学院，中国南京210031
摘要
准确快速地获取植物表型参数对于育种工作至关重要。然而，在数据有限的情况下，准确分离出单个植物进行表型分析仍然具有挑战性。为了解决这个问题，我们提出了一个全面的3D植物表型分析框架，该框架整合了SAMPlant3D零样本分割模型、预处理模块、点云补全模块和表型参数提取模块。在该框架中，SAMPlant3D实现了无需大量训练数据的零样本3D实例分割；而点云补全算法则用于聚类和填充缺失数据，以确保表型参数提取的准确性。我们获得了五个表型参数，包括冠幅、面积、叶角、植株高度和体积，并在100株棉花植株上进行了验证。评估结果表明，算法测量结果与手动测量结果具有高度相关性，植株高度的MAPE值低于10%，叶角具有一致性，点云补全后对冠幅和体积的估计也相当可靠。在我们的自定义数据集上，SAMPlant3D算法的分割性能明显优于其他实例分割模型（如ASIS、3D-BoNet、ISBNet和OneFormer3D），在MUCov、精确度和召回率以及F1分数方面的得分分别为0.8837、0.9816、0.9179和0.9486。在Crops3D和Pheno4D植物数据集上的迁移实验中，SAMPlant3D在几乎所有基准模型中都取得了接近最佳的性能。这一综合框架为数据受限条件下的植物表型分析提供了有效的工程解决方案，并为植物育种提供了新的技术支持。
引言
棉花是全球重要的天然纤维作物。通过育种进行遗传改良是提高作物产量的最佳途径，因此快速准确地测量棉花表型参数对棉花育种至关重要（Song等人，2021年；Miao等人，2023年）。传统的棉花表型测量主要依赖于人工测量和视觉评估，这些方法耗时且受主观判断影响较大，难以保证测量的准确性和一致性（Li等人，2022年；Luo等人，2023年）。此外，尽管基于2D图像处理的技术可以提供某些表面信息，但在获取作物的3D形态和生长特征方面存在局限性，如精度低和视角有限，无法全面反映植物的生理状态（Syngelaki等人，2018年；Yang和Han，2020年）。这些限制使得在复杂田间环境中实时监测和准确分析棉花生长变得困难，从而影响了研究和生产实践的效率。因此，开发高效准确的棉花植株表型特征获取方法对于育种工作至关重要。
随着近年来农业自动化技术的不断发展，3D点云技术在获取作物表型参数方面发挥了重要作用，弥补了传统方法和2D图像技术在表型测量方面的不足。作为能够准确反映作物几何形状的关键信息载体，点云数据展现出广泛的应用潜力（Saeed和Li，2021年）。与传统2D图像相比，3D点云数据能够更直观、更全面地捕捉作物的3D结构和动态，特别适用于复杂环境下的精确测量。许多研究人员已将3D点云技术应用于农业领域，通过基于几何特征的分割、聚类等点云分割算法来提取表型参数（例如植株高度和叶长（Wu等人，2020年）。例如，Miao等人（2023年）提出了一种基于欧几里得和K均值聚类的单株植物分割方法，用于从一组植物中分离出单株玉米植株以测量其表型参数；Lin等人（2021年）从不同角度获取了油菜、玉米和棉花种群的点云数据，并使用柱状空间聚类分割方法成功进行了分割。然而，这些方法在分割效率上较低，且对不同点云数据的适应性不足，难以推广使用。
随着深度学习的不断发展，越来越多的研究将其应用于3D作物表型分析，显著优化了点云分割方法。Gomathi等人（2023年）在基于点采样网络创建的植物数据集上进行训练后，实现了语义和叶片实例分割；Zarei等人（2024年）设计了PlantSegNet这一新型神经网络模型，用于通过分割具有相似几何结构的邻近物体来进行植物器官的实例分割；PlantPart（Shi等人，2019年）通过卷积神经网络（CNN）对2D图像进行语义和实例分割，然后结合不同视角对3D点云进行分割。然而，这些方法的前提是处理的是独立的单个植物。在实际应用中，尤其是对于田间成群的作物，这些分割方法存在不足，无法分离出种群中的单个植物。Lai等人（2022年）利用3D-BoNet网络对田间黄瓜、茄子和番茄植物的点云数据进行了种群分割，平均准确率为0.875，平均召回率为0.897；Ao等人（2022年）将CNN与形态学特征结合，成功分离出了田间单个玉米植株及其形态特征。不过，这些深度学习模型需要大量的训练样本和高昂的训练成本，限制了其通用性和实际应用。
近年来，一些研究通过利用模拟数据集和大规模预训练模型来缓解数据稀缺和标注成本高的问题，实现了零样本或少样本学习。例如，Esmorís Pena等人（2024年）证明，仅基于模拟激光扫描数据训练的深度学习模型可以达到与真实数据集训练的模型相当的性能，表明虚拟激光扫描是一种成本效益高的替代方案；Qiu等人（2025年）提出了Real-Sim循环框架（J-P2TB），该框架将基于模拟的数据生成器（L-TreeGen）与果园环境的联合分割模型相结合，他们在真实世界的树木和树枝分割任务上实现了具有竞争力的零样本性能，大幅降低了标注和计算成本。这些研究突显了结合模拟和基础模型以增强模型泛化能力、减轻对昂贵标注数据集依赖性的潜力。基于这一趋势，我们的工作提出了一个针对农业3D点云的零样本分割框架，专注于田间环境中高效的单株植物提取和表型分析。与以往主要关注模拟树木或果园数据集的研究不同，SAMPlant3D是专门为复杂田间种植的作物群体设计的，能够在无需真实数据额外训练的情况下实现单个植物的准确分割和表型特征提取。该方法还整合了点云补全策略来处理稀疏或不完整的数据，这是现有研究尚未解决的问题。
为了能够在种群中提取单个植物的表型特征，并克服其他模型中与训练数据和应用成本相关的限制，本研究提出了一个全面的3D植物表型分析流程。该框架整合了零样本点云实例分割模型SAMPlant3D、点云补全算法和表型参数提取功能。通过结合这些组件，该框架能够在点云数据不完整的情况下准确分割棉花植株，并确保可靠地提取单个植物的表型参数，同时节省了模型训练所需的资源和时间。
本研究的主要贡献包括：
我们提出了一个全面的3D植物表型分析框架，该框架整合了零样本分割、点云补全和表型提取功能，实现了对单个植物的准确自动化分析。
提出了零样本实例分割模型SAMPlant3D，通过结合2D图像和3D数据实现了高效的点云分割。
设计了一种点云补全算法，用于聚类和填充缺失数据，提高了表型提取的准确性。
创建了一个手动标注的棉花点云数据集，用于单株植物分割。
该框架旨在提供一种更精确、更自动化的表型数据收集方法，减少对传统劳动密集型测量的依赖。
实验和框架设计
实验和框架设计
图1展示了植物表型参数提取的过程。首先，使用3D高斯散布（3D-GS）技术对棉花种群的幼苗阶段进行了点云重建，以获得高精度的点云数据（Kerbl等人，2023年）。随后，分别使用PointNet++语义分割算法和SAMPlant3D实例分割算法对点云数据进行处理，以分割整个点云和单个植物。最后，获得了六个表型参数。
语义分割性能
为了区分植物点和非植物点，使用PointNet++对点云进行了二值语义分割。该模型通过五折交叉验证进行评估。每折将数据集分为训练集和测试集，比例为4:1。所有超参数和网络配置均固定并在图1中进行了总结。表2报告了五折交叉验证得到的平均值±标准差。
结果表明，PointNet++取得了
单株植物表型分析的全面3D框架
在本研究中，选择棉花作为研究对象，提出了一个全面的3D框架，用于单株植物点云分割和表型特征提取，以实现精确的植物表型参数估计。该框架整合了一个自设计的零样本学习模型（SAMPlant3D）和基于几何的点云补全算法，实现了棉花幼苗的高精度表型数据获取。
结论
本研究提出了一个综合框架，该框架整合了零样本分割模型SAMPlant3D和点云补全算法，实现了高效准确的单株植物实例分割和表型参数提取。统计分析表明，SAMPlant3D在所有分割指标上的性能均显著优于对比模型（p < 0.05），并且有效减少了对大规模标注数据集的依赖。
CRediT作者贡献声明
刘腾飞：撰写——原始草稿、软件开发、资源准备、概念构思。孙伟利：撰写——审稿与编辑、软件开发、资源准备。江浩宇：软件开发、资源准备、数据管理。田路旭：指导、资源协调、调查研究。傅秀清：指导、项目管理、形式化分析。金晨浩：形式化分析、数据管理。王成浩：验证工作、项目管理。陈彩荣：指导、资源协调、调查研究。胡飞：指导、资源协调、调查研究。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
本工作得到了江苏省创新支持计划（农村产业振兴）（项目编号SZ-SY20231102）、新疆农业与垦殖科学院的重大科技项目（项目编号NCG202407）、江苏省农业科技创新基金（JASTIF）（项目编号CX(23)3619）、海南种子产业实验室（项目编号B21HJ1005）以及江苏省种子产业振兴项目的支持。
