Dual-Path Deep Learning and Hierarchical Spectral Clustering: A Versatile Framework for Semantic and Instance Segmentation of Plant Point Clouds

《Smart Agricultural Technology》：Dual-Path Deep Learning and Hierarchical Spectral Clustering: A Versatile Framework for Semantic and Instance Segmentation of Plant Point Clouds

　　

准确的植物器官分割对于高通量表型分析和理想株型选择至关重要。然而，当前的方法在处理形态复杂的植物时面临挑战，特别是对于具有稀疏点分布的小器官类别。此外，茂密冠层中的严重叶片粘连通常阻碍传统聚类方法实现可靠的叶片实例分割。为了解决这些挑战，研究人员提出了一种用于植物点云语义分割的双路径融合网络（DPFuseNet）和一种用于实例分割的层次多尺度谱聚类算法（HMSC）。DPFuseNet引入了三个创新点：高频信息嵌入策略、集成CNN和Transformer分支的双路径特征提取模块，以及基于交叉注意力的双粒度特征融合块。在番茄、卷心菜和大豆数据集上的评估表明，DPFuseNet的平均精度、召回率、F1分数和IoU分别达到了96.51%、96.27%、96.38%和93.32%，优于Stratified Transformer和Point Transformer v3等最先进的基线模型。与当前领先的单一分支模型Point Transformer v3相比，DPFuseNet将这些指标分别提高了1.19%、1.20%、1.21%和2.05%，并且比双分支模型PVDST分别提高了0.89%、1.14%、1.02%和1.70%。在实例分割方面，提出的HMSC算法结合区域生长，在多阶段番茄、卷心菜和大豆数据集上实现了mPrec 89.65%、mRec 78.70%、mCov 76.88%和mWCov 85.11%，始终优于传统的谱聚类。总体而言，该框架在语义和实例分割方面均表现出鲁棒性和效率，为推进植物点云分析和智慧农业提供了一条新途径。

论文解读：植物点云语义与实例分割的双路径深度学习与层次谱聚类框架

研究背景与意义

随着全球人口增长、气候变化及人均耕地面积减少，下一代育种技术面临着迫切的需求。植物表型分析作为探索基因型-表型-环境相互作用的关键手段，在功能基因组学、分子育种和精准农业中占据核心地位。传统的手动表型分析方法劳动强度大、主观性强且具有破坏性，难以满足现代育种的需求。尽管基于二维图像的方法为非破坏性自动化表型分析提供了支持，但其缺乏深度信息，在复杂植物冠层中容易产生遮挡问题。相比之下，基于三维点云的方法利用精确的三维空间坐标捕捉完整的形态结构，为植物表型分析提供了更为丰富的数据基础。然而，现有的点云分割方法在处理形态复杂的植物（如具有大量小器官类别和稀疏点分布）时表现不佳，且密集冠层中严重的叶片粘连现象也使得传统的聚类方法难以实现可靠的叶片实例分割。因此，开发能够适应不同植物物种和生长阶段、兼具高精度与鲁棒性的点云分割框架显得尤为重要。针对这一现状，研究人员在《Smart Agricultural Technology》上发表了题为“Dual-Path Deep Learning and Hierarchical Spectral Clustering: A Versatile Framework for Semantic and Instance Segmentation of Plant Point Clouds”的研究论文，旨在通过创新的深度学习架构与聚类算法，解决上述瓶颈问题。

关键技术方法

研究人员构建了一个包含番茄、卷心菜和大豆的多物种点云数据集，并利用改进的CasMVSNet进行三维重建。在方法论上，该研究提出了两个核心技术：首先是双路径融合网络（DPFuseNet）用于语义分割，该网络集成了高频信息嵌入模块、双路径特征提取模块（DPFEB）和双粒度特征融合块（DGFFB）；其次是层次多尺度谱聚类算法（HMSC）用于实例分割，该算法结合了层次聚类结构和多尺度局部特征图。

研究结果

1. 植物点云数据集创建

研究人员构建了包含番茄、卷心菜和大豆的多物种点云数据集。其中，卷心菜点云数据由华中农业大学作物表型平台提供，使用Canon 77D相机采集RGB图像，并通过改进的CasMVSNet进行三维重建，获得了14株卷心菜在7个生长阶段的98个点云数据。此外，研究还纳入了Pheno4D番茄数据集和Sun等人开发的大豆点云数据集，所有数据集均进行了严格的语义和实例标注预处理，以确保标签的一致性。

2. DPFuseNet框架

DPFuseNet被设计为一个双路径架构，旨在同时捕获局部和全局特征。该框架主要由三个部分组成：高频信息嵌入模块、双路径特征提取块（DPFEB）和双粒度特征融合块（DGFFB）。

3. 高频特征嵌入块（HFEB）

受DSPoint、VoxSet和GPSFormer启发，研究人员引入了高频嵌入和特征融合机制。该模块采用基于NeRF的位置编码策略，通过正弦函数将点的三维坐标映射到高维特征向量，显式地嵌入周期性高频分量，随后通过可学习的1D卷积实现高低频特征的有效融合，增强了网络对复杂几何边界和精细结构的表征能力。

4. 双路径特征提取块（DPFEB）

DPFEB是整个网络的核心，包含两个并行分支。卷积分支通过体素化处理点云，利用多尺度分组3D卷积提取局部空间上下文信息；Transformer分支则基于自注意力机制聚合全局特征。特别值得注意的是，研究人员提出了索引对齐双域几何编码（IADGE）块，解决了笛卡尔坐标和极坐标在特征融合时的空间错位和尺度不平衡问题，通过极网格光栅化和反向对齐，建立了显式的空间位置映射。

5. 双粒度特征融合块（DGFFB）

为了促进卷积和Transformer两种架构的特征流之间的交互与整合，研究人员基于交叉注意力机制设计了DGFFB。该模块能够自适应地建模不同几何尺度（如叶片和茎秆）的特征差异，避免了简单特征拼接导致的细节丢失或全局模糊。

6. 层次多尺度谱聚类（HMSC）

针对植物叶片形态、方向和尺度的高度异质性，以及重叠和粘连造成的挑战，研究人员开发了HMSC算法。该算法结合了层次聚类结构、多尺度局部特征图和先进的亲和矩阵构建方法，克服了传统谱聚类对噪声和尺度敏感、计算成本高的缺点。

研究结论

研究结果表明，DPFuseNet在番茄、卷心菜和大豆数据集上的平均精度、召回率、F1分数和IoU分别达到了96.51%、96.27%、96.38%和93.32%，显著优于Stratified Transformer和Point Transformer v3等先进基线模型。在实例分割方面，HMSC算法结合区域生长，在多阶段数据集上实现了mPrec 89.65%、mRec 78.70%、mCov 76.88%和mWCov 85.11%，始终优于传统的谱聚类。

综上所述，研究人员提出的DPFuseNet与HMSC相结合的统一框架，通过深度融合卷积神经网络的局部细节捕捉能力与Transformer的全局上下文建模能力，并辅以创新的层次多尺度谱聚类算法，成功实现了对复杂植物点云的高效语义与实例分割。这项研究不仅为植物表型分析提供了强有力的工具，也为智慧农业和精准育种中的三维形态量化建立了新的技术范式。