基于改进点云分割网络PE-KPConv的烟草茎叶分割与表型参数提取

《Smart Agricultural Technology》：Tobacco stem and leaf segmentation and phenotypic parameter extraction based on the improved point cloud segmentation network PE-KPConv

为解决复杂植物三维表型分析中点云细分割精度不足的问题，本研究提出了一种基于改进点云分割网络PE-KPConv的烟草茎叶分割与表型参数提取方法。通过在编码阶段引入多尺度动态聚合模块PCCPAFE增强关键几何特征，在解码阶段使用增强注意力模块EAM扩展感受野，并构建多尺度侧向输出结构以保留叶缘细节。实验结果表明，该网络在烟草数据集上的mIoU、mACC和F1分数分别达到92.35%、93.36%和97.40%，并基于优化的DBSCAN聚类方法成功提取了株高、叶长、叶宽和叶面积四个表型参数，与实测值高度相关（R2>0.96）。该方法实现了从植物三维点云到表型参数的自动化数据分析，为智慧烟草农业表型研究提供了有力的技术支持。

　　

在智慧农业的发展浪潮中，准确、高效地获取植物表型信息是理解作物生长、优化管理决策的关键。传统的植物表型分析，如株高、叶面积等参数的测量，主要依赖人工操作，不仅耗时费力、规模有限，而且误差较大，难以适应高通量、精准化的现代农业需求。近年来，计算机视觉与三维传感技术（如激光雷达、多视角立体视觉）的进步，使得通过三维点云数据来解析植物复杂形态成为可能。然而，如何从这些密集、无序且常伴有遮挡和噪声的点云中，精确地分割出植物的不同器官（如茎和叶），并进一步提取精准的表型参数，仍是一个巨大的技术挑战。现有的点云分割方法，如经典的KPConv网络，虽然因其几何适应性在一般点云分割中表现出色，但在面对植物叶片薄层结构、茎叶连接处细节、以及叶片间严重遮挡等复杂场景时，往往力不从心，存在多尺度特征融合不足、缺乏动态注意力机制、解码阶段上下文信息利用不充分等问题，导致精细分割效果难以满足实际应用需求。正因如此，一项旨在攻克这些难题、实现植物点云自动化精细分割与表型提取的研究应运而生，并发表在国际期刊《Smart Agricultural Technology》上。

为开展此项研究，研究人员整合了无人机遥感、计算机视觉和深度学习技术，构建了一套完整的技术流程。首先，利用大疆无人机搭载RGB相机，在烟草技术成熟期，于云南玉溪的试验田，以不同飞行高度（6米和8米）和倾角（45°和65°）环拍采集了多视角烟草图像。接着，使用ContextCapture软件结合运动恢复结构（SfM）和多视角立体视觉（MVS）算法，从图像序列中重建出烟草田的整体三维点云。然后，基于生成的数字正射影像图（DOM），应用目标检测算法YOLOv11n自动识别单株烟草，并将其二维边界框投影至三维空间，从而裁剪出独立的单株烟草高精度点云。在数据预处理阶段，采用了超绿（ExG）特征算法移除土壤背景，并结合半径滤波与统计滤波去除噪声点，最后通过均匀下采样将每株点云数量控制在约45,000个点以平衡细节与计算效率。在此基础上，研究团队构建了一个包含40个完整烟草点云及对应标注文件的数据集，为模型训练与评估奠定了基础。

本研究提出了名为PE-KPConv的增强型点云分割网络，其核心在于对KPConv框架进行了三方面关键改进，以应对植物器官分割的特殊挑战。编码阶段的增强：PCCPAFE模块。在网络的编码器中，研究团队设计了点云通道先验注意力特征提取模块（PCCPAFE）。该模块首先通过通道注意力机制校准特征，增强对关键器官（如茎干）的特征通道响应；随后，采用多尺度空间聚合策略，在预设的不同尺度（如邻域点数5, 7, 11, 21）上分别聚合局部几何信息，从而同时捕获叶片纹理（小尺度）和茎干拓扑（大尺度）等差异显著的几何特征，显著提升了特征判别力。解码阶段的优化：EAM模块。在解码器的每个上采样层之后，引入了基于改进CBAM的增强注意力模块（EAM）。与原始CBAM使用全连接层不同，EAM采用一维卷积来生成通道注意力，这更适用于点云数据且计算更高效。该模块通过综合运用空间注意力和通道注意力，扩大了特征提取的感受野，有助于缓解因叶片遮挡导致的特征混淆问题。细节保留机制：多尺度侧向输出结构。为了最大限度地保留在深层网络中易丢失的叶缘等几何细节，研究构建了一个多尺度侧向输出结构。该结构在解码器的不同层级进行8倍、4倍和2倍的上采样操作，并将这些不同尺度的上采样特征与最终层特征进行拼接融合，实现了多层次特征的有效复用。

实验结果表明，PE-KPConv网络在自建的烟草点云数据集上表现卓越。分割性能评估：PE-KPConv在烟草茎叶分割任务中取得了优异的分割性能，其平均交并比（mIoU）、平均准确率（mACC）和F1分数分别达到了92.35%、93.36%和97.40%，显著优于标准的KPConv及其它对比网络。关键模块消融实验：通过对PCCPAFE、EAM及多尺度侧向输出结构进行消融研究，证实了每个改进模块对于提升分割精度、特别是改善茎叶连接处和叶片边缘分割效果都贡献显著，共同构成了网络高性能的基础。表型参数提取与验证：基于PE-KPConv的分割结果，研究进一步采用优化的基于密度的噪声应用空间聚类（DBSCAN）方法对叶点云进行实例分割，进而自动提取了株高、叶长、叶宽和叶面积四个关键表型参数。将提取的数值与田间实地测量值进行对比分析，结果显示两者具有高度的一致性，决定系数（R²）均在0.96以上，证明了该方法的准确性与可靠性。泛化能力测试：为了验证模型的普适性，研究还将PE-KPConv应用于其他三种植物（番茄、高粱、黄瓜幼苗）的点云数据进行测试。结果表明，该网络在不同物种的数据上依然保持了良好的分割性能，展现了其优秀的跨物种泛化能力和鲁棒性。

综合研究结果，本项工作的核心结论在于成功开发并验证了一套从无人机图像采集到植物表型参数自动化提取的完整技术方案。该方法的核心创新点在于提出的PE-KPConv点云分割网络，它通过引入PCCPAFE模块实现了多尺度几何特征的有效融合与增强，通过EAM模块改善了复杂遮挡下的特征判别能力，并通过多尺度侧向输出结构精细保留了器官边缘细节，从而系统性解决了现有KPConv网络在植物点云精细分割中面临的三大挑战。基于高精度分割结果，结合优化的DBSCAN聚类算法，实现了对植物株高、叶长、叶宽和叶面积等关键生长性状的快速、无损、自动化测量，其测量精度可与人工实地测量相媲美。这项研究的意义深远，它不仅为烟草这一重要经济作物的精准表型研究提供了强有力的技术工具，其提出的网络架构与处理方法也展现出良好的泛化潜力，可为其他作物的三维表型分析提供参考。最终，该研究推动了从原始三维点云数据到可用农学知识的自动化转化进程，为智慧农业中的作物育种、生长监测与精准管理提供了可靠的技术支撑。