《Smart Agricultural Technology》：Object-Centric 3D Gaussian Splatting for Strawberry Plant Reconstruction and Phenotyping
编辑推荐：
本研究针对传统植物表型分析耗时费力、易破坏样本的痛点，开发了一种基于对象中心三维高斯泼溅（3DGS）的草莓植株重建与表型分析框架。该研究通过集成SAM-2分割、RGBA损失掩码和背景随机化等技术，实现了背景干扰下的高保真植株重建，并自动估测株高、冠幅等关键性状，为高通量、非破坏性作物表型分析提供了高效精准的解决方案。
草莓，这种色泽诱人、营养丰富的水果，在美国水果产业中占据着举足轻重的地位，年销售额超过20亿美元，约占水果总产值的13%。然而，草莓植株及其营养成分对环境变化极为敏感，因此，选育优良品种并对其进行精准的表型分析至关重要。传统的植物表型分析依赖于人工测量和视觉评估，这些方法不仅耗时费力，而且往往具有破坏性，难以实现大规模、连续的植株生长监测。
近年来，神经渲染技术，特别是神经辐射场（NeRF）和三维高斯泼溅（3DGS），已成为高保真三维重建的强大工具。通过环绕目标植株拍摄多视角图像或视频序列，这些方法能够非破坏性地重建复杂的植物结构。尽管前景广阔，但目前农业领域中大多数3DGS应用重建的是整个场景，包括背景元素。这引入了噪声，增加了计算成本，并使下游的性状分析变得复杂。
为了解决这一局限性，由Jiajia Li、Keyi Zhu、Qianwen Zhang、Dong Chen、Qi Sun和Zhaojian Li组成的研究团队，在《Smart Agricultural Technology》上发表了一项研究，提出了一种新颖的对象中心三维重建框架。该框架旨在为草莓植株重建和表型分析提供一种低成本、自动化且可扩展的解决方案。
为了开展这项研究，研究人员首先在受控的室内条件下采集了15株处于结果期的健康草莓植株的数据。他们使用苹果iPhone 16录制4K分辨率（2160 × 3840像素）、帧率为24 fps的视频。拍摄时，操作员围绕每株植物在低、中、高三个不同高度水平进行平滑移动，以确保对冠层、结果区和根茎区域的充分覆盖。每株植物旁边放置了一个带有ArUco标记的10厘米校准立方体，作为三维重建过程中几何尺度还原和对齐的参考。
研究的核心技术方法主要包括以下几个环节：首先，利用基于Segment Anything Model v2 (SAM-2)的预处理流程和Alpha通道背景掩码，从多视角图像中分离出草莓植株和参考立方体（前景），生成RGBA格式的输入数据。其次，采用对象中心的三维高斯泼溅（3DGS）框架进行模型优化。与经典3DGS不同，该研究将RGBA图像中的Alpha通道（αimg）作为二值掩码应用于损失计算（公式5），确保梯度仅在前景区域传播。同时，结合不透明度引导的高斯剔除（公式6）和背景随机化（公式7）策略，有效抑制背景高斯原语的优化，从而生成干净、背景无关的植株模型。最后，基于重建得到的高保真点云，利用基于密度的空间聚类（DBSCAN）算法分离植株和参考立方体簇，通过参考立方体进行尺度校准，将重建单位转换为物理尺寸（厘米）。进而，应用主成分分析（PCA）来估计植株高度（最大与最小z坐标之差）和冠层宽度（点云投影到地面后的主轴方向最大范围）等形态性状。
3.1. 3DGS与NeRF模型的比较
研究人员首先将基于Splatfacto实现的3DGS模型与三种代表性的NeRF方法（Nerfacto, Instant-NGP, Mip-NeRF）进行了比较。结果表明，Splatfacto在所有关键指标上均表现出优越的重建性能。它获得了最高的PSNR（28.69）和SSIM（0.9249）值，以及最低的LPIPS（0.0781）分数，表明其具有更高的光度精度、结构保真度和感知相似性。此外，Splatfacto的训练时间最短（8分52秒），渲染速度最快（2.83 FPS），同时GPU内存消耗最低（1.89 GB）。定性结果也显示，Splatfacto能产生更清晰、细节更丰富的重建结果，而NeRF模型则存在背景噪声和叶片边缘的鬼影效应。
3.2. 不同背景去除方法的比较
研究进一步评估了所提出的对象中心3DGS与后处理背景去除方法（Splatfacto-PBR）的效果。对象中心方法在PSNR（27.39对23.20）、SSIM（0.9421对0.9289）和LPIPS（0.055对0.0657）方面均优于后处理方法。更重要的是，其训练时间减少了约40%（6分26秒对8分52秒），渲染速度提高了约2.5倍（7.08 FPS对2.83 FPS）。点云可视化结果清晰表明，对象中心方法能产生组织良好、紧凑且背景噪声几乎完全消除的点云，而基线方法则存在背景高斯原语形成的噪声和不规则簇。
3.3. 植物性状估测性能
为了评估重建模型在表型分析中的适用性，研究人员通过DBSCAN-PCA流程从对象中心3DGS模型生成的点云中提取了植株高度和冠层宽度。结果显示，株高估测的确定系数（R2）为0.72，均方根误差（RMSE）为1.81厘米，平均绝对百分比误差（MAPE）为4.85%，准确率（Acc）达95.15%。冠层宽度（主轴，Width 1）的估测结果更优，R2为0.96，MAPE为3.72%。次轴（Width 2）的估测R2为0.90，MAPE为7.06%。这些结果证实了该框架能够从重建的三维几何中准确提取形态性状，并保持厘米级的精度。
该研究的结论部分指出，所提出的对象中心3DGS框架通过整合前景预处理、RGBA损失掩码、不透明度引导的高斯剔除和背景随机化，成功实现了草莓植株的高保真、背景无关的三维重建。与主流NeRF方法相比，该框架在重建质量和计算效率方面均具优势。基于重建模型，通过DBSCAN聚类和PCA分析，能够可靠地自动估测植株形态性状。
在讨论中，研究人员也指出了当前研究的局限性，例如数据采集在受控室内环境下进行，未来需要提升在自然光照、风力等复杂田间环境下的鲁棒性。此外，当前性状分析集中于株高、冠幅等基础形态特征，未来可扩展至叶倾角分布、果实密度等更复杂的表型指标。将3DGS与多模态传感（如高光谱、热成像）结合，有望同时分析形态和生理状态。最后，将框架从单株重建扩展到多植株或田间尺度的应用，也面临遮挡、计算复杂度等挑战，需要发展分层或分布式重建策略。
总之，这项研究为草莓乃至其他作物的精准、高通量、非破坏性表型分析提供了一种强有力的新工具，在作物育种、生长监测和产量预估等领域具有重要的应用潜力和推广价值。
