基于多尺度神经辐射场与多模态分割的水稻精细三维表型分析新方法

《Plant Phenomics》：Fine-Grained 3D Rice Phenotyping via Multi-Scale NeRF and Multimodal Segmentation

本研究针对水稻三维表型分析中存在的重建质量差、器官分割精度低等难题，提出MSNeRF多尺度重建方法和VRKGNet多模态分割框架。实验表明，MSNeRF仅需10个视角即可实现高保真点云重建，VRKGNet在语义分割mIoU达88.79%，实例分割AP25达84.55%，为作物表型研究提供了创新技术方案。

　　

在水稻育种和产量预估领域，精确获取植株的三维表型特征至关重要。然而，水稻颗粒细小、分布密集且与叶片严重遮挡的特点，给传统表型分析带来巨大挑战。虽然神经辐射场（Neural Radiance Fields, NeRF）技术在作物三维重建中展现出潜力，但其对图像数量和质量的高度敏感性，以及在复杂植株结构重建中容易出现的鬼影现象，限制了其在水稻研究中的应用。同时，大规模点云数据中颗粒与叶片颜色的高度相似性，使得精细化的器官级分割变得异常困难。

针对这些瓶颈，中国科学院合肥物质科学研究院的研究团队在《Plant Phenomics》上发表了创新性研究成果。该研究首先构建了包含多视角图像、点云数据和相机参数的多模态水稻数据集MMR，并开发了自动化数据采集系统。在此基础上，提出了多尺度神经辐射场方法MSNeRF，通过结构-细节协同重建机制和动态密度初始化策略，显著提升了稀疏视角下的重建质量。更引人注目的是，团队设计了视觉水稻知识图谱网络VRKGNet，创新性地将图像分割结果作为先验知识投影到点云上，实现了语义分割与实例分割的协同优化。

关键技术方法包括：基于机器人臂和RealSense D435i相机的自动化数据采集系统；融合多尺度监督和动态密度调制的MSNeRF重建算法；集成图像分割、投影映射和点云分割的VRKGNet多模态框架。研究团队还建立了包含9个水稻场景的Blur Rice数据集，用于系统评估算法性能。

研究结果显示，MSNeRF在仅使用10个输入视角的情况下，仍能实现高质量的点云重建，其Chamfer距离（Chamfer Distance, CD）低至8.05，法向一致性（Normal Consistency, NC）达到0.87，显著优于Instant-NGP、SplatFacto等主流方法。在稀疏视角测试中，MSNeRF表现出卓越的鲁棒性，在8-20个视角范围内均保持稳定的重建性能。

VRKGNet在多模态水稻数据集MMR上的表现同样令人瞩目。在语义分割任务中，其平均交并比（mean Intersection over Union, mIoU）达到88.79%，其中茎秆分割精度高达94.45%。在实例分割方面，AP₂₅指标达到84.55%，较SPFormer等基线方法提升显著。消融实验证实，多模态融合策略和Mamba模块的引入是性能提升的关键因素。

值得注意的是，研究团队开发的视觉水稻知识图谱（Vision Rice Knowledge Graph, VRKG）创新性地整合了多模态数据及其标注，为水稻表型研究提供了标准化数据框架。而水稻知识建模（Rice Knowledge Modeling, RKM）流水线则大幅降低了数据集构建的资源负担，实现了点云和图像等多模态数据的快速生成。

讨论部分指出，MSNeRF通过渐进式重建策略有效缓解了几何不一致性问题，而VRKGNet的多模态融合框架成功克服了单模态方法的局限性。与FreeNeRF等主要在合成数据上验证的方法不同，MSNeRF在真实水稻数据上展现出更强的实用性。然而，研究也承认当前方法对室内可控环境的依赖限制了其田间应用的灵活性。

这项研究的意义在于：首次将多尺度NeRF技术系统应用于水稻三维表型分析，突破了稀疏视角重建的技术瓶颈；提出的VRKGNet框架为复杂植物点云分割提供了多模态融合新思路；构建的MMR数据集和VRKG知识库为后续研究奠定了重要基础。这些进展为精准农业和智能育种提供了强有力的技术支撑，有望推动作物表型研究向更高精度、更高效率方向发展。

未来工作将聚焦于扩展MMR数据集涵盖的作物种类和环境条件，提升VRKGNet在更复杂农业场景中的适应性，并探索MSNeRF在露天大田环境中的应用潜力，最终为全球粮食生产的可持续发展贡献技术力量。