基于光谱残差复值卷积神经网络的智能农业交互式全息显示系统

《Optics & Laser Technology》：Interactive holographic display system for smart agriculture based on a spectral residual complex-valued convolutional neural network

本文提出基于SR-CCNN的智能农业交互全息显示系统，通过无人机拍摄的多视角图像生成3D场景，结合Cesium平台实现沉浸式农田可视化，相比传统CCNN方法提升PSNR约15%，验证了SR-CCNN在复杂农业场景下的实时渲染有效性。

　　

赵宇|朱柳英|徐忠|谢萌|张婷玉|马道坤|廖艳玲

中国江苏省扬州市扬州大学信息工程学院，邮编225127

摘要

在智能农业数字化和全息显示的背景下，本文提出了一种用于智能农业的交互式全息显示系统。该系统能够根据无人机（UAV）拍摄的图像重建3D场景。通过将全息投影显示系统与Cesium可视化平台集成，用户可以沉浸式地感知不同生长阶段稻田的细节。采用基于光谱残差复数卷积神经网络（SR-CCNN）的计算机生成全息（CGH）方法。实验结果表明，与传统的复数卷积神经网络（CCNN）相比，所提出的SR-CCNN将峰值信噪比（PSNR）提高了约15%。数值模拟和光学实验均证实了该方法的可行性和有效性。

引言

农业正处于一个关键的全球转折点。随着传感、计算和智能分析技术的快速发展，农业数字化受到了越来越多的关注，吸引了来自人工智能（AI）、大数据（BD）、物联网（IoT）和遥感（RS）等领域的研究人员和实践者的关注[1][2][3]。在新兴范式中，农业数字孪生技术尤为突出且前景广阔。它们的目标是保持农田的持续更新虚拟表示，并将多源观测数据（如IoT传感器数据、卫星数据和无人机图像）与作物模型相结合，从而支持农业系统的监测、预测和生产决策支持[4][5]。随着这些系统的规模和复杂性的增加，一个关键的实际需求是高效地获取大面积观测数据，并重建可以与孪生模型近乎实时同步的可靠3D场景几何信息[6][7][8][9]。同时，随着增强现实（AR）和虚拟现实（VR）等沉浸式3D接口的快速普及，对更加自然和共享的时空孪生模型3D可视化需求也在不断增加[10][11][12][13][14]。以往的交互式CGH显示系统主要关注于直接通过指尖或手势操作相对简单的全息内容。例如，Takenaka等人开发了一种实时全息显示系统，用于绘制和擦除3D点云图像，其中全息图通过根据指尖运动增量添加和减去复数幅度分布来更新[15]。Yang等人结合基于手部追踪的手势识别和SLM上的预计算全息显示模式，提出了一种非接触式3D虚拟键盘[16]。然而，这些系统主要是为涉及简单全息原语的局部人机交互任务设计的。与这些系统不同，我们的工作针对智能农业，专注于真实农田环境中的场景级全息可视化和交互。

与传统的光学全息技术相比，计算机生成全息（CGH）[17][18]通过数值合成全息干涉图案，并使用可刷新的空间光调制器（SLM）来重建3D光场。此外，全息显示可以同时再现多种自然深度线索，包括遮挡、汇聚和双目视差，因此被广泛认为是下一代3D显示技术的有力候选者。这进一步促进了针对大型场景的实时CGH系统研究。除了全息显示之外，光场显示也作为一种提供逼真3D图像和深度线索的有前景的技术出现[19][20]。通过再现角度光信息，光场显示能够通过视差实现深度感知，并提供沉浸式观看体验。然而，它们通常需要密集的多视图采样和相对复杂的光学架构，这使得大规模部署和场景更新更具挑战性。对于本工作中考虑的智能农业场景，CGH更为适用，因为它与基于点云的全息图生成和光学重建直接兼容，并且更符合动态农田环境场景级可视化的需求。

对于3D内容的获取，传统的测量技术（如点扫描[21]、激光三角测量[22]、结构光成像[23]、立体视觉[24]和计算机断层扫描[25]可以提供高分辨率的几何数据，但它们对测量设置和环境有严格的要求，难以覆盖大规模场景，并且成本相对较高。为了降低获取成本并提高部署灵活性，最近的点云获取技术越来越多地转向基于相机的成像[26][27]。我们团队之前开发了一种使用多台DSLR相机的高精度点云获取系统[28]，后来探索了Unique3D技术，该技术可以从手机拍摄的单一2D图像中重建点云。同时，基于学习的神经场景表示方法（如神经辐射场[NeRF][29]和3D高斯散布[3DGS][30]也可以从多视图图像中恢复密集的3D信息，并支持逼真的新视图合成。然而，这些方法主要适用于物体或房间的规模场景。它们通常假设受控的拍摄条件，需要大量的计算和内存资源进行每个场景的优化，并且不能在千米级的户外环境中提供可靠的度量精度。对于基于无人机的较大规模场景，结构从运动（SfM）和多视图立体（MVS）[31][32]可以从多视图图像中重建密集的3D几何信息并进行相机自校准，已成为低成本建模的主流解决方案。因此，在本工作中，我们采用SfM和MVS来获取点云数据，用于CGH合成和前端可视化。

随着宽场高分辨率场景的日益普遍，对实时CGH计算的需求变得越来越迫切。早期的加速方法包括基于点的查找表（LUT）、压缩查找表（C-LUT）[33][34]和频谱非均匀查找表（FS-NLUT）[35][36]，有效降低了点传播的成本，但往往受到内存消耗和相位离散化的限制。波前记录平面（WRP）技术在中间平面上合成光场，以缩短传播距离并减少计算时间；然而，将大型点云映射到WRP上仍可能产生显著的延迟[37][38]。在我们之前的工作中，我们提出了一种点云网格化（PCG）算法，将不规则的点集转换为规则网格，并将其与菲涅尔卷积[39]结合，显著加速了CGH的生成。

最近，深度学习进一步将CGH生成时间从几秒缩短到了几毫秒。基于深度卷积神经网络（CNN）的方法学习了端到端的映射，可以直接计算仅包含相位的信息（POH），从而产生了一系列监督和非监督的全息图生成框架[40][41][42][43]。Zhong等人提出了一种基于编码网络和分层相位学习的实时4K CGH方法[44]，而Xu等人开发了一种全维度动态复数卷积神经网络（OD-CCNN）[45]以实现高质量的全息重建。CNN的一个关键优势在于其可学习的感受野，即单个卷积核能够看到的输入区域。现代架构通常堆叠许多小核（如3×3滤波器[46]），在浅层捕获局部特征，并在深层逐步聚合全局上下文。扩张卷积通过在核中插入孔洞来进一步扩大感受野，实现参数增加最小的指数级增长[47]。此外，将特征映射到频域进行全局过滤为频谱域中的全局建模提供了自然机制[48][49]。对于人类姿态估计等依赖于上下文的任务，大的感受野被证明是至关重要的；同样，大规模全息重建也严重依赖于全局相干信息。

受这些观察结果的启发，我们提出了一种光谱残差复数卷积神经网络（SR-CCNN），并将其与点云网格化（PCG）算法集成。SR-CCNN通过在复数域中插入光谱瓶颈块来执行光谱瓶颈处理，从而实现高效的全局光谱建模。瓶颈减少了通道维度，提高了计算效率，而光谱操作扩展了有效感受野，从而提高了POH重建的质量。这为基于无人机的超大规模场景中的实时CGH提供了一种轻量级且实际可部署的解决方案。

系统架构

在这项工作中，我们提出了一种创新的智能农业交互式全息显示系统，其核心是光谱残差复数卷积神经网络（SR-CCNN）。该网络能够为大规模稻田场景生成高质量的全息图，从而支持农业环境的沉浸式可视化。在数字农业交互模块中，基于Cesium可视化平台构建了一个农业数字孪生接口

ODM重建和交互式可视化

本节介绍了通过ODM重建的稻田模型以及使用所提出的SR-CCNN算法生成的全息图。输入数据使用无人机获取的彩色图像。所有模拟和比较实验均在64位Windows 11系统上进行，使用了Python 3.12、NVIDIA GeForce RTX 4090 GPU（24 GB VRAM）和Intel Core i9-13900 CPU（32 GB RAM）。

为了生成稻田点云，我们应用ODM从数百张无人机拍摄的图像中进行3D重建

结论

本文提出了一种用于智能农业的交互式全息显示系统，其核心是光谱残差复数卷积神经网络（SR-CCNN）。该系统集成了基于OpenDroneMap的3D重建、可视化交互平台以及全息计算和光学重建模块。在算法层面，SR-CCNN在复数域中运行，并引入了光谱残差瓶颈，增强了全局建模能力

CRediT作者贡献声明

赵宇：撰写——审稿与编辑、监督、方法论、资金获取、数据管理。朱柳英：撰写——审稿与编辑、原始草稿撰写、软件开发、资源管理、方法论、形式分析、数据管理、概念化。徐忠：可视化、软件开发、资源管理、方法论、数据管理。谢萌：撰写——审稿与编辑、可视化、资源管理、数据管理。张婷玉：撰写——审稿与编辑、可视化、资源管理、形式分析、数据管理

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：赵宇报告文章发表费用、设备、药品或供应品以及旅行费用由国家自然科学基金提供。赵宇报告文章发表费用、设备、药品或供应品以及旅行费用由江苏省自然科学基金提供。如果还有其他作者，他们声明没有已知

致谢

本研究得到了国家自然科学基金（编号：62205283）、江苏省自然科学基金（编号：BE2023340）、扬州市科技计划项目——产业预见与关键核心技术（扬州市科技局，编号：Yz2023004）、市校合作专项项目（扬州市科技局，编号：Yz2024230）以及国家自然科学基金（编号：U2541205）的资助。