通过彩色微米级聚焦全景成像技术实现的水下三维浮游生物行为观测框架

《Optics & Laser Technology》：Underwater 3D plankton behavior observation framework via colorful μm-level focused plenoptic imaging

水下浮游生物三维观测系统研究及盲校准方法提出，通过构建单焦点光场水下折射模型与线性盲校准策略，解决传统系统无法同步获取3D空间分布与高对比彩色形态的难题，实验表明在10.13 NTU浊度下可实现亚毫米级三维测量精度。

　　

宋红|王桥峰|赛义德·拉扎·梅赫迪|王梦杰|李晓冰|张琦|黄辉|常青|蔡伟|梅德清

浙江大学海洋学院海洋工程系，中国舟山316021

摘要

浮游生物的三维（3D）游动行为是水体中纳米级颗粒和化学污染等环境因素的重要指标。然而，传统的水下监测系统无法同时捕捉浮游生物的三维空间分布和高对比度颜色形态，而这对于高精度自动分类观察目标至关重要。为克服这一限制，开发了一种基于聚焦光场结构的水下浮游生物成像系统，并结合了一种新的3D运动测量方法。首先，建立了一个针对单聚焦全景成像系统的水下折射模型，以校正水下条件下虚拟深度与物理深度之间的坐标映射。然后，基于该模型提出了一种线性盲校正方法，无需迭代初始化即可估计未知的光学参数。实验结果表明，在1倍放大倍率下，该系统在10.13 NTU浊度水平下，能够在厘米级观测范围内实现亚毫米级的3D测量精度，从而能够获取浮游生物的3D位置和姿态。据我们所知，这项研究实现了对浮游生物游动行为的高对比度颜色和精细结构细节的3D观测。

引言

浮游生物在水生生态系统中数量众多且生命周期较短，对环境变化极为敏感，构成了大多数水生食物网和碳循环的基础[1]。为了更好地了解它们在自然环境中的空间和时间分布，已经开发了各种水下浮游生物监测设备[2]、[3]。除了传统现场浮游生物相机[4]、[5]通常收集的种群和丰度数据外，最近的研究表明，浮游生物的游动行为也与水体中纳米颗粒[6]和化学污染物的浓度[7]密切相关，这些为评估水生环境中的物质循环和能量流动提供了有价值的指标[8]。 然而，大多数传统的水下浮游生物监测系统（如UVP[9]、LOKI[10]和Scripps浮游生物相机[11]）仅限于捕捉二维（2D）图像，这不足以描述浮游生物的三维运动行为。尽管全息显微镜能够实现大景深（DOF）成像和浮游生物的3D测量[12]，但它通常难以解析内部器官和卵等精细结构细节[13]或获取颜色信息，而这些对于高精度分类至关重要[14]。其他3D观测方法（如[15]中报道的）通过在水箱外放置两个正交放置的相机来获取荧光标记浮游生物的立体信息。然而，这种系统需要一个抗振动平台来保持严格的视野（FOV）校准，导致在复杂的水下环境中部署困难且成本较高。总之，现有的水下系统无法同时保留浮游生物的颜色信息、精细的内部结构信息和3D坐标，而这些对于高精度自动识别观察目标至关重要。 近年来，光场（LF）相机[16]、[17]虽然基于与数字全息显微镜完全不同的原理，但已证明其能够从记录的四维LF数据中渲染聚焦图像并估计场景深度[18]、[19]。结合暗场照明，可以使传统的水下浮游生物相机捕捉到高对比度和色彩丰富的浮游生物图像，并具有清晰的内部结构。将紧凑的微透镜阵列（MLA）集成到成像系统中，将其转换为聚焦全景配置，在实验平台上初步证明了这是一种可行的方法，可以同时实现彩色浮游生物成像、景深扩展和深度估计，且系统复杂度低，只需单次曝光[20]。 然而，尽管近年来已有报道关于LF相机在水下的应用，但很少有研究探讨水下折射对单个聚焦LF相机沿深度方向工作距离的影响，而这对于水下3D测量至关重要。例如，[21]中的工作没有考虑折射在深度估计过程中的影响。在粒子图像测速（PIV）应用中，通常使用非聚焦LF相机——这些相机基于不同的工作原理，空间分辨率较低，这使得难以解析目标对象的精细纹理细节[22]。[23]中的工作关注了折射对LF相机视野（FOV）的影响，并优化了相应的设计参数，但没有解决其对物理深度估计的影响。在参考文献[24]中，使用两个非聚焦LF相机来减轻折射引起的畸变并估计宽场景深度。然而，由于浮游生物观测所需的高放大倍数与有限的FOV之间存在固有的权衡，这种方法似乎不适用于水下浮游生物监测，因为难以在两个相机之间有效获得重叠的成像体积。 此外，传统的聚焦LF深度模型（包括在空气中使用的模型）通常依赖于主镜头的焦距[25]、[26]。对于水下浮游生物监测，通常使用远心镜头作为主镜头以确保不同深度下的成像尺寸一致。然而，与传统成像镜头不同，远心镜头不提供明确的焦距参数。因此，有必要开发一种不依赖于迭代初始值的盲校正方法来估计未知的系统参数，通常是主镜头的有效焦距。 为了解决这些限制，我们开发了一种水下聚焦全景浮游生物相机（FPPC）。首先，建立了一个新的水下多介质折射中单聚焦LF成像系统的物理模型，实现了虚拟深度与物理距离之间的明确关联。为了解决通常用于浮游生物观测的远心镜头中未知焦距参数的问题，提出了一种基于我们物理模型的线性盲校正方法，无需任何初始迭代猜测即可估计系统参数，显著降低了校准复杂性。通过进一步结合改进的自动对焦算法和迭代的形态学“修剪”方法来准确定位浮游生物的ROI中心，据我们所知，这项研究首次实现了对包括水蚤和桡足类在内的浮游生物游动行为的高对比度颜色和精细结构细节的3D观测。

水下FPPC系统

图1展示了本研究中使用的水下FPPC系统的外观和内部结构。系统的整体尺寸为69厘米长×Φ12厘米×Φ8厘米，包括一个同心照明室和一个成像室。该系统通过防水连接器与岸上设备连接并供电。

基于单聚焦全景系统的 underwater 光传输模型

由于水下多介质折射不可避免地会改变成像系统的工作距离，本节提出了一种基于单聚焦LF结构的水下光传输模型。图3展示了从水中的点光源发出的光在穿过多种介质后最终聚焦到成像传感器上的过程。其中，$d_1$、$d_2$ 和 $d_3$ 分别表示光在水、光学窗口和空气中的传播距离。

深度校正和验证

为了验证所提出的校正模型沿深度方向的准确性，构建了一个水下实验装置，如图6(a)所示。所有组件都浸入一个尺寸为100厘米×30厘米×30厘米的水箱中。由于模型中的参数（如窗口厚度、成像室的光学窗口与LF相机之间的距离以及成像系统的内部设计参数）在组装后保持不变[21]，因此只需对成像部分进行校准。

未来现场应用的误差来源及潜在解决方案

• (1)
  由于温度和盐度梯度引起的折射率漂移。自然水体的温度和盐度通常在大约0–30°C和0–40‰的范围内波动，导致水的折射率变化在大约1.33到1.34之间[37]。根据公式（12）$d_1\propto n_w$，这种变化理论上不会导致校准模型和现场测量之间的误差超过1%。由于现场的温度和盐度

结论

总之，本研究提出了第一个水下FPPC系统及其新颖的水下3D观测框架，该框架结合了物理多介质折射模型、线性盲校正策略以及集成的自动对焦和基于修剪的定位算法。首先基于单聚焦LF系统构建了一个水下多介质折射模型，以准确关联水下条件下的虚拟深度与空间物理坐标，这是前所未有的。

生成式AI和AI辅助技术在写作过程中的声明

在准备这项工作时，作者使用ChatGPT进行了英文润色，以提高手稿的可读性和语言表达。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

CRediT作者贡献声明

宋红：写作 – 审稿与编辑、监督、资源获取。王桥峰：写作 – 审稿与编辑、初稿撰写、软件开发、方法论构建、概念化。赛义德·拉扎·梅赫迪：写作 – 审稿与编辑、验证、方法论构建。王梦杰：写作 – 审稿与编辑、验证、方法论构建。李晓冰：写作 – 审稿与编辑、验证、方法论构建。张琦：写作 – 审稿与编辑、验证。黄辉：写作 – 审稿与编辑、验证。

资助

本工作得到了浙江省重点研发计划（项目编号：2024C03036）、浙江影视媒体技术重点实验室开放基金（项目编号：CM2025004）以及中国长三角科技创新共同体（项目编号：2024CSJGG2600）的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。