编辑推荐：
水下图像拼接框架OM-UIS结合深度学习特征匹配与多波段融合技术，通过DISK和LightGlue提升对齐精度，采用加速局部变换优化几何校正，并利用能量映射引导的接缝计算与多波段融合策略消除伪影，显著提升低质量水下图像拼接质量。
Jingchun Zhou|Jiongjiong Wang|Bing Long|Dehuan Zhang|Qiuping Jiang
大连海事大学信息科学与技术学院，中国大连116026
摘要
水下图像拼接在海洋学和生态监测中有很多应用。然而，由于水介质的强吸收和散射效应，传统的拼接算法受到这些特性的显著影响。许多现有方法可能会导致从大视差或低纹理区域捕获的图像出现错位问题和视觉伪影。在本文中，我们提出了一种名为OM-UIS的新水下图像拼接框架，该框架结合了接缝估计和多波段融合技术。具体来说，我们使用了基于深度学习的DISK和LightGlue方法，这些方法显著提高了匹配精度，尤其是在质量较差的水下图像上。接下来，我们应用了一种基于能量映射的接缝估计技术，可以减少由视差引起的几何失真和视觉伪影，从而确保融合区域的组合在空间上是一致的。最后，我们使用多波段融合方法来优化接缝区域的过渡，抑制图像拼接中的可见伪影，确保拼接结果的自然性和高质量。综合实验表明，我们的OM-UIS在拼接性能方面比现有框架更有效。
引言
水下图像拼接在水下视觉应用、海洋学和海洋探索中起着重要作用。然而，传统的拼接方法容易受到水下环境中图像质量差的影响，这些因素包括强衰减、散射效应、颜色偏差、对比度低以及移动物体[1]，[2]。这些因素不仅限制了单视图图像的视野和信息完整性，还导致信噪比低、模糊和细节丢失，使得高精度任务变得更加复杂[3]，[4]，[5]。为了为下游应用（如物体检测和3D重建）提供更可靠的输入，水下图像拼接将多个重叠图像组合成高清晰度的宽角度全景图，从而提供更丰富的视觉信息[6]，[7]，[8]。因此，提高水下环境中图像拼接的鲁棒性和精度成为一个重要问题。
在具有挑战性的水下场景中，图像拼接的准确性和鲁棒性已成为一个重要的研究课题，因为水下场景具有独特的光学和物理特性，这些特性会显著降低视觉信息的质量。特别是深水区域或浑浊水域具有显著的吸收和散射效应，导致图像模糊且对比度低。弱信噪比和噪声使得检测可靠特征变得更加困难，限制了可检测特征点和潜在匹配的数量[9]，[10]。光的差异吸收会导致颜色异常，而特征则因折射而变形。变化的照明条件和外部因素增加了匹配的误差，使得找到对应关系变得更加困难，从而增加了拼接的复杂性。
传统的特征检测方法主要依赖于低级视觉线索，如梯度和边缘方向，它们在旋转和缩放方面的泛化能力有限。传统方法无法理解高级语义，这导致特征匹配误差较大。特别是在具有复杂背景纹理、不均匀照明条件以及低图像质量的不利水下环境中。所有这些方法都存在问题，因为它们具有固定的模式和预定义的参数。相比之下，基于深度学习的方法通过端到端的数据驱动学习过程来学习匹配规则，在更恶劣的条件下表现出更好的鲁棒性，以及更高的配准精度和更少的伪影和错位。
为了解决上述问题，本文提出了一种新的水下图像拼接框架OM-UIS，该框架采用了深度学习算法和迭代优化策略。具体来说，本工作的主要贡献如下：
(1)我们使用基于深度学习的特征点检测和匹配网络DISK和LightGlue来提取和匹配关键点，有效提高了在恶劣水下能见度条件下的匹配精度。
(2)我们提出了一种加速的局部变换方法，可以同时有效提高算法的速度和输出图像的局部外观，并有效抑制拼接后的局部混叠效应。
(3)我们提出了一种新的图像融合方法。该方法结合了最优接缝估计和多波段融合策略，有效消除了图像拼接中的伪影和错误匹配。
相关工作
相关工作
获得重叠水下图像的无缝合成是一个具有挑战性的任务。整个流程包括两个主要阶段：图像对齐和无缝融合。我们回顾了这两项任务的现有工作，特别是从传统的基于特征的匹配算法到最近的深度学习方法的发展。一旦图像对成功对齐，我们将使用图像融合来去除视觉伪影并获得完整的拼接结果。
提出的方法
我们的OM-UIS框架由四个相互连接的模块组成：特征点匹配、图像对齐、接缝计算和图像融合，如图1所示。首先，我们使用DISK [26]和LightGlue [27]来建立稳健的特征对应关系。然后使用多层预计算机制和双三次插值对图像进行对齐。最后，计算出最优接缝，并应用多波段融合来生成无缝结果。算法1总结了我们的方法。
数据集和指标
为了评估所提出的OM-UIS框架的有效性，由于缺乏公开可用的水下图像拼接数据集，我们构建了一个小规模测试数据集。该数据集包含50多对图像，主要来自公共潜水视频截图。数据集的一部分补充了来自其他水下数据集([29]和[30])的图像以及来自ERH [15]的增强图像对（图5(d)）。
我们提出的数据集涵盖了多种水下环境
局限性分析
深度学习特征提取模型容易产生高计算复杂性，这使得难以处理高分辨率图像的实时检测任务。为此，我们考虑了一些可以应用的优化方法。轻量级网络架构可以通过利用图像金字塔来降低整体复杂性，并将计算资源集中在关键区域。我们还可以结合模型压缩策略，如剪枝和量化
结论
在本文中，我们提出了OM-UIS水下图像拼接框架，该框架借助基于深度学习的特征检测和匹配技术，大大提高了水下图像拼接的成功率和图像质量。所提出的框架包括四个主要阶段：特征匹配、图像对齐、接缝检测和图像融合。此外，我们引入了一种加速的局部变换和一种新的图像融合方法来提高计算效率，
资助
本工作部分得到了国家自然科学基金（编号62301105）、四川省智能警务重点实验室（编号ZNJW2025KFMS001）、辽宁省科技计划联合项目（自然科学基金-普通项目）（编号2025-MSLH-113）、中央高校基本科研业务费（编号3132025268）以及辽宁省基本科研业务费的支持
CRediT作者贡献声明
Jingchun Zhou：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，形式分析，数据管理，概念化。Jiongjiong Wang：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，方法论，数据管理，概念化。Bing Long：撰写 – 审稿与编辑，撰写 – 原稿，项目管理，资金
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
