《Engineering Applications of Artificial Intelligence》：Rethinking the local constraints: Geometric continuity regularization for image alignment
编辑推荐：
图像配准中特征缺失区域建模存在过度平滑问题，本文提出基于几何连续性（G1）的正则化方法，通过约束局部区域切向方向平行性实现更自然的变形，显著降低失真能量。实验表明该方法在REAL-IA和UDIS-D数据集上对齐精度提升明显。
陈寅祺|郑扬婷|李佩文|罗伟健|康硕|高翔|刘超|张硕|张楠
河南农业大学信息与管理科学学院，郑州，410100，中国
摘要
在图像对齐研究中，现有研究常常忽略了无特征区域的建模，而这些区域本质上缺乏可靠的特征。虽然已经采用了间接策略（如添加更多几何特征）来减少这类区域，但它们受到场景自然变异性的限制。相反，直接对这些区域进行建模可以使得局部一致性约束从特征丰富的区域传播到无特征区域。然而，现有的局部一致性约束仅依赖于参数连续性（C1），这可能导致由于参数约束过严而产生过度的平滑和失真。相比之下，几何连续性（G1）放宽了参数约束，同时保证了视觉准确性，从而使得结果具有更低的失真能量。因此，本文首次严格探讨了局部约束的合理性，验证了它们在无特征区域建模中的能力，并从理论上证明了G1连续性能有效最小化失真。基于这些分析，我们引入了G1连续性正则化；为了强制这一属性，正则化项直接惩罚网格顶点或网络学习变换中的偏差。与现有方法相比，我们的方法取得了显著更好的性能。
引言
图像对齐是机器人视觉和增强现实（AR）的关键方面（Gao等人，2011年），在图像拼接（Zhu等人，2023年；Chen等人，2021b年）、图像配准（Battiato等人，2010年）和视频稳定（Liu等人，2025b年）等领域有广泛的应用。对于图像对齐，最基本的几何模型是单应性，可以将其想象为通过将一个弹性正方形的四个角移动到任意位置来拉伸它（图1）。利用这种几何模型，图像被转换成另一个图像的形状以实现对齐。它通过建立计算机视觉中不同视图之间的对应关系，使得应用范围大大扩展。
图像对齐中的一个障碍是存在无特征区域，例如具有重复纹理的地面区域，这些区域缺乏可匹配的特征或结构（图2(a)）。这些区域本质上无法提供可靠的点对应关系，导致传统的对齐流程失败。为了缓解这一问题，研究集中在引入更丰富或更健壮的特征上，包括点特征（Zhang等人，2014年；Zaragoza等人，2013年；Lin等人，2017年；Liu等人，2016年；Li等人，2018年）、线特征（Jia等人，2021年；Xiang等人，2016年，2018年）、角特征（Chen等人，2021a年）、几何特征（Du等人，2022年）和平面特征（Liao等人，2025年；Gao等人，2011年；Zheng等人，2019年；Lee等人，2020年；Lin等人，2022年；Wang等人，2024年；Cai等人，2025年；Mi等人，2024年）。同时，深度学习模型已经发展到能够进行全局（Song等人，2021年；Zhao等人，2021年；Cao等人，2022年，2023年；Nie等人，2021年；Prokop等人，2024年；Jiang等人，2023年；Zhu等人，2024年；Zhou等人，2024年）和局部（Liu等人，2023年，2025a年；Nie等人，2022年，2023年；Kim等人，2024年）单应性估计，以绕过显式的特征匹配。然而，这些方法在处理多样化的场景和分辨率时通常存在泛化能力不足的问题，并且它们并没有从根本上解决无特征区域中的对应关系稀疏性问题。如图2(b)所示，地面和墙壁上的重复纹理、道路上的边缘图案以及建筑物和地板的交界处构成了无特征区域，在这些区域中很难提取显著特征。这些区域直接成为上述方法的瓶颈。
在这种背景下，一个关键的文献空白仍然存在：现有方法主要将问题视为特征供应问题，忽略了无特征区域中正则化先验的基础作用。由于在特征缺失时，估计必须依赖局部一致性约束来传播变换。从局部一致性约束的角度来看，无论是基于网格的方法（Zhang等人，2014年；Chen等人，2021a年；Lin等人，2017年；Xiang等人，2018年）还是基于深度单应性的方法（Liao等人，2025年；Liu等人，2025a年；Lin等人，2011年，2022年；Wang等人，2024年；Kim等人，2024年；Zaragoza等人，2014年；Chang等人，2014年），都本质上强制执行C1连续性。然而，这种策略与现实场景严重不匹配：C1所要求的严格参数平滑性是从形状编辑（Igarashi等人，2009年）中借鉴而来的，对于对齐来说过于严格。它通过禁止实际所需的灵活性，在无特征区域中引入了不自然的失真。如图2(b)所示，同一平面上的墙壁和地面由于其他平面参数的影响而发生失真。
总体而言，现有的基于特征的方法通过建立参考图像和源图像之间的对应关系来优化对齐，从而强制执行图像间的约束。虽然有效，但这些方法往往忽视了更基本的正则化形式：即来自源图像本身纯几何先验的图像内约束。这种约束强制变换在相邻网格单元或参数域内的平滑变化，与特征匹配无关。尽管其重要性不言而喻，但在文献中长期被忽视。因此，本文正式引入并研究了这种类型的图像内规则性，我们将其称为局部一致性约束。具体来说，我们认为在无特征区域中进行合理对齐的核心要求不是严格的参数连续性，而是几何连续性。由于G1中的几何连续性放宽了C1的参数约束，仅要求切线方向的对齐（共线性）。这为视觉平滑性提供了足够的自由度，同时允许无特征区域中必要的变形灵活性（如图2(c)所示）。基于这一见解，我们从广义的角度审视了图像对齐问题，并提出了一个实用的G1连续性正则化框架。我们将G1连续性表述为一个正则化项，该项直接惩罚局部块共线性的偏差。然后，通过将基于共线性的迭代优化与网格线性系统求解器结合，并将基于共线性的损失函数与深度学习框架耦合，将所提出的正则化纳入各种图像对齐技术中。本文的贡献总结如下：
•理论构建：我们从广义的角度重新审视了图像对齐问题，并从理论上证明了G1连续性提供了必要的局部约束建模，证明了它克服了现有方法中存在的过参数化和失真问题。
•新的正则化框架：我们提出了一个实用的G1连续性正则化项，用于强制局部块的共线性。该框架既适用于基于网格的优化，也适用于深度学习流程，提高了对齐精度。
•实证验证：通过广泛的实验，我们证明了我们的G1正则化方法显著提高了对齐精度。这突显了所提出方法的有效性及其超越现有方法的潜力。
相关研究概述
从广义角度的相关工作
在图像对齐中，不变的图像称为参考图像，需要变换的图像称为源图像。图像对齐的主要目标是识别并比对这两幅图像之间的对应像素。
最初，全局单应性被广泛用于图像对齐（Brown等人，2007年；Harltey等人，2006年）。包括深度学习方法（Cao等人，2023年；Jiang等人，2023年；Zhu等人，2024年；Zhou等人，2024年；Liu等人，2023年；Wang等人
C1和G1连续性正则化的分析
在计算机图形学中，C1连续性在整个参数流形上强制执行严格的一阶平滑性。尽管在工业上很有吸引力，但这种刚性属性会扭曲图像对齐的变换空间结构。相比之下，G1连续性仅要求几何对齐，放宽了C1的参数约束。这些较弱的约束使得插值更加自然，显著降低了累积的失真能量。
提出的方法
本节的组织结构如下。第4.1节介绍了G1连续性约束，该约束通过共线性条件在相邻变换之间得到强制执行。随后的第4.2节和第4.3节分别详细阐述了这些约束的离散表述及其在网格优化和深度学习中的系统组装。使用的符号列在表2中。
实验
数据集：我们在两个数据集上进行了实验，一个是真实世界的图像对齐数据集--REAL-IA，另一个是广泛认可的基准数据集--UDIS-D（Nie等人，2021年）。
结论
在本文中，我们从广义的角度分析了现有方法，揭示了无特征区域中局部约束的重要性。然后，我们提出了一种称为G1连续性正则化的约束，该约束保持了网格单元边缘之间的切向量平行性。通过将G1连续性正则化整合到网格优化和深度学习中，G1连续性确保了无特征区域中的最小失真。与现有的图像对齐算法相比，
CRediT作者贡献声明
陈寅祺：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。郑扬婷：可视化，验证，方法论，调查，数据管理。李佩文：验证，方法论，数据管理。罗伟健：可视化，验证。康硕：可视化，验证，调查。高翔：可视化，验证。刘超：可视化，验证，监督，资金支持
资助
本工作得到了广东省CUI CAN计划（项目编号C24129HAE240）和河南省重点研发计划（编号251111313500）的支持。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
