《Optics & Laser Technology》：Adaptive multi-layer region-backtracking compensation with hybrid-structure model for concentric camera distortion correction
编辑推荐：
提出基于混合结构模型的自适应多层区域回溯补偿方法，通过固定结构模型实现全局畸变校正，结合随机结构模型和AMRC策略进行局部残差补偿，在保持物理可解释性的同时实现0.5像素级精度，解决大视场同心相机定位误差问题。
作者：葛驰、黄亚伟、胡春晖、闫长祥
中国科学院长春光学精密机械与物理研究所，中国长春 130033
摘要
同心相机因其大视野和小型化特性而受到重视，但在大视野下会遭受严重的非均匀畸变，导致目标识别中的定位误差显著。为了解决这个问题，我们提出了一种基于混合结构模型的自适应多层区域回溯补偿方法。该方法首先使用从同心投影校准（主点、焦距）和模拟数据得出的固定结构模型进行全局校正。然后，利用通过AMRC策略和迭代优化得到的随机结构模型对由光纤图像传输设备和制造过程引起的残余畸变进行局部补偿。这种从全局到局部的协同校正实现了0.5像素的精度。该方法有效减少了畸变，提高了校正精度，并为大视野光学成像系统的畸变校正提供了一个有价值的框架。
引言
同心相机具有大视野、体积小和经济效益高的特点。在安装和光学制造过程中，光学元件的影响以及其他因素会导致物体在探测器中的成像偏离针孔成像模型，即物体理想位置与探测器实际位置之间的偏差，这通常被称为同心相机的光学畸变。这种畸变包括同心光学系统本身固有的成像畸变以及由光纤图像传输设备和制造过程引入的随机畸变。同心相机的畸变会影响目标点的定位精度，无法准确反映真实情况。由于大视野，同心相机的畸变更为复杂。
光学畸变的校正方法可以分为两种：一种是在光学设计过程中考虑畸变的影响，控制光学元件的参数等信息以减少畸变的影响；另一种是在光学系统成像后处理图像，通过建立适当的校准板信息，利用投影变换或几何不变性获取目标的实际像素位置，从而完成相机的畸变校正。在实际应用中，如果在光学设计阶段就考虑畸变问题，可能会增加光学系统的体积，这与小型化的要求相矛盾。因此，通常使用图像处理方法来校正畸变。基于大视野光学系统的图像处理畸变校正方法包括基于校准板的、参考物体的、主动视觉的、自校准和智能畸变校正等方法[4][5][6]。张正友的校准方法是最早的畸变校正方法之一，他在1998年使用黑白矩形形成棋盘图，通过不同位置、角度和姿态的校准板获取多张校准图像，并通过交点检测匹配特征点，然后通过传统的畸变模型完成相机的畸变校正[7]；2015年，钱阳等人提出了一种针对正交分割成像姿态传感器的畸变校正方法，该方法结合了基于正交多项式的最小二乘拟合特性和基于交叉比不变性的畸变校正。利用交叉比不变性构建正交多项式，并通过最小二乘法求解，避免了病态拟合矩阵和优化过程中存在的问题[8]；2016年，刘阳等人提出了一种基于纯平面双视图几何的镜头畸变参数校准方法，利用投影几何和纯平面双视图几何的固有特性，构建了四组约束方程来求解畸变参数，并提出了一种使用四维电子控制平台在视野不同区域拍摄多组纯平面运动图像的畸变参数校准过程，较小的目标用于校准大视野相机[9]；2017年，余某提出了针对目标距离光学镜头的畸变校正方法，针对畸变校正后的残差误差较大的问题，提出了局部最小二乘法和分形插值面方法，根据一定规则将视野划分为多个局部区域，使用局部最小二乘法获取局部畸变参数，并通过分形插值面方法在整个视野范围内插值得到校正值[10]；2022年，姜林毅等人提出了一种基于空间多模块拼接大格式红外相机的局部测量外推畸变校正方法，通过不同姿态角度在局部子区域获取点，完成主点和焦距的校正，利用局部测量值通过三次多项式模型进行畸变校正，并进行合理外推，但该方法受到局部子区域内点数和影响相机畸变的随机变量的限制，外推方法存在一定的局限性[11]；2024年，田某提出了一种针对大视野红外相机的畸变校正方法，利用红外图像中特征点满足的几何约束进行自校准畸变校正。该方法不需要预先知道相机的参数信息，而是基于具有相同场景和对应特征点的两张异常红外图像，通过匹配特征点并使用九点非迭代算法和核密度估计方法获取图像分割畸变模型中的参数大小，但这种方法会导致原始图像视野的减小[12]；2024年，陈某提出了一种基于深度神经网络的在轨校正方法，用于恒星敏感器成像，该方法基于BP算法，使计算模型能够多层次学习数据的表示，并通过智能算法求解畸变校正模型的参数[13]，但该方法需要大量的实验数据和相对先进的硬件。
综上所述，对于大视野光学系统的畸变校正方法，需要注意校准板上控制点的数量及其均匀性，以避免在求解模型时陷入局部最优解，校准板的精度要求较高，且校准板的处理较为困难[14]。其次，在实验室校准过程中，光学系统没有足够的空间进行姿态变化，同时需要足够大的校准板来覆盖整个视野。对于畸变建模方法，全局多项式模型在大视野条件下往往无法在中心和周边区域保持高校正精度。分段模型和样条曲面可以提高局部拟合性能，但依赖于密集且均匀分布的校准点，不适合以恒星点源为主的稀疏成像场景。基于学习的方法需要大量的训练数据和大量的计算资源，这对实时性和资源有限的系统来说是一个挑战。因此，这些方法无法充分满足同心光学相机的实际畸变校正需求。基于此分析，本研究提出了一种基于自适应多层区域回溯补偿的同心相机畸变校正方法，该方法采用混合结构模型，摆脱了实验室的限制，利用实际捕获的恒星点图像作为分析基础，弥补了数据点无法覆盖相机整个视野的问题。根据同心相机的成像投影模型，考虑相机组装和光学制造过程中主点和焦距的变化，并利用已知信息，求解目标点在三维空间中投影到二维图像上的旋转矩阵，同时进行同心相机主点和焦距的检测和校准。考虑到大视野同心光学相机中复杂的畸变源，使用固定结构模型描述光学系统的固有畸变特性，而随机结构模型捕捉由光纤图像传输设备和制造过程引入的随机畸变。通过基于畸变源构建模型并使用自适应多层区域回溯补偿（AMRC）求解畸变校正参数，所提出的方法避免了单一模型的局限性，保持了良好的物理可解释性和数值稳定性，在实际成像和全视野建模条件下实现了高精度的畸变校正。
相机成像的基本原理
相机的理想成像模型是针孔成像模型，它是光学系统畸变校正的理论基础。通常，针孔成像涉及四个坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。
同心相机主点和焦距的检测与校准
本研究使用的数据来自光学成像系统的室外实验，以Tycho-2星表作为同心光学相机畸变校正研究的参考目标。图像探测器的分辨率为3700万像素，像素大小为10 μm。采用多帧连续检测算法识别和定位目标点，这些目标点随后作为畸变校正方法的输入数据。
结论
本研究提出了一种基于自适应多层区域回溯补偿和混合结构模型的同心相机畸变校正方法。由于特殊的结构，同心相机可以实现大视野成像。具体而言，该方法首先使用固定结构模型进行基本建模和畸变校正，然后结合AMRC方法精细化和校正残余畸变。
CRediT作者贡献声明
葛驰：撰写 – 原始草稿、验证、方法论、数据管理。黄亚伟：撰写 – 审稿与编辑。胡春晖：资源协调、项目管理。闫长祥：监督、资金获取。
资助
国家自然科学基金（项目编号：62275114；62105331；62505316）
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
