OmniLens：通过从LensLib到特定领域的适配实现通用镜头像差校正

该研究提出OmniLens框架，通过自动光学设计（EAOD）构建覆盖广泛的LensLib，并基于暗通道先验（DCP）设计无监督域适应方法，实现通用计算像差校正（CAC）。实验表明，该框架在未标注新镜头场景下PSNR提升达0.35-1.81dB，尤其在严重畸变时性能显著增强。

　　

姜祺|高瑶|高少华|易中华|钱小龙|史浩|杨凯伦|孙雷|王凯伟|白健

中国浙江省杭州市浙江大学光学科学与工程学院极端光子学与仪器国家重点实验室，310027

摘要

新兴的通用计算像差校正（CAC）范式为轻量化和高质量成像提供了一种鼓舞人心的解决方案，该方案基于一个镜头库（LensLib）训练出的通用模型，能够自动处理任意镜头的光学像差。然而，现有LensLib的覆盖范围有限，导致训练模型的泛化能力较差，无法很好地适应未见过的镜头，其微调流程也仅限于已知镜头描述的情况。在这项工作中，我们提出了OmniLens，这是一种灵活的通用CAC解决方案：（i）通过构建一个具有全面覆盖范围的LensLib来预训练一个强大的基础模型；（ii）通过快速的从LensLib到特定领域的适应机制，使模型能够适应任何具有未知镜头描述的特定镜头设计。为此，我们提出了一种基于进化的自动光学设计（EAOD）流程，用于生成具有真实像差行为的多种镜头样本。然后，我们基于对镜头像差引起的退化过程中暗通道先验的统计观察，设计了一个无监督的正则化项，以实现高效的领域适应。大量实验表明，由EAOD生成的LensLib能够有效地开发出具有强大泛化能力的通用CAC模型，该模型还能将非盲式镜头特定方法的PSNR提升0.35~1.81dB。此外，所提出的领域适应方法显著改进了基础模型，尤其是在严重像差情况下（PSNR提升最多2.59dB）。代码和数据将在https://github.com/zju-jiangqi/OmniLens上提供。

引言

计算像差校正（CAC）结合了图像修复技术，用于处理目标光学镜头残余像差引起的退化，这是计算成像领域一个基本且长期存在的问题[3][4]。这项技术在移动和可穿戴视觉终端中特别受欢迎，因为这些设备需要轻量化和高质量的摄影[5][6]，通常使用结构简单但光学退化严重的低端镜头[7][8]，如图1(a)所示。近期，基于深度学习（DL）的CAC方法[9][10][11]取得了显著进展，这些方法配备了强大的图像修复网络[12][14]，并在特定镜头光学退化的数据对上进行训练[10][2]。然而，这些方法总是针对特定镜头进行定制，导致其泛化能力有限，无法应用于其他不同设计的镜头。因此，开发一个基于镜头库（LensLib）训练的通用CAC模型以处理任意光学退化问题变得至关重要。然而，现有解决方案[1][15]存在两个主要局限性：（i）手动收集的LensLib覆盖范围有限且不便于扩展，当目标镜头是新的、从未见过的样本时，CAC效果较差，如图1(b)所示；（ii）模型适应的微调策略[1]需要已知或校准的镜头描述，这在实际应用中难以实现。最近，领域适应（DA）[16][17][18]的快速发展为将基于充分标记数据的模型适应到带有领域变化的未标记数据提供了有效途径，这为调整未知描述镜头的通用CAC模型带来了潜力，但尚未得到充分探索。

在这项工作中，我们构建了一个灵活的通用CAC框架OmniLens，将CAC视为从大型LensLib到特定镜头的领域适应问题。首先，我们构建了一个涵盖真实世界镜头可能像差行为的可靠LensLib，以预训练出一个具有强大泛化能力的基础模型。为此，我们提出了一种基于进化的自动光学设计（EAOD）方法，用于自动生成LensLib，该方法包括丰富镜头结构多样性的进化机制和确保其合理像差行为的综合优化目标。如图1(c)所示，基于自动生成的LensLib预训练的模型能够很好地泛化到未在训练中见过的镜头。然后，结合特定镜头的易于获取的真实捕获图像，通过LensLib到特定领域的适应来微调预训练模型，以获得更好的特定CAC效果。为此，我们基于对光学退化中暗通道先验（DCP）的统计观察，开发了一个高效的DA框架，该框架以无监督正则化项的形式约束CAC模型，以实现快速和少样本的领域适应。尽管这种方法是在没有镜头描述的情况下进行的盲解卷积，但适应后的模型仍能取得优异的结果，如图1(d)所示。

在各种测试镜头和网络上的广泛实验进一步证明了：i) EAOD生成的LensLib在训练强大的盲式通用CAC模型方面表现出最佳性能；ii) 基于LensLib的预训练进一步改进了非盲式镜头特定模型；iii) LensLib到特定领域的适应显著提升了基础模型在具有挑战性的实际场景中的性能。

总之，OmniLens为没有光学背景的用户提供了一种对未知镜头进行CAC的解决方案，同时也为非盲式镜头特定CAC的研究提供了坚实的基础。主要贡献总结如下：

• 我们提出了将通用CAC视为从LensLib到特定领域适应的新见解。
• 我们设计了基于进化的自动光学设计（EAOD）方法，构建了一个具有强大泛化能力的可靠LensLib。
• 我们提出了一种高效的无监督DA框架，用于将预训练模型适应特定镜头。
• 在6种测试镜头和3种网络上进行的广泛实验验证了OmniLens在盲式校正未知镜头像差方面的有效性，其中预训练基础也有助于实现非盲式镜头特定解决方案。

相关工作

计算像差校正（CAC）旨在改善具有光学退化的低端镜头的图像质量[3][7]。得益于低级视觉领域图像修复网络[12][13][20]的快速发展，基于学习的CAC方法[10][11][21]比基于模型的方法[22][23][24]取得了更令人印象深刻的结果。这些方法可以被视为端到端非盲式解卷积的隐式建模。

动机

随着大型数据和模型的最新进展，图像修复技术正朝着一体化范式发展[43][44][45]。这些发展表明，在广泛分布的多重图像退化数据上进行训练，可以使通用模型有效地学习从噪声、运动模糊、雾和弱光等退化到清晰图像的多种映射。此外，在常见的基于学习的非盲式CAC流程中，模型通常在具有像差的数据上进行训练

实施细节

评估协议。我们手动设计了6种不同的特定镜头作为测试样本，包括4种球面镜头（S-1P-I、S-1P-II、S-2P和S-3P）和2种非球面镜头（AS-1P和AS-3P），每种镜头的数量不同。然后根据成像模拟设置了一个合成基准测试图像集，使用PSNR、SSIM [57]、LPIPS [58]和FID [59]等指标进行综合评估，以直观评估每种方法的性能。

结论

本文介绍了一个基于LensLib预训练和LensLib到特定领域适应的通用CAC框架OmniLens。首先，我们基于镜头数据库AODLib开发了一个具有强大泛化能力的预训练模型。这是通过提出的EAOD方法实现的，该方法可以自动设计大量涵盖真实世界像差行为的镜头样本。预训练模型还具有作为强大预训练基础的潜力

CRediT作者贡献声明

姜祺：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、软件、方法论、数据管理、概念化。 高瑶：撰写——原始草稿、可视化、验证、方法论、数据管理、概念化。 高少华：撰写——审稿与编辑、方法论、数据管理。 易中华：方法论、数据管理。 钱小龙：可视化、数据管理。 史浩：方法论。 杨凯伦：撰写——审稿与编辑、撰写——原始草稿

资助

中国浙江省自然科学基金（项目编号LZ24F050003）。余姚市企业创新联盟项目（2024YYS220008）。 国家自然科学基金（NSFC）（项目编号62473139）。 湖南省研究与发展项目（项目编号2025QK3019）。 中国工业控制技术国家重点实验室开放研究项目（项目编号ICT2025B20）。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。