编辑推荐:
图像去模糊技术研究综述,系统分类分析基于核的传统与深度学习方法,以及无需核的深度学习方法,量化评估其性能差异,探讨物理模型融合与跨域迁移等未来方向。
丁丹|史峰|叶莉|赵鹏|王连凯|闫磊|叶阳
中国西安,低水平光科学技术国家重点实验室,710065
摘要
随着对显示质量要求的不断提高,由于相机抖动、失焦或物体运动导致的图像模糊严重偏离了人们对高清高质量图像的期望。因此,图像去模糊已成为提高图像质量的关键技术之一,它通过消除图像模糊来恢复清晰图像。本文对近年来发表的单盲图像去模糊方法进行了全面调查和分析,旨在为相关研究人员提供有价值的参考。首先,介绍了图像模糊的常见原因、图像质量评估指标和基准数据集。接下来,基于核估计,详细分类并分析了单盲图像去模糊方法,包括基于核的传统方法和深度学习方法,以及无核深度学习方法。并对几种代表性方法进行了定量和定性分析,总结了它们的特点和应用场景。最后,讨论了当前图像去模糊方法面临的挑战和潜在机会。
引言
图像模糊在商业相机、医学成像设备、天文成像系统和科学显微镜等成像显示系统中很常见[1]。它由多种内部和外部因素引起,内部因素包括衍射、镜头色差、抗锯齿滤波器等,外部因素包括物体运动、相机抖动、失焦、大气湍流等[2]。模糊图像通常被认为是原始清晰图像与模糊核卷积的结果[3]。
图像去模糊旨在从模糊图像中恢复清晰图像,根据是否知道模糊核,可以分为非盲图像去模糊和盲图像去模糊。非盲图像去模糊假设模糊核完全或部分已知,并应用图像反卷积(Wiener滤波器、Richardson-Lucy滤波器等)来恢复图像[4]。盲图像去模糊假设模糊核完全未知,是一个病态问题,更具挑战性。传统的盲图像去模糊方法基于统计先验估计模糊核,然后根据模糊核去除图像模糊。由于神经网络具有强大的特征提取能力,基于深度学习的核估计方法性能更高。此外,无核盲图像去模糊方法可以完全跳过模糊核估计,直接通过深度学习从模糊图像中恢复清晰图像[5]。
现有研究(Su等人,2022年[6];Jiang等人,2025年[7])探讨了图像恢复的一般技术,或对去模糊技术进行了定期回顾(Zhang等人,2022年[8];Biyouki等人,2023年[9])。深度学习范式的快速迭代使得这些回顾在时效性和理论深度上滞后,特别是在缺乏对最新出现的Transformer、Mamba、Diffusion模型和物理驱动深度学习策略的深入研究方面。鉴于单图像盲去模糊在现实世界场景中的固有挑战,本综述进行了新颖的维度综合,不仅系统地组织了最先进的算法,还深入探讨了它们的技术瓶颈和潜在的发展方向。通过前瞻性的趋势预测,本文旨在为解决复杂现实世界场景中去模糊任务的研究人员提供坚实的理论支持和实用的技术参考。图1显示了主要结构。本综述的主要贡献包括:(1)介绍图像模糊的原因、图像去模糊任务中的常见数据集和评估指标;(2)对单盲图像去模糊方法进行更广泛的调查,包括基于核的传统方法和深度学习方法,以及无核深度学习方法;(3)对代表性方法进行定性和定量分析;(4)从网络结构、资源需求和去模糊效果的角度总结每种图像去模糊方法的优点、缺点和应用潜力;(5)讨论该领域的当前挑战和未来方向。
章节片段
图像模糊理论
图像模糊是在图像采集过程中由多种因素引起的,例如:相机抖动、物体运动和设备失焦[10]。图像模糊过程可以建模为:通过将噪声添加到原始清晰图像和模糊核的卷积结果上,得到模糊图像其中表示卷积操作,表示模糊核或点扩散函数(PSF)。
运动模糊:运动模糊是指
基于核的图像去模糊方法
基于核的图像去模糊方法通常分为两个步骤:模糊估计和去模糊。该技术通过分析模糊特征来计算模糊核,然后根据模糊核和模糊图像恢复清晰图像。
定量分析
为了系统地评估各种图像去模糊方法,表5总结了代表性模型在失焦数据集(DPDD [159]、RealDOF [160]、LFDOP、RTF [161])上的质量评估(PSNR、SSIM、LPIPS)和计算成本(参数(Params)和浮点运算(FLOPs)。表6进一步展示了它们在合成运动模糊数据集(GoPro、HIDE)和真实世界数据集(RealBlur R、RealBlur J)上的性能。所有结果均来源于相应的论文或
总结与讨论
图像去模糊在图像处理中起着重要作用。根据是否使用模糊核估计,本文系统地对近年来深度学习的盲图像去模糊方法进行了分类、介绍和分析。以下是基于核的方法和无核方法的特点和应用场景的总结。
基于核的方法侧重于模糊核的估计
挑战与机遇
尽管当前在图像去模糊方面的研究取得了一些进展,但由于成像环境的复杂性,在实际应用中仍存在一些挑战。同时,这些挑战也为未来的研究提供了一些可能的方向。
物理模型:图像模糊本质上是物理成像过程的退化结果。为了在特定设备或场景条件下解决模糊问题,需要嵌入物理成像模型,如点扩散模型
未引用的参考文献
[40], [91], [99], [100], [101], [102], [103], [105], [153]。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国国家重点研发计划(2023YFE0108800)和国家自然科学基金(62271259)的支持。