编辑推荐:
本综述通过构建成像系统数字孪生与合成高对比度亮度场景,系统评价了高动态范围(High Dynamic Range, HDR)成像方法中多项参数(如图像获取策略、融合算法、传感器噪声、非线性与积分时间误差等)对测量准确性的影响,旨在确定可溯源至国际单位制(International System of Units, SI)的最佳HDR成像路径,为照明应用(如不舒适眩光、光污染等场景)提供准确、可溯源的亮度测量解决方案。
成像亮度测量技术正越来越多地应用于照明领域。相比于点式测量仪器,成像设备能够一次性捕捉整个场景的亮度信息,速度更快,且能以高空间分辨率提供每个像素的亮度值,从而更高效地对复杂场景进行光度学表征。然而,成像仪器中使用的矩阵传感器(如CCD或CMOS)的动态范围通常低于待研究场景所需的范围,尤其是在研究不舒适眩光、光污染等同时包含极亮光源和暗背景的场景时。为了克服这一设备限制,需要使用高动态范围(High Dynamic Range, HDR)成像技术。这些技术通过在不同曝光水平下捕获一系列低动态范围(Low Dynamic Range, LDR)图像,然后使用HDR融合算法将其合并为一张图像,从而产生具有最大可能动态范围的图像,同时确保每个像素亮度估计的信噪比(Signal-to-Noise Ratio, SNR)保持足够高。
本研究旨在探究HDR成像技术参数如何影响亮度测量精度。目前大多数研究仅关注传感器噪声的影响,而本研究则通过数值方法,评估了一系列相关参数,包括传感器非线性、积分时间不准确、算法阈值选择以及场景时间稳定性等。研究的核心是评估HDR成像方法在产生准确且可溯源至国际单位制(International System of Units, SI)的亮度测量方面的性能。
为实现这一目标,研究构建了一个基于MATLAB软件(R2023b)实现的相机“数字孪生”模型。该模型模拟了不完美的数码相机采集图像的过程,用于复制应用于捕获虚拟场景的HDR成像过程,从而生成可以与地面实况场景进行比较的合成HDR亮度图像。这种方法允许研究者独立研究每个参数的敏感性,并确定某类HDR融合算法是否优于其他算法。研究重点关注那些其影响可能取决于所应用的HDR融合算法类型的参数,以及可由相机用户直接调整的参数。因此,由镜头渐晕和杂散光引起的亮度误差未被考虑,后者将在单独的研究中探讨。
在评估的HDR成像方法中,涵盖相机属性、LDR图像的采集参数、所使用的HDR融合算法及其相关参数。对于理想线性相机,每个像素值D(以数字计数表示)与场景成像在该像素上的区域的亮度L、相机光响应度sV以及积分时间t成正比,即 D = sV·t·L。然而,真实相机的图像质量会受到来自镜头和数字传感器的多种效应的影响而降低。这些效应包括光学像差、几何畸变、渐晕、镜头内光散射引起的杂散光、像素响应不均匀性(Photo Response Non-Uniformity, PRNU)、多种噪声(光子噪声、热噪声、读出噪声)以及量化噪声等。本研究考虑纳入评估的相机属性包括相机读出噪声、热噪声率、光子噪声(与增益相关)、传感器位深度和非线性。
在获取不同曝光水平的LDR图像系列时,有多种技术可用,包括调整积分时间(快门速度)、传感器增益(ISO)、光圈(F值,但应避免以保持稳定的渐晕和景深)、使用中性密度(Neutral Density, ND)滤光片、对增加数量的重复捕获进行求和或组合这些方法。本研究仅考虑通过改变积分时间获取的LDR图像系列,这种方法通常易于实现且重复性好。然而,根据相机快门技术(例如机械快门),积分时间值可能出现误差,特别是在短积分时间下,这些误差对重建的HDR亮度图像的影响在本研究的数值评估中予以考虑。
LDR图像系列采集的参数包括捕获图像的数量以及每张图像的积分时间(在采用积分时间变化的情况下)。通常做法是定义最小和最大积分时间,并按照对数级数(例如在连续采集之间将积分时间加倍或四倍)在这些限制之间分配所获取图像的积分时间。最短积分时间受到相机最短积分时间和场景特性的限制。如果测量场景中存在时间光调制,最短积分时间应长于调制周期,理想情况下是调制周期的倍数。最小积分时间的选择应使最亮场景区域的像素值最大化而不饱和。最大积分时间受到相机特性和场景时间稳定性的限制,因为在捕获LDR图像系列期间物体可能会移动。长积分时间允许捕获低亮度水平的区域;然而,传感器中随积分时间增加的热噪声可能会严重降低测量的信噪比。最后,LDR系列中两幅图像之间的积分时间比(直接与捕获的LDR图像数量相关)主要受限于场景的时间稳定性和用户可接受的最大采集时间,这个参数被称为积分时间缩减因子。
一旦LDR系列被采集,图像将使用HDR融合算法进行合并,该算法定义了像素是否被视为“曝光良好”,以及当某个像素在LDR系列的多个图像中都曝光良好时,如何计算HDR图像值。本研究测试了三种类型的算法:“最佳曝光”算法、“加权平均”算法(在线性和对数域中)以及“线性回归”算法。选择这些算法是因为其简单性(最佳曝光算法)、降低噪声的潜力(加权平均算法)以及对暗偏移可能的鲁棒性(线性回归算法)。本研究未考虑任何基于人工智能(Artificial Intelligence, AI)的HDR方法,因为这类方法通常缺乏物理解释性和不确定度可溯源性,这限制了它们对计量学亮度测量的适用性。
“最佳曝光”算法通过从LDR图像中选择曝光最佳的像素来构建HDR图像,即选择低于最大可用值的最高值像素,其表达式为 LHDR= (1/sV)·[(Di- D0,i)/ti], 其中 ti= max{tisuch that Dmin≤ Di≤ Dmax}。加权平均算法旨在通过使用LDR图像中所有曝光良好像素的信息来减少测量误差。为此,对像素值进行平均,并应用一个权重因子,该因子可以取决于像素值、信噪比或积分时间等参数。该算法可以在线性域和对数域中表达。线性加权平均表达式为 LHDR= (1/sV)·[∑i=1Mqiwi((Di- D0,i)/ti)] / [∑i=1Mqiwi],其中qi是指示函数(当像素在图像i中曝光良好时为1,否则为0),wi是权重。线性回归算法对多个曝光良好的LDR图像的像素值进行线性回归,拟合一条通过原点的直线,其斜率与亮度成比例。回归线的斜率被用作HDR亮度的估计值。
研究对噪声进行了理论分析,并以此为基础选择了候选方法,在更现实的条件下(考虑光子噪声之外的多个误差源)进行进一步探索。评估方法使用相机数字孪生合成生成受各种误差源影响的HDR图像,从而评估它们对预选HDR成像方法的影响。结果表明,HDR成像方法的质量受到测量仪器、LDR图像采集策略、HDR融合算法的选择及其参数设置相关因素的影响。通过数值模拟,可以量化不同参数(如传感器非线性、积分时间误差、算法阈值)引入的系统误差,并比较不同融合算法(最佳曝光、加权平均、线性回归)在这些误差存在下的性能。最终,该研究支持识别最适合产生可溯源至国际单位制(SI)的亮度测量的HDR方法,为照明应用中的精确光度测量提供了方法论指导和参数优化依据。