非视距(NLOS)成像是计算机视觉和光学中的一个挑战性问题,其目标是在被障碍物遮挡的场景中进行重建,在自动驾驶、安全、医学成像和搜救操作等领域有广泛的应用[[1], [2], [3]]。在传统成像技术中,需要相机与物体之间存在直接的视线,而在NLOS场景中,光线会被墙壁或地板等中间表面反射或散射,从而携带关于隐藏场景的信息。由于照明和检测路径中存在障碍物,这个问题变得更加复杂,使得传统方法失效。这种间接的光学路径需要使用先进的计算技术进行解码,特别是在烟雾、多层障碍物或散射介质等恶劣环境中,成像质量会显著下降[4]。
近年来,NLOS成像取得了显著进展。飞行时间(ToF)方法利用脉冲激光和高速探测器测量光线从光源到隐藏物体再返回所需的时间,实现了3D场景重建[[5], [6], [7]]。刘等人提出了一种基于ToF的动态NLOS成像方法[5],通过优化光子计数改善了低光条件下的成像质量。冯等人(2023年)将NLOS成像扩展到红外波长,实现了适合无人车辆和机器人视觉的高空间分辨率[6]。此外,王等人将ToF与深度学习结合,显著提高了复杂场景下的重建精度[7]。然而,ToF方法受到多次散射效应的限制,在厚障碍物前表现不佳。幽灵成像利用散斑模式的相关性重建图像,无需直接视线,已应用于NLOS场景[[8], [9], [10]]。陈等人展示了结合人类视觉的NLOS幽灵成像,实现了创新的“绕角”成像[8]。陈等人通过优化散斑模式设计提高了幽灵成像的分辨率[9],而李等人提出了一种基于量子纠缠的幽灵成像方法,进一步加快了成像速度[10]。然而,幽灵成像需要大量测量,导致成像速度慢,无法满足实时需求。通过散射介质的成像利用了散斑或光谱相关性,已在相关研究中得到探讨[[11], [12], [13]]。徐等人通过光场调制优化了散射光的重建效率[11]。张等人开发了一种基于散斑自相关的NLOS成像技术[12],在薄散射介质中显著提高了分辨率,而Alido等人提出了一种用于单次3D荧光成像的模拟器训练神经网络[13],适用于医学成像。然而,这些方法通常仅限于特定类型的散射和薄介质,限制了其可扩展性。
傅里叶单像素成像(FSPI)是一种基于傅里叶变换的计算成像技术。该方法首先使用单像素探测器获取目标的傅里叶谱,然后通过逆傅里叶变换重建空间域图像[[14], [15], [16], [17], [18]]。由于其高动态范围和广泛的光谱适应性,FSPI已成功应用于可见光成像、红外成像、显微镜成像和光声成像[[19], [20], [21], [22], [23], [24]]。张等人(2015年)通过捕获隐藏场景的傅里叶谱实现了NLOS成像。然而,高分辨率图像重建需要大量的傅里叶谱数据,显著增加了测量时间,成为实际应用的关键瓶颈。为了解决这些问题,提出了各种改进措施。在算法层面,张等人使用移相正弦结构照明和压缩采样将测量次数降低到奈奎斯特极限以下[14]。邓的团队开发了一种两步移相全采样算法[15],提高了测量效率,但牺牲了噪声鲁棒性。周等人提出了互补傅里叶单像素成像(CFSI),通过优化采样策略减少了测量次数,尽管Floyd-Steinberg抖动算法影响了成像质量[16]。文文等人采用变密度随机采样和压缩感知来重建高频信息[25],但复杂的迭代过程显著增加了计算复杂性。传统FSPI在强障碍物或多层散射条件下,在低采样率下的重建质量下降,实时应用表现不佳。
深度学习的最新进展已被整合到单像素成像中,以克服传统方法的局限性。深度学习的突破为FSPI的发展开辟了新途径。Rizvi等人设计了一种深度卷积自编码器(DCAN),通过稀疏低频重建和网络优化来减轻高频信息损失[26]。然而,这种方法高度依赖于大规模训练数据,且噪声鲁棒性有限。生成模型的出现为该领域注入了新的活力。倪等人提出了一种基于深度卷积生成对抗网络(DCGAN)的图像重建方法[27],通过加入自适应判别器显著提高了低分辨率图像的重建质量。这些在大型图像数据集上训练的方法能够泛化到未见过的场景,并实现快速推理,适用于实时NLOS成像。然而,这些模型在训练过程中面临收敛困难和稳定性问题,特别是在复杂场景中。宋等人创新地将扩散模型应用于高分辨率重建[28],通过傅里叶谱和高斯噪声的协同约束实现了高频细节的逐步恢复。他们的扩散反射光采集方案在A4纸表面成像中展示了显著优势。受扩散模型启发,本研究提出了一种结合FSPI和扩散模型的新型透射NLOS成像方法,特别针对强障碍物和散射环境。使用单像素光电探测器捕捉透过多层A4纸传输的光信号来构建目标谱,并采用改进的扩散模型进行高频信息重建。实验结果表明,在严重散射和极低采样率下,与传统FSPI方法相比,该方法实现了更高的成像质量和更快的成像速度。总之,该方法实现了极低采样率下的高质量成像,有效解决了图像模糊问题,为实际NLOS成像系统提供了新的技术路径。