采用扩散模型的高分辨率傅里叶单像素非视距成像技术

【字体: 时间:2026年03月13日 来源:Optics and Lasers in Engineering 3.7

编辑推荐:

  非视距(NLOS)成像中,传统傅里叶单像素成像(FSPI)受低采样率和高层遮挡影响,高频细节损失严重。本研究提出基于扩散模型的改进FSPI方法,通过迭代优化低频傅里叶谱与高斯噪声约束,有效恢复高频信息,实验表明在3%采样率及多层A4纸遮挡下,成像质量显著优于传统方法。

  
傅胜杰|方浩然|于宇恒|沈诺|袁宇青|刘浩|刘国林|彭子祺|夏子臻|刘轩|刘切根|宋先林
中国南昌大学信息工程学院,南昌330031

摘要

非视距(NLOS)成像旨在重建被直接视线遮挡的物体。近期在飞行时间(ToF)、幽灵成像和通过散射介质成像等技术方面的进展显著提升了NLOS成像的能力。然而,实时性能差、采样率高以及适应复杂环境的能力有限等问题仍然存在。傅里叶单像素成像(FSPI)作为一种极具前景的技术,为解决NLOS成像问题提供了新的途径。然而,传统的FSPI在极低采样率下会严重丢失高频信息。深度学习方法,包括深度卷积生成对抗网络(DCGAN)和扩散模型,在低采样条件下实现了高质量重建。本文提出了一种基于扩散模型的新型NLOS FSPI成像方法。在数据采集过程中,使用多层A4纸模拟视线遮挡,单像素探测器捕捉透过这些层传输的光信号以构建低频谱,然后将该谱输入预训练的扩散模型进行迭代重建。通过在训练过程中引入高斯噪声来扰动数据分布,模型能够学习到先验信息,从而有效恢复高频细节。在重建过程中,低频傅里叶谱作为一致性约束,通过迭代优化得到高质量图像。在涉及多层A4纸传输和极低采样率(例如3%)的条件下,与传统FSPI方法相比,该方法显著提高了NLOS目标图像的重建质量。这种方法为低采样率下的NLOS FSPI应用提供了一种新的方法,展示了其实际潜力。

引言

非视距(NLOS)成像是计算机视觉和光学中的一个挑战性问题,其目标是在被障碍物遮挡的场景中进行重建,在自动驾驶、安全、医学成像和搜救操作等领域有广泛的应用[[1], [2], [3]]。在传统成像技术中,需要相机与物体之间存在直接的视线,而在NLOS场景中,光线会被墙壁或地板等中间表面反射或散射,从而携带关于隐藏场景的信息。由于照明和检测路径中存在障碍物,这个问题变得更加复杂,使得传统方法失效。这种间接的光学路径需要使用先进的计算技术进行解码,特别是在烟雾、多层障碍物或散射介质等恶劣环境中,成像质量会显著下降[4]。
近年来,NLOS成像取得了显著进展。飞行时间(ToF)方法利用脉冲激光和高速探测器测量光线从光源到隐藏物体再返回所需的时间,实现了3D场景重建[[5], [6], [7]]。刘等人提出了一种基于ToF的动态NLOS成像方法[5],通过优化光子计数改善了低光条件下的成像质量。冯等人(2023年)将NLOS成像扩展到红外波长,实现了适合无人车辆和机器人视觉的高空间分辨率[6]。此外,王等人将ToF与深度学习结合,显著提高了复杂场景下的重建精度[7]。然而,ToF方法受到多次散射效应的限制,在厚障碍物前表现不佳。幽灵成像利用散斑模式的相关性重建图像,无需直接视线,已应用于NLOS场景[[8], [9], [10]]。陈等人展示了结合人类视觉的NLOS幽灵成像,实现了创新的“绕角”成像[8]。陈等人通过优化散斑模式设计提高了幽灵成像的分辨率[9],而李等人提出了一种基于量子纠缠的幽灵成像方法,进一步加快了成像速度[10]。然而,幽灵成像需要大量测量,导致成像速度慢,无法满足实时需求。通过散射介质的成像利用了散斑或光谱相关性,已在相关研究中得到探讨[[11], [12], [13]]。徐等人通过光场调制优化了散射光的重建效率[11]。张等人开发了一种基于散斑自相关的NLOS成像技术[12],在薄散射介质中显著提高了分辨率,而Alido等人提出了一种用于单次3D荧光成像的模拟器训练神经网络[13],适用于医学成像。然而,这些方法通常仅限于特定类型的散射和薄介质,限制了其可扩展性。
傅里叶单像素成像(FSPI)是一种基于傅里叶变换的计算成像技术。该方法首先使用单像素探测器获取目标的傅里叶谱,然后通过逆傅里叶变换重建空间域图像[[14], [15], [16], [17], [18]]。由于其高动态范围和广泛的光谱适应性,FSPI已成功应用于可见光成像、红外成像、显微镜成像和光声成像[[19], [20], [21], [22], [23], [24]]。张等人(2015年)通过捕获隐藏场景的傅里叶谱实现了NLOS成像。然而,高分辨率图像重建需要大量的傅里叶谱数据,显著增加了测量时间,成为实际应用的关键瓶颈。为了解决这些问题,提出了各种改进措施。在算法层面,张等人使用移相正弦结构照明和压缩采样将测量次数降低到奈奎斯特极限以下[14]。邓的团队开发了一种两步移相全采样算法[15],提高了测量效率,但牺牲了噪声鲁棒性。周等人提出了互补傅里叶单像素成像(CFSI),通过优化采样策略减少了测量次数,尽管Floyd-Steinberg抖动算法影响了成像质量[16]。文文等人采用变密度随机采样和压缩感知来重建高频信息[25],但复杂的迭代过程显著增加了计算复杂性。传统FSPI在强障碍物或多层散射条件下,在低采样率下的重建质量下降,实时应用表现不佳。
深度学习的最新进展已被整合到单像素成像中,以克服传统方法的局限性。深度学习的突破为FSPI的发展开辟了新途径。Rizvi等人设计了一种深度卷积自编码器(DCAN),通过稀疏低频重建和网络优化来减轻高频信息损失[26]。然而,这种方法高度依赖于大规模训练数据,且噪声鲁棒性有限。生成模型的出现为该领域注入了新的活力。倪等人提出了一种基于深度卷积生成对抗网络(DCGAN)的图像重建方法[27],通过加入自适应判别器显著提高了低分辨率图像的重建质量。这些在大型图像数据集上训练的方法能够泛化到未见过的场景,并实现快速推理,适用于实时NLOS成像。然而,这些模型在训练过程中面临收敛困难和稳定性问题,特别是在复杂场景中。宋等人创新地将扩散模型应用于高分辨率重建[28],通过傅里叶谱和高斯噪声的协同约束实现了高频细节的逐步恢复。他们的扩散反射光采集方案在A4纸表面成像中展示了显著优势。受扩散模型启发,本研究提出了一种结合FSPI和扩散模型的新型透射NLOS成像方法,特别针对强障碍物和散射环境。使用单像素光电探测器捕捉透过多层A4纸传输的光信号来构建目标谱,并采用改进的扩散模型进行高频信息重建。实验结果表明,在严重散射和极低采样率下,与传统FSPI方法相比,该方法实现了更高的成像质量和更快的成像速度。总之,该方法实现了极低采样率下的高质量成像,有效解决了图像模糊问题,为实际NLOS成像系统提供了新的技术路径。

系统设计

所提出的系统包括两个主要组成部分:数据采集和图像重建。如图1(a)上部所示,数据采集子系统由氦氖激光源(JDSU-1137,由Power Technology制造)启动,产生波长为632.8 nm、光束直径为0.84 mm的相干光束。随后,激光束通过由平凸透镜L1(焦距18

数值模拟

在模拟实验中,采样率设置为3%,模拟模型假设环境仅存在光衰减而无环境噪声效应。由于单像素光电探测器缺乏空间分辨率能力,只能反射检测到的光强度,因此特别适用于测量衰减系数的实验。因此,为了获得不同数量A4纸层下的衰减系数,我们使用了

讨论与结论

为了解决传统傅里叶单像素成像(FSPI)在强散射和低采样率条件下对非视距(NLOS)目标重建质量不佳的问题,本研究提出了一种基于扩散模型的新型FSPI重建方法。该重建框架采用了两阶段优化策略。首先,在训练阶段,逐步向原始数据中注入高斯随机噪声,以实现

资助

国家自然科学基金(62265011, U24A20304);江西省自然科学基金(20224BAB212006, 20232BAB202038);江西省重点学科学术和技术带头人培养计划(20243BCE51138);国家重点研发计划(2023YFF1204300, 2023YFF1204302)。

CRediT作者贡献声明

傅胜杰:撰写——原始草稿、可视化、方法论、数据分析、概念化、审稿与编辑。方浩然:撰写——审稿与编辑、可视化、概念化、方法论、撰写——原始草稿、数据分析。于宇恒:数据分析、方法论、验证、可视化、数据管理、撰写——原始草稿。沈诺:撰写——原始草稿、可视化、方法论、研究、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号