《Optics & Laser Technology》：Physics-constrained training-free network for low-sampling correlation imaging
编辑推荐：
本文提出一种基于物理建模的训练-free 相关成像重建网络，通过闭环优化实现高分辨率图像重建，显著优于现有方法，适用于低采样实际场景。
张振中|陈春义|李琼|于波
长春理工大学计算机科学与技术学院，中国长春130022
摘要
相关成像技术（也称为幽灵成像）是一种非传统的成像方法，它通过结构化照明与桶式探测器信号之间的统计相关性来重建物体信息。在传统成像方法遇到挑战的情境中（如非视距或低光照环境），该技术具有独特的优势。为了解决稀疏采样条件下相关成像的性能瓶颈，我们提出了一种基于物理建模的无监督重建网络。与需要大规模标记数据集的传统图像到图像深度学习方法不同，我们的方法可以直接将低维测量向量映射为高分辨率图像，而无需任何预训练。该网络架构将物理导出的数据一致性约束与深度神经网络的层次化特征提取能力无缝结合。通过将可微分的物理模型嵌入重建流程中，网络实现了闭环优化，从而在整个重建过程中确保了物理合理性。广泛的数值模拟和光学实验表明，即使在低采样率下，所提出的方法也能重建出高保真度的图像，在结构保留和抗噪性能方面显著优于现有技术。这些结果凸显了该方法在实际相关成像系统中的巨大潜力，尤其是在数据采集受限或成本较高的情况下。
引言
相关成像（CI），也称为幽灵成像（GI），是一种间接成像技术，它通过利用光场中的二阶或更高阶统计相关性来重建图像，而无需直接观察物体。与传统成像不同，CI将光场分为两条独立的路径：一条路径照亮物体，其传输或反射的总强度由具有空间分辨率的桶式探测器测量；另一条路径不与物体相互作用，产生的散斑图案由具有空间分辨率的电荷耦合器件（CCD）相机阵列探测器记录。通过计算两条路径信号之间的相关性，可以成功重建目标图像[1]。
这种方法具有隐蔽性强和适应复杂环境的能力，因此在光学加密[2]、[3]、[4]、生物医学成像[5]、[6]以及激光雷达[7]、[8]、[9]等应用中具有很高的前景。然而，在实际应用中，CI系统通常需要大量的测量才能获得满意的图像质量，这在采样体积和重建保真度之间存在直接权衡。如何在保持高图像质量的同时降低采样率仍然是研究的重点。提高低采样条件下的相关成像性能有望推进基于帧间准静态假设的运动重建方法[10]、[11]、[12]、[13]，从而显著提升动态场景下的成像能力。
为克服这一限制，主要从两个方面进行了研究。首先是优化照明模式。早期技术使用离散余弦变换（DCT）[14]和傅里叶变换[15]等基函数进行结构化采样。后续的发展引入了基于沃尔什-哈达玛变换的幽灵成像方法，利用哈达玛结构化的散斑图案直接获取物体的光谱[16]，通过快速变换实现高效成像，并通过数字微镜装置（DMD）简化硬件实现。然而，这种方法受到大量内存需求的限制，且需要预先计算整个哈达玛矩阵。为了解决这些问题，提出了迭代方法生成哈达玛散斑[16]，大大降低了内存消耗。此外，哈达玛基序的改进，包括俄罗斯娃娃（RD）排序[17]、蛋糕切割（CC）排序[18]和折纸图案（OP）排序[19]，进一步提高了重建效率。
第二个主要方向是开发先进的重建算法，以在有限的测量条件下实现更高的图像质量。传统的基于强度相关性的幽灵成像方法得到了改进，降低了采样要求。例如，差分幽灵成像（DGI）[20]提高了对强度变化的敏感性，从而减少了所需的测量次数。归一化幽灵成像（NGI）[21]引入了加权平均来提高重建的鲁棒性，而迭代去噪幽灵成像（IDGI）[22]结合了噪声估计和迭代优化，有效提升了成像性能。基于二阶相干性的归一化策略[23]进一步减少了点扩散函数误差，使得重建效果优于传统GI技术。同时，将压缩感知（CS）集成到幽灵成像框架中[24]，利用稀疏性先验显著降低了采样率，同时保持了高保真度。基于伪逆的重建算法[25]提高了重建精度和通用性，尽管这些方法通常计算复杂度较高，对硬件资源依赖性更强。
近年来，机器学习驱动的方法在幽灵成像领域受到了越来越多的关注。深度学习和计算机视觉的发展使得数据驱动模型能够大幅降低采样要求并提升重建性能。例如，深度学习幽灵成像（DLGI）[26]利用在模拟数据集上训练的神经网络直接从相关测量数据重建图像，具有高重建速度和强的抗噪能力。最近，混合框架被引入，将物理先验集成到学习过程中。例如，李等人提出了一种用于大气湍流的计算幽灵成像框架，结合了基于模型和数据的深度学习策略[27]。这种混合方法利用了模型驱动学习的可解释性和泛化能力，同时保留了数据驱动学习的丰富表征，从而在不同湍流强度和低采样率下实现了高质量重建。然而，这些组合方法仍然依赖于大量的离线预训练或迭代调整，并且对输入先验的质量非常敏感，这增加了部署复杂性和计算负担。
为了减少对大型数据集和繁重训练的依赖，出现了训练效率高甚至“无需训练”的范式。一个典型的例子是GIDC[28]，它以DGI估计作为网络输入，并在无需大量预训练的情况下进行物理约束优化；这种设计大大降低了对标记数据的需求，并在一定程度上提高了泛化能力。尽管如此，GIDC的性能仍受DGI先验质量的限制，在先验较弱或采样率非常低的情况下可能会丢失细节。
基于这些见解，我们提出了一种基于物理约束的无监督相关成像网络（PCTFN-CI）。与传统“图像到图像”深度学习重建方法不同，所提出的方法建立了一个无需训练的架构，仅依赖于一次性的单维相关测量数据以及由具有空间分辨率的相机捕获的相应调制散斑图案。通过端到端优化，网络可以直接重建高保真度的二维图像，而不依赖于大规模标记数据集或预训练模型。实验评估表明，它在低采样条件下实现了更优秀的重建质量，并表现出更强的鲁棒性。更重要的是，低采样下的性能提升意味着更短的采集窗口和每帧更少的图案数量，使其特别适合基于帧间准静态假设的运动相关成像，从而有效抑制了运动引起的去相关性和模糊。与现有重建方法相比，所提出的框架在重建精度和泛化能力方面都有显著改进，为相关成像技术的实际应用提供了有前景的途径。
方法
在典型的相关成像系统中，物体信息的获取基于一系列随机调制光场对目标的照明以及低维检测信号的记录。为了系统地描述这一过程，可以将其视为一种特殊的线性映射，即从高维物体空间到一维探测器输出的压缩投影。
具体来说，目标物体的空间分布是
结果与讨论
为了全面评估所提出方法的性能，我们进行了一系列与主流方法的对比实验。仿真和实验结果均显示，在重建质量和多个客观指标上都有显著改进。此外，该方法表现出很强的灵活性和鲁棒性，突显了其在各种场景中的整体优势。
结论
所提出的无监督相关成像重建网络将物理建模、数据一致性优化和图像先验约束整合到一个统一的框架中。它能够在不依赖大规模标记数据集或监督训练的情况下，直接从一维桶式信号中恢复高质量图像。通过将可微分的物理模型嵌入重建流程中，该方法实现了闭环优化，确保了物理合理性的遵循
CRediT作者贡献声明
张振中：撰写——原始草稿，撰写——审阅与编辑，可视化，验证，软件，方法论，研究，形式分析，数据管理，概念化。陈春义：撰写——审阅与编辑，资源管理，项目监督，方法论，研究，验证，资金获取，形式分析，数据管理，概念化。李琼：撰写——审阅与编辑，验证，资源管理。于波：资源管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金（62275033）和中国吉林省科技发展计划（YDZJ202501ZYTS300）的支持。
