多层次物理建模与深度学习在结构光显微镜重建中的应用

《Optics & Laser Technology》：Multi-level physical modeling and deep learning for structured illumination microscopy reconstruction

结构照明显微镜通过调制光场实现生物样本超分辨率成像，但传统重建方法易受噪声和畸变影响。本文提出MLPM-SIM框架，整合多级物理模型（含光场调制、光学畸变及噪声干扰的正向建模），设计多尺度特征融合模块（CNN+Transformer）和高频恢复模块（基于点扩散函数截止频率），结合空间-频率双域损失函数，显著提升微管、F-肌动蛋白等生物结构的成像质量，噪声鲁棒性和泛化性优于现有方法。

　　

黄思颖|严秋荣|吴俊丽|文志强|尹俊元|罗晓龙

南昌大学信息工程学院，中国南昌，330031

摘要

结构光照明显微镜（SIM）通过调制照明光场来突破衍射极限，实现生物样本的超分辨率成像。然而，传统的重建方法对噪声和像差敏感，容易引入伪影，尤其是在信噪比较低的情况下，性能会显著下降。本文提出了一种深度学习重建网络（MLPM-SIM），该网络整合了多层次的物理模型。通过构建一个高保真的正向模型，涵盖光场传播、像差退化和噪声干扰，我们在多种退化条件下生成了仿真训练数据。在网络架构方面，我们设计了一个多尺度重建模块（MSCT），结合了卷积神经网络（CNN）和变换器（Transformer），并引入了一个基于点扩散函数截止频率的物理信息的高频恢复模块（HFRM），通过双域（空间域和频率域）损失函数增强了重建高频细节的能力。实验表明，该方法显著提高了各种生物结构（如微管、F-肌动蛋白、内质网和细胞核仁）的重建质量，具有很强的抗噪能力和出色的泛化性能，优于现有的主流方法。

引言

光学显微镜是探索生命微观世界和揭示细胞结构和功能机制的基本工具。由于阿贝衍射理论的限制[1]，所有远场线性光学显微镜成像系统在空间分辨率上存在物理上限，横向分辨率通常限制在约200纳米。这一限制阻碍了对细胞骨架的精细组织、亚细胞器膜结构及其动态相互作用等关键生物过程的清晰观察。为了克服衍射障碍，人们开发了多种超分辨率显微镜技术[2]、[3]、[4]、[5]、[6]。其中，结构光显微镜（SIM）因其相对较低的光毒性、快速的成像速度和与荧光探针的广泛兼容性，成为长期对活细胞进行超分辨率成像的主要方法之一。

在SIM的发展过程中，根据结构光调制和数据采集策略的不同，SIM可以进一步分为宽场SIM[7]、[8]、[9]和扫描SIM[10]、[11]、[12]、[13]。宽场SIM同时在整个样本平面上投射具有已知空间频率的干涉调制光场，并通过使用具有不同相位和方向的多个图像进行频域解调来重建高频信息[14]、[15]、[16]。相比之下，扫描SIM通过聚焦点或线扫描在空间或时间上逐点（或逐线）引入结构调制，以提高系统分辨率。这两种方法在系统架构、数据采集方法和成像性能方面存在显著差异。尽管扫描SIM在特定应用中提供了更大的调制灵活性或光学控制，但其基于扫描的采集过程本质上限制了成像速度和时间分辨率。相比之下，宽场SIM依靠并行照明，在保持低光毒性的同时实现了更高的时间分辨率和更大的视野，使其更适合活细胞的长期超分辨率成像研究。传统的SIM重建算法，如基于维纳滤波器的反卷积算法[17]或自相关算法[18]、[19]，严重依赖于对成像系统物理参数的精确知识和理想假设，例如照明光场的精确相位、调制深度和系统的点扩散函数（PSF）。然而，在实际的生物成像应用中，样品和探测器噪声引起的波前像差等各种因素可能导致这些参数的偏差甚至失效[20]、[21]、[22]。这种物理模型的不匹配会直接导致重建图像中出现严重的伪影，如条纹残留、虚假结构和分辨率改善不均匀，极大地限制了SIM技术在具有挑战性的场景中的可靠性和应用范围[23]、[24]、[25]。

近年来，深度学习技术为计算成像带来了革命性的变化。其强大的端到端非线性映射能力使其能够从大量数据中学习复杂的退化过程，并直接重建高质量图像，为解决传统SIM面临的挑战提供了新的思路。在降低光毒性方面，许多用于SIM的深度学习方法[26]、[27]、[28]、[29]减少了所需的原始图像数量，从而缩短了曝光时间。在噪声抑制方面，SR-SIM[30]使用RED Net对重建图像进行去噪，显著提高了图像质量。PRS-SIM[31]提出了一个像素重新对齐的自监督框架，无需干净数据即可去噪。在伪影抑制方面，范等人[32]在网络中引入了振幅通道注意力机制（APCAN），结合多时间信息进一步抑制伪影。CR-SIM[33]通过残差网络在低对比度照明条纹下实现了稳健的重建。然而，纯粹的数据驱动深度学习方法[34]、[35]、[36]、[37]往往缺乏对物理过程的显式建模，导致在训练数据分布之外的泛化性能有限。当应用于训练集分布之外的场景（例如，异常的噪声水平或未见过的光学像差类型）时，重建性能可能会显著下降。更重要的是，它们的“黑箱”特性可能导致物理上不可信的重建结果，这限制了SIM技术在高质量应用（如定量生物分析）中的可靠性。因此，将物理先验知识深度集成到深度学习框架中是提高SIM重建方法稳健性和可信度的关键方法。

为了解决这些限制，我们提出了MLPM-SIM，这是一种整合了多层次物理模型的深度学习重建框架，用于实现高保真度和高度稳健的结构光超分辨率成像。这项工作的核心贡献有三个方面。首先，我们建立了一个多层次的物理模型，涵盖了整个正向成像链，准确模拟了从照明模式生成（包括相位误差）、由Zernike多项式表示的光学像差到探测器噪声的退化过程。这使得我们能够在多种退化条件下生成多样化的仿真数据集，有效缓解了真实数据的缺乏。其次，我们设计了一个双分支重建网络，创新性地引入了基于点扩散函数截止频率的高频恢复模块（HFRM），明确利用光学系统的物理先验来指导超出衍射极限的信息恢复。此外，我们开发了一个结合CNN和Transformer的多尺度特征融合网络（MSCT），以充分利用上下文信息进行详细重建。第三，我们提出了一个空间-频率双域损失函数，同时约束空间域中的像素误差和频率域中的振幅和相位误差，鼓励物理上合理的输出，显著提高了重建的保真度和稳健性。

部分摘录

基于深度学习的SIM与多层次物理模型的结合

我们提出了一个基于多层次物理模型的深度学习重建框架，旨在实现结构光超分辨率成像的高保真度和高稳健性。图1展示了所提出的重建框架的示意图。在这里，我们选择了开源BioSR[38]数据集中的GT-SIM作为训练数据的真实值，该数据集由清华大学戴团队借助多模态SIM系统收集。该数据集涵盖了四个

结果

为了系统地评估MLPM-SIM方法的性能，我们在重建质量、噪声抗性、算法比较、消融实验和真实实验系统验证五个维度上进行了一系列实验。所有实验均基于已发布的BioSR数据集和D-SIM-XG1结构光显微镜系统收集的真实数据。

网络训练在配备Intel (R) Core (TM)的工作站上完成

结论

在这项研究中，我们提出了MLPM-SIM，这是一种用于结构光照明显微镜中高保真度和高稳健性超分辨率重建的新型深度学习框架。与纯粹的数据驱动方法不同，我们的方法深入整合了SIM成像的基本物理原理。我们建立了一个高保真的正向物理模型，系统地包括了成像过程中的关键退化因素，包括结构光

CRediT作者贡献声明

黄思颖：方法论、形式分析。严秋荣：资金获取。吴俊丽：研究。文志强：研究。尹俊元：研究。罗晓龙：研究。

资助

这项工作部分得到了国家自然科学基金（项目编号：62165009和61865010）的支持，以及江西省主要学科学术和技术领军人才培养计划（项目编号：20225BCJ22021）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。