《Advanced Science》：vEMINR: Ultra-Fast Isotropic Reconstruction for Volume Electron Microscopy With Implicit Neural Representation
编辑推荐：
本文提出了一种基于隐式神经表示（INR）的超快各向同性重建方法vEMINR，用于解决体积电子显微镜（vEM）成像中因切片厚度限制导致的轴向分辨率显著低于横向分辨率的问题。该方法通过自监督学习真实低分辨率（LR）图像的退化模式，利用INR的高效参数化和连续函数表示，在11个公共数据集上实现了超越主流方法十倍以上的重建速度与精度，显著提升了细胞器与神经元三维重建的准确性，为处理太字节级vEM数据集提供了关键技术支撑。
1 引言
体积电子显微镜（vEM）是一种强大的技术，能够在纳米分辨率下实现生物结构的三维可视化。然而，vEM成像依赖于二维图像的连续扫描，由于切片厚度限制，其轴向分辨率显著低于横向分辨率。目前大多数金刚石刀切割方法只能制备厚度为数十纳米的样品切片，这大约是横向体素尺寸的10倍，导致横向与轴向分辨率不匹配，产生各向异性成像。插值方法长期以来作为vEM各向同性重建的基线方法，但简单的插值往往无法捕捉生物结构的复杂性，导致明显的模糊和阶梯状伪影。近年来，深度学习方法被引入以恢复vEM中的轴向信息。有监督学习方法被用于解决体积电子显微镜中的各向同性重建问题，但其对真实数据的依赖性限制了在实际场景中的适用性。随后，更多研究转向自监督学习方法。与此同时，类似任务也在其他显微成像领域得到研究。
2 结果
2.1 vEMINR的工作流程
vEMINR的架构包含三个主要模块：特征提取器、隐式退化提取器和隐式神经表示模块。由于各向同性的vEM体积通常难以获得，通常缺乏能够指导重建的高分辨率Z轴切片。相比之下，平面XY切片受样品厚度等因素影响较小，因此通常具有更高分辨率。基于此特点，我们将输入的各向异性体积视为沿Z轴堆叠的高分辨率（HR）XY切片。为构建训练数据对，我们应用平均池化来模拟这些HR切片沿X/Y轴的退化，从而生成相应的低分辨率（LR）切片。模拟的LR切片经过特征提取器和隐式神经表示（INR）模块处理，该模块沿模拟的退化轴（X或Y）执行超分辨率（SR）操作。为了优化网络，我们计算每个SR切片与其对应的HR XY切片之间的L1损失。值得注意的是，为增强各向同性重建，我们开发了一种隐式退化提取器，用于捕获全局退化模式，而不仅仅依赖于低分辨率切片的局部信息。这种对退化的全局理解有助于重建模块补偿XY和Z方向之间的深度不一致性，从而缓解自监督方法的局限性。
2.2 各向同性重建
2.2.1 模拟数据上的各向同性重建
为验证vEMINR的重建能力，我们在七个模拟数据集上进行了各向同性和各向异性重建。正交视图的重建结果表明，vEMINR在所有情况下都能一致地恢复最详细的结构特征。以EPFL模拟数据集为例，我们首先对各向同性体积的Z轴进行4倍和8倍平均池化下采样。模拟的低分辨率数据通过下采样生成，表现出结构信息的丢失。然而，在较低的4倍重建中，vEMINR恢复了最精细的纹理细节。这一发现在更高的8倍重建中更为明显。与其他方法相比，vEMINR在傅里叶空间和图像空间中都有效地恢复了最多的各向同性信息。XZ平面的傅里叶功率谱表明，vEMINR检索到的傅里叶空间信息与真实情况一致，而其他方法则存在不同程度的各向异性分辨率。
2.2.2 真实数据上的各向同性重建
为了进一步验证vEMINR的有效性及其在各种vEM模态中的适用性，我们将其应用于三个真实数据集——Cremi dataset A、Cremi dataset B和Cremi dataset C，每个数据集均使用ssTEM收集，具有不同的形态结构，各向异性因子为10。重建结果表明，vEMINR恢复了最详细的结构信息。相比之下，尽管vEMDiffuse-a可以恢复部分轴向信息，但在一些膜区域仍表现出模糊。cubic方法产生的重建结果最差，在轴向上存在明显的伪影和模糊，几乎无法恢复轴向信息。这些发现表明，vEMINR从非各向同性输入生成看起来合理的各向同性3D数据，并在标准像素指标和频率特性上优于现有技术。
2.3 各向同性重建结果的三维分割
体积电子显微镜（vEM）三维分割是各向同性重建的关键下游任务，广泛应用于组织识别和细胞分割。这一过程显著增强了生物学家对细胞结构的理解。由于开放细胞器平台的六个真实各向同性FIB-SEM数据包含可靠的分割注释，我们在其重建结果上进行了3D分割，以评估vEMINR在下游任务中的有效性。我们使用Dice分数和Hausdorff距离对分割结果进行量化。结果表明，我们的方法在所有数据集上一致地实现了最高的Dice分数和最小的Hausdorff距离，证明了vEMINR卓越的重建能力对下游任务的积极影响。
在jrc_mus-skin和jrc_mus-liver数据集上可视化的3D分割结果显示，与其它方法相比，vEMINR重建体积的分割结果更接近真实情况。此外，我们在EPFL小鼠大脑数据集的8倍重建结果上进行了更高级的神经元分割实验。结果表明，我们的方法始终保留了最精细的分割细节，并且在Dice分数上优于所有比较方法。这进一步证明，vEMINR精确的结构重建显著提高了下游任务中的3D分割质量，为内部生物结构的详细分析提供了更强有力的支持。
2.4 真实连接组学数据集中的神经元分割结果
连接组学近年来已成为一个重要的研究领域，各向同性重建作为一项关键的使能技术。在本节中，我们展示了基于深度学习方法重建的神经元分割结果，以定性验证vEMINR在实际连接组学场景中的有效性。结果表明，与vEMDiffuse-a相比，vEMINR实现了更准确的神经元间突触连接恢复和更完整的神经元结构重建，从而为连接组学分析提供了更坚实的基础。
具体而言，在CremiDataset A上的10倍重建结果展示了两个相邻轴突结构的分割结果，证明vEMINR准确地恢复了轴突的空间拓扑结构，而vEMDiffuse-a由于边界模糊而引入了错误的神经元连接。为了进一步验证这一点，我们在Cremi Dataset C上进行了10倍重建，并提取了三个相互连接的神经元轴突。实验结果表明，vEMINR清晰地保留了轴突-胞体连接模式，而vEMDiffuse-a由于重建错误而引入了不正确的神经元连接。此外，在Kasthuri11数据集中，我们提取了一个完整的基底树突及其树突棘。结果表明，vEMINR有效地重建了详细的树突棘结构，而vEMDiffuse-a无法在狭窄区域保持连通性，导致结构丢失。这些结果证明vEMINR在真实连接组学数据集上实现了精确的各向同性重建，促进了改进的神经回路构建，并成为连接组学研究的有力工具。
2.5 迁移能力与鲁棒性分析
在实际应用中，vEM各向同性重建经常遇到模型在一个数据集上训练后难以应用到其他数据集或尺度因子的问题，这会显著影响模型的性能。为了验证我们方法的可迁移性，我们通过跨数据集重建实验将提出的vEMINR与vEMDiffuse-a进行比较，即从Cremi Dataset C迁移到EPFL数据集，反之亦然。实验结果表明，在从Cremi Dataset C迁移到EPFL数据集时，vEMINR在"迁移"设置下保持了较高的重建精度，特别是在保留膜边界和细胞内纹理等精细结构细节方面。与"无迁移"设置相比，其性能仅略有下降。相比之下，vEMDiffuse-a在迁移过程中表现出明显的性能退化。在反向迁移中，vEMINR表现出强大的跨领域迁移能力，而vEMDiffuse-a则表现出边界模糊、细节缺失和纹理不连续。总体而言，这些结果表明vEMINR具有良好的泛化能力和跨领域迁移能力，通过直接迁移或轻度微调即可实现高质量的各向同性重建，显示了其实际应用的潜力。
2.6 任意尺度的各向同性重建
在vEM各向同性重建中，各向异性因子通常是任意尺度的（包括整数和非整数），这使得执行任意尺度重建的能力对于实际应用尤为重要。提出的vEMINR方法基于隐式神经表示（INR）框架。在该框架中，空间坐标被输入到预测相应像素强度的神经网络中，从而实现各向同性重建。由于输入坐标可以取任何实数值位置，而不是局限于整数网格，因此vEMINR能够在任意尺度上进行各向同性重建，这与现有方法（如vEMDiffuse）不同，后者仅生成整数倍的切片，因此仅限于整数尺度重建。
为了通过实验验证我们方法在任意分辨率下进行各向同性重建的能力，我们在jrc_mus-heart、jrc_mus-kidney、jrc_mus-liver3、jrc_mus-pancreas和jrc_mus-skin数据集上训练和测试了vEMINR。结果表明，vEMINR在"6.5倍"和"8.5倍"设置下成功恢复了与真实情况密切匹配的丰富轴向结构信息。在更高的"10.5倍"设置下观察到一些细节损失，这主要是由于各向异性因子较高。这些结果表明，我们的方法能够在任意尺度上稳健地进行各向同性重建。
2.7 时间效率分析
在各向同性重建任务中，时间效率对于处理数百太字节级别的大规模vEM数据至关重要。该重建过程通常是计算密集型和耗时的。我们的方法通过引入隐式神经表示显著减少了重建时间。具体来说，该方法在更高效的神经网络结构中对数据进行编码和处理，而不是依赖于传统的高维密集数据表示，从而显著降低了计算复杂度并提高了时间效率。
为了验证vEMINR的时间效率优势，我们在相同条件下测试了vEMDiffuse-a的重建时间开销。结果表明，与vEMDiffuse-a相比，vEMINR实现了超过10倍的加速。此外，在实验过程中我们观察到，由于vEMDiffuse-a采用计算密集型的扩散模型，每个输入图像必须被裁剪成256x256的小块，然后在推理后拼接在一起以获得最终输出图像。相比之下，vEMINR不需要此后处理步骤。这进一步证明，在相同时间内，vEMINR可以有效地重建更大规模的vEM数据。
3 讨论
vEMINR采用自监督学习方法，将从各向异性体积的高分辨率横向信息中获得的知识转移到恢复缺失轴向信息的过程中。利用隐式神经表示的连续表示能力，它能够高效快速地恢复具有任意各向异性因子的体积电子显微镜（vEM）数据。该方法通过整合真实低分辨率（LR）图像的隐式退化表示来提高重建质量，同时增强了其处理领域变化的鲁棒性。在我们的方法中，我们设计了一个隐式退化提取器来捕获全局退化模式以指导重建，并补偿XY和Z方向之间的深度相关不一致性，从而克服体素各向异性的局限性，这与同时期的一项研究不同。此外，我们的方法为3D分割和上层结构分析等下游任务提供了可靠支持。
vEMINR可以进一步优化和改进。首先，我们采用平均池化方法来模拟各向异性体积的轴向退化过程。尽管这种简化的模拟方法有效捕捉了轴向分辨率降低的基本特征，但它可能限制模型可以学习的退化类型。未来的工作可以考虑纳入更复杂和多样化的退化模型。其次，在定制实验中，可以修改vEMINR的各种中间步骤，包括特征提取网络结构、隐式退化表示的权重和损失函数，以便在特定实验中实现最佳性能。
总之，我们已经验证了vEMINR快速准确重建vEM数据的能力。实验结果表明，vEMINR能够有效减少大规模vEM数据重建的时间和硬件需求。此外，vEMINR在不同数据集间表现出出色的可迁移性，进一步证明了其在实际应用中的广泛适用性。这不仅有助于提高研究效率和降低成本，而且为更深入地理解细胞内细胞器之间的相互作用提供了更全面的技术支持。
4 方法
在本节中，我们首先介绍了用于比较方法性能的评估指标以及相关数据集。然后，我们详细描述了提出的vEMINR架构，包括特征提取器、隐式退化提取器和隐式神经表示模块。接着，我们解释了vEMINR的训练过程及其优化目标。最后，我们描述了模型的推理过程。
4.1 指标与数据集
4.1.1 指标
我们的方法与传统的插值方法cubic作为基线进行比较。此外，我们与当前主流的各向同性重建方法vEMDiffuse-a进行了全面比较。为了客观评估重建结果，我们采用了多种定量指标：结构相似性指数（SSIM）和峰值信噪比（PSNR），分别衡量重建体积与参考体积之间的结构相似性和像素值误差；学习感知块相似度（LPIPS）用于衡量重建体积在三个正交轴切片上的感知质量。在下游3D分割任务中，Dice系数用于评估预测分割标签与真实情况之间的重叠程度，而Hausdorff距离用于评估分割的边界准确性。这种综合评估验证了我们的方法在重建生物样本正确3D结构方面的准确性和可靠性，并进一步证明了其在下游任务中的有效性。
4.1.2 数据集
我们在模拟和真实数据集上挑战我们的各向同性重建算法。模拟数据集是通过对EPFL的小鼠大脑神经元数据集和来自OpenOrganelle平台的六个公共数据集进行手动降级生成的。这些多样化和具有代表性的数据集使我们能够全面评估我们在不同组织类型中的方法。三个公开的成年果蝇大脑数据集被用作真实数据，进一步挑战我们方法的性能。
4.2 网络实现细节
在本节中，我们详细描述了vEMINR的关键组成部分：特征提取器、隐式退化提取器和隐式神经表示模块。
4.2.1 特征提取器
给定一个低分辨率图像，我们采用残差密集网络（RDN）来提取其特征。RDN包括浅层特征提取网络（SFENet）、残差密集块（RDB）和密集特征融合（DFF）。首先，低分辨率输入图像通过SFENet提取浅层特征。SFENet由两个3x3卷积层组成。这些浅层特征然后被进一步处理以进行额外的特征提取和全局残差学习。我们通过一系列残差密集块（RDB）处理特征，每个RDB由多个卷积层组成。给定RDB提取的特征，我们然后连接这些特征图并执行自适应全局融合以获得全局特征图。最后，我们使用全局残差学习（GRL）将全局融合特征和浅层特征结合起来，产生最终的输出特征图。
4.2.2 隐式退化提取器
我们还利用一个隐式退化提取器来处理低分辨率图像并预测其隐式退化表示。隐式退化提取器包括两个主要组成部分：编码器网络和提取器网络。编码器网络包括一个主干卷积神经网络（CNN）和一个多层感知器（MLP）投影头。主干CNN作为特征提取器，由六个连续的卷积层组成。给定低分辨率图像，通过主干CNN进行特征提取。然后我们通过自适应平均池化和展平操作压缩特征图。接下来，我们采用由三个全连接层组成的投影头进一步处理向量。整个编码过程从低分辨率图像到上述表示。为了避免模型崩溃为平凡解，我们引入了一个提取器网络来处理表示。提取器网络由两个全连接层组成，其过程可以表示。基于上述公式，隐式退化提取器中从低分辨率图像到隐式退化表示的过程由编码器和提取器网络的操作给出。
4.2.3 隐式神经表示
在本节中，我们采用隐式神经表示方法来重建超分辨率图像。该重建过程整合了隐式退化表示、低分辨率图像的特征图以及对应于目标尺寸的2D坐标图。包含2D坐标图至关重要，因为它通过能够基于坐标图中定义的空间位置预测强度值来促进重建。
在下文中，我们描述了超分辨率图像的逐像素重建过程。为了确定坐标处的强度，我们获得其编码坐标，提取其区域信息，并检索低分辨率图像特征图中对应的特征。这些组件与隐式退化表示连接起来，并输入到隐式神经表示模块中以预测强度值。具体来说，在输入到隐式神经表示模块的输入中，编码坐标是通过对坐标向量应用高斯傅里叶特征映射获得的。区域信息可以表述为。对于坐标，其对应的特征是通过查询低分辨率图像的特征图获得的。我们首先在该图的2D连续域中分配特征向量，然后为坐标获得最近的特征向量。隐式神经表示模块的另一个输入，即隐式退化表示。
在超分辨率图像重建过程中，我们利用隐式神经表示模块通过迭代预测所有像素坐标的强度值。为了形式化上述重建过程，我们将其表达为使用隐式神经表示模块的重建过程。
4.3 训练过程
在本节中，我们详细描述了训练数据准备方法和vEMINR每个模块的优化目标。
4.3.1 训练数据准备
在vEMINR的训练过程中，我们应用平均池化来手动降低各向异性体积的高分辨率（HR）横向（XY）切片，以生成模拟的低分辨率（LR）图像作为输入。具体来说，给定一个来自各向异性体积的高分辨率横向切片，我们通过给定的各向异性因子将其降级为LR切片。退化过程定义如下：其中和分别表示沿X轴和Y轴的索引。对于沿X轴的退化，满足和；对于沿Y轴的退化，满足和。
4.3.2 隐式退化提取器的优化目标
我们使用SiamSim自监督对比学习来训练隐式退化提取器。给定从低分辨率图像中裁剪的两个增强视图，隐式退化提取器提取它们的特征和隐式退化表示。对比学习的优化目标是最小化这些编码特征与隐式退化表示之间的负余弦相似度。基于上述负余弦相似度，我们的隐式退化提取器的对比学习损失函数可以表述为。为了防止网络崩溃，我们对特征向量应用"停止梯度"操作，将它们视为损失函数中的常数并防止梯度更新，从而确保训练稳定性。通过加入"停止梯度"操作，损失函数被重新表述为。经过对比学习过程后，隐式退化提取器可以有效地学习低分辨率图像的视觉表示。
4.3.3 特征提取器和INR的优化目标
特征提取器和INR的联合训练损失定义为SR图像和HR图像之间的L1损失：其中和分别表示SR图像和HR图像的宽度和高度。
4.4 推理过程
在本节中，我们概述了vEMINR的推理过程，该过程利用vEMINR方法从各向异性体积重建各向同性体积。各向异性体积可以被视为沿轴或轴分割获得的低分辨率切片的集合。基于上述低分辨率切片，我们采用特征提取器获得特征图，并使用隐式退化提取器推导出隐式退化表示。然后我们使用隐式神经表示模块来重建超分辨率图像。接下来我们执行2D拼接操作和3D配准，并将超分辨率图像重建为3D体积。最后，我们通过对上述体积进行平均来重建各向同性体积：其中表示各向同性3D体积，表示两个3D体积对应体素之间的加权平均操作。
