《Advanced Science》：vEMRec: High-Resolution Volume Electron Microscopy Reconstruction Based on Structure-Preserving and High-Fidelity 3D Alignment
编辑推荐：
本文推荐一种创新的体积电子显微镜(vEM)三维(3D)自动配准算法vEMRec。该算法通过将3D配准问题解耦为高频与低频子问题，巧妙结合刚性对齐与基于高斯滤波的弹性配准，在有效校正非线性畸变的同时，忠实地保留了生物样本固有的自然形态变化。实验证明，vEMRec显著提升了各向异性数据的轴向连续性，改善了下游各向同性重建和3D分割任务的性能，并实现了TB级样本的高效分析，为大规模生物成像提供了兼具计算效率与配准保真度的可靠工具。
1 引言
体积电子显微镜(vEM)是一种用于生物组织和细胞高分辨率三维(3D)可视化的强大技术，在生命科学、医学和临床诊断等领域有广泛应用。然而，数据采集过程中产生的错位是影响3D重建质量的关键问题。传统的三维配准方法长期面临一个困境：如何在消除非线性畸变的同时，捕捉生物样本固有的自然形态变化。现有的深度学习方法虽然有所改进，但往往忽略切片间的自然形变，过度追求像素级相似性可能破坏生物组织的轴向结构。
2 结果
2.1 vEMRec流程概述
vEMRec流程包含两个核心模块：3D刚性对齐模块和核心弹性配准模块。刚性对齐的目标是为图像堆栈提供初步的全局配准。弹性配准模块则是核心算法贡献，旨在校正复杂的非线性畸变并恢复样本的真实3D结构。具体而言，在刚性对齐阶段，算法提取鲁棒的特征点并进行匹配，进而估计刚性变换参数。在弹性配准阶段，vEMRec将配准问题分解为高频和低频分量，通过级联金字塔光流网络估计体素级形变场，并利用扩展的3D高斯平滑技术进行细化与整合，最终通过对齐后的体积进行形变，有效恢复底层解剖结构。
2.2 vEMRec中刚性对齐与弹性配准模块的综合验证
为严格评估vEMRec在高精度3D配准中的性能，研究在六个代表不同组织类型的合成数据集上系统验证了其刚性对齐和弹性配准模块。在刚性对齐阶段，vEMRec模块的性能优于FIJI平台上两种广泛使用的3D对齐工具StackReg和TrakEM2。随后，vEMRec应用弹性配准来校正局部非线性形变。与TrakEM2的弹性配准模块以及最新的基于深度学习的方法SEAMLeSS相比，vEMRec始终实现了最高的配准保真度，在各基准测试中一致实现了20%–30%的对齐精度提升以及显著增强的计算效率。
2.2.1 处理长图像序列中的误差累积
在真实应用中，连续切片电子显微镜(ssEM)数据集通常包含数百至数千个切片，即使微小的对齐误差也会累积，导致显著的漂移并损害3D对齐。实验观察发现，所有测试的刚性对齐算法的对齐精度（以SSIM衡量）都随着切片数量的增加而下降。值得注意的是，vEMRec在所有阶段都持续优于其他方法。虽然vEMRec的刚性对齐有效抑制了误差传播，但由于自然组织变形导致的残余错位仍然存在。这些错位由vEMRec的弹性配准模块进一步校正，该模块即使在长序列中也表现出优异的稳定性。
2.2.2 处理图像序列中的高度形变与噪声
电子显微镜图像常因有限的轴向分辨率、机械切片伪影和变化的噪声水平而产生弹性形变，这对精确的3D对齐构成了主要挑战。为评估鲁棒性，研究在两种具有挑战性的条件下进行了实验：严重噪声和复杂弹性形变。在所有噪声水平下，vEMRec始终获得比其他方法更高的平均对齐精度(SSIM)。为了模拟更强的切片间变形，研究增加了图像堆栈中的切片间隔。vEMRec在所有间隔设置下再次实现了最高的刚性对齐精度。对不同形变水平下弹性配准模块的进一步评估表明，vEMRec始终提供最高的配准精度(SSIM)，并成功重建了精确的3D结构，保持了z轴的连续性和平滑性。
2.2.3 配准提升下游3D分割精度
vEM 3D分割是3D对齐的关键下游任务。对齐的质量通过减轻结构变形、尺度变化和切片间错位直接影响分割性能。为评估这种影响，研究使用Dice相似系数(Dice score)比较了vEMRec、TrakEM2和SEAMLeSS在下游3D分割上的对齐性能。vEMRec在整个堆栈中始终保持最高的Dice分数，即使在序列长度接近1000个切片时也表现出强大的鲁棒性。此外，尽管存在复杂的非线性变形，vEMRec仍保持了高分割精度，在所有测试的变形水平上都取得了最高的Dice分数。分割输出的视觉检查进一步突显了vEMRec的优越性，它比其他方法更清晰地捕获了肝组织内细微的解剖细节和精细结构，产生了更精确和连续的分割结果。
2.3 在大规模真实数据上验证vEMRec
随着大规模电子显微镜(EM)图像数据集变得越来越普遍，对高效、高通量3D对齐方法的需求日益增长。与TrakEM2和SEAMLeSS相比，vEMRec在小鼠肝脏数据集上表现出更优的对齐精度和有竞争力的计算效率。为确保vEMRec对超过8192×8192像素的超高分辨率EM数据集的灵活性和可扩展性，研究设计了一个高效的分层配准流程。
2.3.1 用于真实数据集的多尺度差分滤波评估策略
为评估真实数据集的配准性能，需要一个可靠的无地面实况指标。研究提出了一种多尺度差分滤波评估策略，其动机在于：配准不佳通常会在相邻切片间的差分图中引入随机、独立的噪声，而成功的配准则保留与自然结构变化相对应的、具有生物学意义的纹理模式。该策略从两个互补的方面评估配准质量：噪声抑制和结构保存。
2.3.2 不同配准方法在真实数据集上的性能比较
研究将vEMRec与当前最先进的3D弹性配准算法SEAMLeSS在多个真实世界数据集上进行了比较。结果表明，vEMRec在定量指标和定性可视化方面都持续优于SEAMLeSS。首先，vEMRec配准后的体积在差分高斯(DoG)图像中显示出显著更高的对比度，表明配准精度更高，并能更好地保留精细的生物纹理。此外，来自vEMRec的拉普拉斯滤波图像与SEAMLeSS相比，信噪比(SNR)提高了0.15，熵降低了约2个单位，表明有效抑制了相邻切片间的非线性错位和随机噪声。这些改进增强了配准体积中生物学相关结构的清晰度和连续性。定性比较进一步支持了这些发现，侧视图可视化显示，vEMRec成功校正了细微的非线性形变，恢复了生物样本的真实轴向形态。
2.4 vEMRec对齐对下游任务性能的影响
2.4.1 下游各向同性重建任务的性能
获取高质量的各向同性vEM数据在技术上仍然具有挑战性。实验表明，vEMRec显著改善了各向异性体积的结构连续性和保真度，即使仅使用简单的插值步骤（例如FIJI的默认插值）也能实现高分辨率各向同性重建。这些结果强烈表明，vEMRec有效缓解了通常阻碍各向同性重建的非线性畸变和轴向不一致性。更重要的是，仅需最少的后处理即可生成高质量各向同性体积的能力，显著降低了下游分析和可视化的技术门槛。
2.4.2 下游神经元3D分割任务的性能
超微结构特征（尤其是神经元）的三维分割是vEM分析中的关键下游任务，其严重依赖于对齐图像体积的连续性和质量。为评估该方法在此任务中的有效性，研究在三个广泛使用的大规模神经元数据集上进行了广泛的实验。结果显示，与未处理的原始数据相比，vEMRec重建的体积显著提高了神经元分割性能。更重要的是，vEMRec处理后的数据能够识别出更多可靠且形态一致的突触分支，这对于连接组分析至关重要。在vEMRec重建数据上的分割结果显示出增强的结构连续性，神经元呈现平滑连续的边界，有效消除了原始数据中看到的锯齿状边缘伪影。
3 讨论
本研究介绍了vEMRec，一种高效的3D对齐算法，旨在消除刚性错位和非线性畸变，从而恢复生物样本的真实3D结构。该方法遵循两个关键阶段：首先进行顺序刚性对齐以校正大规模错位；其次是应用高斯滤波处理非线性畸变，同时保留自然形变。与传统方法不同，vEMRec提出的频率解耦策略通过联合建模整个图像堆栈的z轴，而非独立处理切片对，来应对这些限制。虽然非线性畸变和自然形变在单一切片对中可能难以区分，但在整个体积序列中分析时，它们的特性变得明显。自然生物形变表现出沿z维度的平滑、流形状变化，对应于低频分量，而非线性畸变则表现为突发的几何扰动，对应于高频分量。这种频域区分提供了分离真实结构连续性与人工畸变的原理性方法。
总之，vEMRec专注于消除vEM图像堆栈中的刚性错位和非线性畸变，同时保留自然形变，旨在准确恢复生物样本的3D结构。这为研究者在纳米尺度探索细胞组织的结构和功能奠定了坚实基础。凭借其卓越的配准性能以及对复杂形变和累积误差的适应能力，vEMRec成为分析连续序列电子显微镜图像的重要工具，为推进生命科学前沿研究和推动生物医学领域创新提供了强有力的技术支持。
4 方法
4.1 体积电子显微镜数据集与指标
研究使用合成和真实世界数据集来评估3D对齐算法的性能。对于合成数据集，从OpenOrganelle平台选择了六个公开可用的数据集。对于真实世界数据，在几个使用不同成像模式获取的公开大规模体积EM数据集上评估了该方法。为定量评估方法性能，研究计算了配准图像序列与地面实况(GT)之间的几个指标，包括归一化互相关(NCC)、互信息(MI)和结构相似性指数(SSIM)。此外，为评估方法在3D分割下游任务中的适用性和鲁棒性，计算了分割输出标签与地面实况标签之间的Dice系数和Hausdorff距离。
4.2 3D刚性对齐
vEM 3D刚性对齐工作流程涉及几个关键步骤。首先，对于每个相邻切片对，采用鲁棒的特征点提取方法来查找关键点，并使用边缘掩模进行细化。然后使用双向最近邻匹配来对齐切片间的特征点，随后应用局部保持匹配(LPM)算法来约束几何一致性。随后使用这些过滤后的匹配点来估计相邻切片间的刚性变换参数，并将得到的变换应用于每个切片。
4.3 3D弹性配准
3D弹性配准的主要目标是校正刚性对齐无法解决的非线性畸变，从而恢复z轴连续性并确保生物组织3D结构的准确重建。在这项工作中，研究扩展了一种基于高斯滤波的3D弹性配准方法，通过解耦高频和低频信息，在频域中有效区分非线性畸变和自然形变。具体而言，开发了一个级联金字塔光流估计网络来逐步估计相邻切片间的形变场。然后，通过将1D高斯滤波技术扩展到3D图像堆栈，利用其强大的平滑能力有效去除非线性畸变，同时保留自然形变。最后，使用高斯滤波整合估计的形变场，以实现精确的畸变校正和真实结构的恢复。
4.4 多尺度差分滤波评估
为解决真实数据集中缺少地面实况的问题，研究开发了一种多尺度差分滤波评估策略。具体来说，给定两个相邻切片，首先计算差分图像，然后使用拉普拉斯滤波进行处理。由于配准不佳的相邻图像之间存在像素级非线性畸变，差分图像中会出现细小噪声。研究采用拉普拉斯算子使噪声更加明显，从而得到拉普拉斯滤波图像。从两个角度评估结果：噪声减少和生物结构信息的保存。对于噪声，测量拉普拉斯滤波图像的图像熵，并使用信噪比(SNR)来衡量其中的噪声量。对于生物结构信息的保存，由于配准减少了相邻切片间的非线性误差，从而降低了差分图像中的噪声，并使生物结构更加平滑。因此，配准良好的相邻切片间的差分图像通常具有更清晰的生物结构，并在不同尺度上表现出更高的对比度。因此，研究建立了差分高斯(DoG)金字塔，并计算多个尺度的对比度来衡量所保留纹理的丰富程度。
