《International Journal of Computer Assisted Radiology and Surgery》：Endo-PairGS: pair priors for dynamic endoscopic scene reconstruction
编辑推荐：
目的：动态内镜数据中的场景重建对微创手术及手术导航至关重要。近年来，基于高斯泼溅(Gaussian Splatting, GS)的方法在动态内镜场景重建中表现优异，但在可变形组织、手术器械遮挡及相机位姿变化等更具挑战性的场景中，难以获得高质量的GS模型初始化结
目的：动态内镜数据中的场景重建对微创手术及手术导航至关重要。近年来，基于高斯泼溅(Gaussian Splatting, GS)的方法在动态内镜场景重建中表现优异，但在可变形组织、手术器械遮挡及相机位姿变化等更具挑战性的场景中，难以获得高质量的GS模型初始化结果。为此，研究人员提出Endo-PairGS，利用来自两帧的对齐点云对来初始化4D GS模型。
方法：该框架包含静态与动态三维重建两部分。首先，研究人员在内镜数据上对基础模型进行微调以获得对齐点云；为保障含可变形组织的视频序列微调稳定性，采用基于光流的掩码降低大运动区域的影响。随后，利用生成的点云对初始化4D GS模型以实现动态场景重建。配对点云可补全被手术器械遮挡的区域及因相机位姿变化产生的不可见区域，从而获得更完整的3D场景。
结果：在EndoNeRF与StereoMIS数据集上的实验表明，Endo-PairGS在定量与定性结果上均优于现有方法。在StereoMIS(P3)场景中，该方法峰值信噪比(PSNR)达32.47，结构相似性(SSIM)达0.871，较基线方法分别提升4%与4.8%。
结论：本研究提出了具有更完备初始化策略的Endo-PairGS，显著提升了动态内镜场景重建性能。代码与数据将发布于https://github.com/MoriLabNU/Endo-PairGS。
《International Journal of Computer Assisted Radiology and Surgery》刊载的该研究聚焦动态内镜场景重建这一微创手术的共性技术瓶颈。当前基于神经辐射场(Neural Radiance Fields, NeRF)与高斯泼溅(Gaussian Splatting, GS)的三维重建方法虽取得进展，但在可变形组织运动、手术器械遮挡、相机位姿频繁变化的临床真实场景中，普遍存在初始化质量不足的核心缺陷——传统单帧伪深度或运动恢复结构(Structure from Motion, SfM)点云无法覆盖遮挡与视角缺失区域，导致重建几何不连续、纹理模糊。针对这一问题，研究人员提出Endo-PairGS框架，通过跨帧对齐点云对实现更完备的4D GS初始化，实验验证其在多类复杂内镜场景中均优于现有前沿方法，为手术导航提供更精准的动态三维环境表征。
关键技术方法层面，研究基于20个来自EndoNeRF与StereoMIS数据集的动态内镜场景开展。首先针对刚性场景预训练的基础模型Splatt3R，设计光流掩码微调策略：采用RAFT算法计算帧间光流，通过低运动区域筛选与互补随机掩码保障梯度稳定，仅微调高斯头以提升内镜域适配性；其次选取间隔超过20帧的图像对生成对齐点云对，经去重与离群点过滤后初始化4D GS模型，以微调模型的预测伪深度作为监督信号，结合像素级损失、置信引导损失与总变差(Total Variation, TV)损失完成动态重建优化。
研究结果分为四部分展开。实验设置部分，研究人员从公开数据集中筛选6个含不同工具遮挡与组织形变程度的动态场景进行评估，统一采用7:1的训练测试划分，所有对比方法均重新训练以保证公平性；Splatt3R微调耗时约7小时，单场景动态重建训练仅需10分钟，推理速度达100 FPS，显存占用4 GB。对比结果部分，定量指标显示：在相机位姿固定的场景中，Endo-PairGS在EndoNeRF-Pulling场景取得最优结果，其余场景性能与需真值深度监督的前沿方法相当；在相机运动与组织形变更剧烈的StereoMIS挑战场景中，该方法PSNR、SSIM、学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)三项指标均实现显著提升，其中StereoMIS(P3)场景PSNR达32.47、SSIM达0.871，较基线分别提升4%与4.8%。定性结果进一步验证，该方法在肠道血管边缘、反光组织表面等细节区域的渲染清晰度显著优于对比方法，预测深度的边缘锐度与分布平滑性也更接近真实几何结构。消融研究部分，研究人员验证了各模块的有效性：未微调的Splatt3R因域偏移导致相机内参预测误差，初始化性能全面下降；双帧与三帧点云初始化在工具遮挡场景中优于单帧，三帧点云虽信息更丰富但计算成本更高，采样50%点云后二者性能基本一致；帧间隔大于10帧即可满足需求，光流掩码阈值设为0.2时已覆盖主要重叠区域，互补随机掩码是保障梯度稳定的核心。
讨论部分指出，该研究的核心优势在于对齐点云对可补全单帧缺失信息，尤其适用于结肠镜等大相机运动场景；当前仅微调高斯头的策略受限于无三维真值标注，未来需更多带三维标注的数据集提升几何精度。边界条件方面，快速相机运动或极端拓扑变化会导致RAFT光流估计失效，可通过限制输入帧间隔或引入不确定性感知光流优化应对。结论重申，Endo-PairGS通过光流掩码微调实现动态内镜场景的对齐点云对生成，以此初始化4D GS模型的策略显著提升了重建完整性，为手术导航提供了更可靠的动态三维场景表征，后续将通过扩充高质量标注数据进一步提升形变帧对的配准精度。
