基于深度的局部配准精化用于垂体手术(pituitary surgery)中的增强现实(AR, Augmented Reality)引导

《International Journal of Computer Assisted Radiology and Surgery》：Depth-based local registration refinement for augmented reality in pituitary surgery

　　

摘要：目的——垂体外科经鼻内镜手术中，术前三维解剖模型与术中内镜视野间的精确配准(registration)是可靠增强现实(AR, Augmented Reality)引导的关键。虽然利用外部面部重建可实现粗配准(coarse alignment)，但无法补偿面部与深部手术靶区（蝶鞍区,sella region）之间的相对位移；且单目内镜缺乏直接深度信息，使蝶鞍区域精确对齐困难。方法——研究人员通过网格搜索(grid search)比较单日内镜图像预测的单目深度图(monocular depth prediction)与术前三维模型渲染的深度图，筛选适宜的相似度度量(similarity metric)用于配准精化(refinement)。归一化互相关系数(NCC, Normalised Cross-Correlation)表现最稳健，被选为优化目标。随后构建连续优化框架(continuous optimisation framework)，通过最大化NCC迭代精化平移位姿参数(translation pose parameters)，并以周期性帧间传播(propagation across frames)保证计算效率。结果——基于深度的优化改善了手术靶区对齐效果：DICE系数由0.77升至0.81，交并比(IoU, Intersection-over-Union)由0.63升至0.68，质心定位误差(centroid localisation error)降低36%。结论——所提出的基于深度的配准精化(depth-based registration refinement)提升了内镜AR引导下的靶区对齐精度，证明了单目深度线索(monocular depth cues)用于术中配准校正(intra-operative registration correction)的潜力。

论文解读：基于深度的局部配准精化用于垂体手术中的增强现实(AR)引导

一、研究背景与立项依据

垂体瘤切除术通常采用经鼻内镜入路，术区位于颅底蝶鞍区(sella turcica)，解剖结构深在且狭小。增强现实(AR, Augmented Reality)技术可将术前MRI/CT获取的三维解剖模型（如肿瘤、血管、骨性标志）叠加于实时内镜视频，辅助术者判断关键结构与切缘。实现有效AR引导的核心在于术前模型与术中视野间的精确空间配准(registration)。

目前，粗配准(coarse registration)多借助红外反光标记、视觉标记或无标记方式（如外部立体相机重建面部表面并与术前面模匹配）。然而，面部软组织与颅内深部靶点（蝶鞍区）存在相对位移（脑搏动、体位变化、器械推压等），导致仅凭面部配准获得的变换矩阵在术野深入后产生累积误差，即靶区配准误差(TRE, Target Registration Error)随内镜接近鞍区而增大。此外，临床常用单目内镜(monocular endoscope)不提供直接深度信息，使得在图像平面之外无法直接约束沿光轴方向(z轴)的错位，进一步阻碍ROI（感兴趣区）级精确对齐。虽有研究尝试从单目序列重建三维或估计深度，但普遍存在与术前扫描间尺度模糊(scale ambiguity)的问题。

为此，研究人员在前期已发表的基于标记自动配准AR系统基础上，提出一种局部、基于深度图的配准精化策略：利用单目深度估计算法从内镜帧推断相对深度图，同时从粗配准后的术前三维模型按当前相机内参与位姿渲染合成深度图，通过最大化两者相似度（最终选定归一化互相关系数,NCC）来微调模型位姿，从而在不依赖额外硬件的前提下改善鞍区靶区叠加精度。该研究发表于《International Journal of Computer Assisted Radiology and Surgery》。

二、主要关键技术方法概述

研究人员以垂体手术体模(endoscopic pituitary surgery phantom)采集内镜视频及外部立体相机(RealSense stereo camera)面部重建数据；术前解剖模型源自MRI扫描并分割出面模与肿瘤区域。粗配准通过外部立体相机重建面部点云与MRI衍生面模ICP匹配完成。精化时：(1)用Depth Anything框架从单目内镜图像推断单通道相对深度图I_{predictedDepth}；(2)从粗配准后三维模型按已知相机内参及当前位姿通过z-buffer渲染合成深度图I_modelDepth；(3)先通过穷举网格搜索(grid search,平移±3 mm,步长1 mm,平面内X/Y)评估MSE、NCC、SSIM及基于VGG/DINO特征的余弦相似度，确定NCC为最稳健目标函数；(4)运行时采用连续优化(continuous optimisation)以NCC为目标，优化全部三个平移自由度(DOF, Degrees of Freedom,含光轴方向)，每10帧执行一次优化并将变换传播至中间帧；(5)精度以Grounded SAM 2生成的肿瘤二值掩膜评估DICE系数、IoU及质心距离(centroid distance)。实验含10段独立录制共354帧。

三、研究结果

Similarity metric comparison via grid search（通过网格搜索比较相似度度量）

研究人员在粗配准基础上对模型位姿施加微小平移扰动，逐一计算预测深度图与渲染深度图间的多种相似度指标。量化显示，以NCC为度量的精化使中位DICE由0.48升至0.71，中位IoU由0.32升至0.55，中位质心距减少约28像素；MSE、SSIM、VGG及DINO特征余弦相似度提升较小且不稳定。据此选定NCC作为后续连续优化目标函数，因其对预测深度与渲染深度间线性灰度缩放和偏置具不变性(invariance)。

Continuous refinement via optimisation（基于优化的连续配准精化）

将NCC嵌入连续优化框架，对10段内镜记录354帧每10帧优化一次并帧间传播。结果显示：相较粗配准，精化后分割重叠度(DICE)由0.77增至0.81，IoU由0.63增至0.68，肿瘤质心定位误差降低36%。表明基于单目深度图匹配、以NCC为目标的平移优化可在手术靶区持续改善AR叠加对齐，验证了单目深度线索用于局部配准校正的有效性。

四、讨论与结论翻译

研究人员提出一种结合单目内镜图像深度预测与术前三维模型渲染深度图比对(local depth-based registration refinement)的框架，直接在临床关注区域（蝶鞍）改善AR覆盖对齐，弥补仅依靠面部粗配准之不足。所系统据研究人员所知是首个将跟踪式自动粗配准与基于视觉的靶区局部精化相结合的AR配准系统——粗配准提供全局稳定性，基于NCC的深度比对提供局部灵活性，且全程自动无须术中人工干预。

局限性：数据来自手术体模(phantom)，未涵盖真实手术中组织形变、出血渗液、器械遮挡及光照变化；当前仅优化三个平移自由度而未含旋转，亦未显式建模帧间时序一致性(temporal consistency)。未来拟扩展至六自由度(6-DOF,含旋转)优化并引入多帧联合优化(joint multi-frame optimisation)以增强时序平滑性，并在临床真实数据上验证鲁棒性。

结论（翻译）： 总体而言，所提出的基于深度的配准精化改善了内镜AR引导下的靶区对齐，并展示了单目深度线索用于术中配准校正的应用潜力。