基于智能关键点对匹配的多模态视网膜图像的刚性配准

《Journal of Medical and Biological Engineering》：Rigid Registration of Multi-Modal Retinal Images Based on Intelligent Matching of Keypoint Pairs

视网膜多模态图像配准研究提出基于YOLOv8-pose的智能关键点匹配方法，通过构建专用数据集、整合关键点定位与对应关系建立、优化重定位和配准策略，显著降低MAE（37.78%）、MEE（44.78%）和RMSE（40.88%）误差，提升Dice系数至0.5023。

　　

摘要

目的

视网膜激光手术是治疗中心性浆液性脉络膜视网膜病变（CSCR）的重要临床方法。然而，术前过程需要眼科医生手动在荧光素血管造影（FFA）和彩色眼底（CF）图像上标注关键点以进行图像配准，这既耗时又容易受到主观因素的影响。同时，现有的刚性配准方法在检测关键点及其对应关系方面相对繁琐。因此，探索一种新的多模态视网膜图像刚性配准方法具有潜在的临床价值和研究意义。

方法

本文提出了一种基于智能关键点对匹配的新颖多模态视网膜图像刚性配准方法。具体而言，首先构建了一个针对临床CSCR多模态视网膜图像的关键点对数据集以支持后续研究。然后，成功引入了基于YOLOv8的框架来进行关键点对的智能匹配，将关键点定位和对应关系建立统一为一个任务。接着，开发了一种关键点重新定位技术以提高关键点的位置精度，随后采用关键点对选择策略来优化仿射变换所需的关键点。最后，通过详细的定量和定性实验验证了所提方法的有效性。

结果

在私有数据集上的实验结果表明，重新定位后的关键点在最大误差（MAE）、中位数误差（MEE）和均方根误差（RMSE）方面分别平均减少了37.78%、44.78%和40.88%，表明所提技术显著降低了位置误差。对于多模态视网膜图像配准，Dice系数（Dice）达到了0.5023（±0.1262），软Dice系数（Dice）达到了0.3940（±0.0571），显示出比传统方法更高的配准精度。

结论

定量和定性结果均表明，所提方法能够精确地定位关键点对，并且比传统方法具有更高的配准精度。