基于荧光素血管造影视频生成的视网膜生成基础模型

《npj Digital Medicine》：Fundus to fluorescein angiography video generation as a retinal generative foundation model

　　

摘要

荧光素眼底血管造影（FFA）对于诊断和监测视网膜血管问题至关重要，但其侵入性以及相对于彩色眼底（CF）成像的局限性限制了其应用范围。现有的将CF图像转换为FFA的方法主要集中在静态图像生成上，常常忽略了病变的动态变化，而这些动态变化对于全面诊断至关重要。在这项研究中，我们提出了Fundus2Video，这是一种自回归生成对抗网络（GAN）模型，旨在从单张CF图像生成动态FFA视频。Fundus2Video在视频生成方面表现出色，达到了1497.12的FVD（视频质量度量）和11.77的PSNR（峰值信噪比），临床专家也验证了生成视频的真实性。此外，该模型在十个外部公共数据集上展现了出色的迁移能力，成功完成了包括血管分割、视网膜疾病诊断、系统性疾病预测和多模态检索等任务，展示了令人印象深刻的零样本学习和小样本学习能力。这些发现使Fundus2Video成为传统FFA检查的一种强大且无创的替代方案，并成为一个多功能的眼底生成基础模型。通过捕捉静态和动态的视网膜特征，Fundus2Video为多种眼科下游任务提供了可迁移的表示方法，可能激发其他医学成像领域类似的跨模态研究。