基于人工智能的虚拟现实技术在病理学教育中的应用

《Annals of Diagnostic Pathology》：Artificial intelligence-enhanced virtual reality for pathology education

本文提出基于VR技术的创新教学模式，整合三维影像、病理切片及临床数据，为头颈病理学学员提供沉浸式学习环境，提升互动性及知识留存率。

　　

扎伊德·H·库里（Zaid H. Khoury）| 杰拉尔德·E·戴维斯（Gerald E. Davis）| 艾哈迈德·S·苏丹（Ahmed S. Sultan）

美国田纳西州纳什维尔梅哈里医学院（Meharry Medical College）牙科学院口腔诊断科学与研究系

摘要

与传统的被动学习方式相比，教育中采用创新的主动学习教学法能够提高学生的参与度和信息保留能力。通过头戴式显示器或耳机操作的沉浸式虚拟环境使学习者能够深入参与模拟场景，从而获得互动体验。虽然扩展现实（XR）技术（如虚拟现实（VR）、增强现实（AR）和混合现实（MR）在通过沉浸式和互动式环境提高学习者参与度和知识保留方面展现出巨大潜力，但其在病理学教育中的应用仍尚未得到充分探索。这一差距令人担忧，因为病理学教学在很大程度上依赖于将微观病理学与临床和放射学表现联系起来——这一过程可以从空间整合可视化中受益。如果没有VR等沉浸式工具，新一代学习者可能会难以理解疾病的这些多维度方面。本文探讨了一种创新的VR教室架构，专为病理学住院医师和预科医学生设计，提供了生动且沉浸式的学习环境。

1. 背景

与传统的被动学习方式相比，教育中采用创新的主动学习教学法能够提高学生的参与度和信息保留能力[1]。通过头戴式显示器或耳机操作的沉浸式虚拟环境使学习者能够深入参与模拟场景，从而获得互动体验[2]。虽然扩展现实（XR）技术（如虚拟现实（VR）、增强现实（AR）和混合现实（MR）在通过沉浸式和互动式环境提高学习者参与度和知识保留方面展现出巨大潜力[3]，但其在病理学教育中的应用仍尚未得到充分探索。这一差距令人担忧，因为病理学教学在很大程度上依赖于将微观病理学与临床和放射学表现联系起来——这一过程可以从空间整合可视化中受益。如果没有VR等沉浸式工具，新一代学习者可能会难以理解疾病的这些多维度方面。本文探讨了一种创新的VR教室架构，专为病理学住院医师和预科医学生设计，提供了生动且沉浸式的学习环境。

2. VR病理学教室方法

通过Meta头戴设备运行的HoloMedicine?（apoQlar?）软件可以作为学生/住院医师和患者的沉浸式教学辅助工具。在这里，我们展示了一个为病理学教育设计的VR教室框架。该VR教室支持3D成像查看（切片滚动）、组织病理学扫描缩放以及2D文件查看（图像、视频、PDF）。VR教室的设计旨在实现包含多种成像数据的全面案例演示，从而创建临床病理学案例格式。受训者可以互动查看3D成像（如CT扫描或MRI）、3D模型、2D成像（例如临床照片和X光片）、2D组织切片（图1）。VR教室还提供特定案例的信息表或作业任务或测验问题。这有效地促进了放射病理学之间的关联，通过主动互动增强了受训者对病理状况的理解。教师还可以促进案例讨论，同时学生可以表达自己的观点、标注切片并提出诊断意见。教学手册、患者信息表或董事会准备考试题也可以包含在最终的VR教室场景中（图1）。这一点很重要，因为与被动文本复习相比，主动性的考试题能够提高记忆保留率和教学效果。此外，专门为病理学董事会复习设计的人工智能（AI）生成的多项选择题可以[4]并整合到VR教室中。有趣的是，可以使用基于AI的方法（如GANs）合成罕见组织病理实体的全切片图像（WSIs）[5]，并进一步整合到VR教室中。这种方法还可以用于生成常见实体的大型合成WSI教学示例，从而设计特定的教学模块（例如头颈病理学、乳腺病理学等）。图2提供了使用HoloMedicine?（apoQlar?）软件构建个性化病理学VR教室的详细步骤指南。

1. 下载：高分辨率图像（884KB）
2. 下载：全尺寸图像

图1。病理学教育的VR教室快照。

进入VR环境后，受训者可以通过选择“组织病理学教室”（a）在多个病理学教育房间中导航。模拟患者病例的虚拟座椅（b）。VR教室中可以整合各种图像数据集，如临床照片、3D放射图像、肿瘤尺寸和边缘的3D颌骨重建以及虚拟组织病理学切片（c）。手势（握紧的拳头）用于指示在虚拟房间中的前进方向（d）。受训者可以互动查看基于3D成像生成的3D模型（e）。虚拟全切片组织病理学图像，受训者可以放大和缩小并识别微观特征（f）。病理学的临床照片（g）。用户可以浏览特定案例的放射数据（MRI或CT）或辅助诊断测试（免疫组化）的幻灯片（h）。可以引入包含诊断信息或作业问题的特定案例信息表（i）。

1. 下载：高分辨率图像（186KB）
2. 下载：全尺寸图像

图2。构建病理学教育VR教室的步骤。

步骤1. 收集病理学数据源（收集您的内容）： 收集将用于VR病理学环境的数字资产，包括来自数字组织病理学的全切片图像（WSIs）、高分辨率组织显微照片、标注过的病理数据集、组织结构的3D重建以及放射学-病理学关联图像（例如与组织学发现相关的CT、MRI或PET扫描）。

步骤2. 导入组织病理学全切片图像（导入3D解剖模型）：将高分辨率WSIs加载到VR平台中，允许用户在三维空间中缩放、平移和导航组织切片，同时检查细胞形态和结构模式。

步骤3. 整合多模态成像数据（添加DICOM成像）：整合放射学成像（DICOM数据集）、大体标本照片和3D解剖重建，以实现成像发现与微观病理学之间的空间关联。

步骤4. 嵌入标注过的病理学案例（嵌入360度临床视频）：上传带有标记兴趣区域和其他诊断特征的策划病理学案例，以指导系统的切片审查。

步骤5. 构建虚拟诊断工作站（配置基于案例的情景）：创建交互式工作空间，用户可以在此检查数字切片，比较多种染色（H&E、免疫组化、特殊染色），并查看相关的临床、放射学和分子信息。

步骤6. 启用病理学案例模拟（启用程序模拟）：可以在无风险的VR环境中创建活检技术、细针穿刺、手术边缘定位和标记、大体切片模拟等。

步骤7. 促进协作式切片审查（设置远程协作）。实现实时多用户功能，使病理学教师和受训者能够在同一虚拟环境中同时检查数字切片、标注发现并讨论诊断特征。

步骤8. 激活AI辅助的病理学分析（激活AI驱动的个性化）。启用根据每个学生的知识水平定制的适应性测验，并在VR环境中提供AI驱动的个性化反馈。整合深度学习工具，能够突出显示可疑区域、量化组织学特征（例如有丝分裂细胞、肿瘤浸润淋巴细胞），并协助模式识别以支持诊断解释。

该图由作者制作，并使用Claude Sonnet 4.6 (? 2026 Anthropic PBC)进行了增强，改编自：https://apoqlar.com/medical-training-in-virtual-reality/中展示的概念。

3. 讨论

通过混合式课堂模式、基于案例的诊断模拟以及替代传统的光学显微镜实验室，可以将VR常规整合到病理学高等教育中。特别是在解剖病理学等各个医疗保健学科中，已经探索了VR在教育和培训中的应用[6]。尽管沉浸式学习的概念大约十年前就被引入了解剖病理学教育，但目前还没有专门针对病理学亚专业（如头颈病理学教育）的沉浸式VR设计的文献。只要有适当的资源和基础设施，将临床照片、平面/3D放射成像和组织切片同时整合到情境化的VR中，有望提高信息消化和保留能力、受训者的参与度、批判性思维以及头颈病理学的学习成果。这种基于体验的模式将使受训者能够积极参与，而不仅仅是被动学习，从而提高他们的诊断技能。这种方法旨在强化并符合牙科认证委员会（CODA）所规定的口腔和头颈病理学教育的既定课程框架和能力标准[7]。因此，医学、牙科和医学教育中的能力导向映射应将VR视为一种结果驱动的教学策略，而不是仅仅作为一种新奇的技术[8]。

尽管组织病理学实践主要是微观层面的，但它通常是通过解释疾病机制、将显微镜下的观察结果与临床放射学表现和疾病症状联系起来来教授医学生/牙科学生、一年级病理学住院医师和非病理学住院医师的。正如本文所展示的，VR有潜力吸引新一代的学生和住院医师，他们可能更适应多维和沉浸式的环境。预计这将通过模拟真实世界场景来提高受训者对解剖结构和病理学的3D理解、实际手术规划技能、积极性、参与度和知识保留能力。此外，初步的随机对照研究支持VR方法（如我们提出的方法）相对于传统教学方法的可行性和有效性[9][10]。

4. 结论

从概念驱动的交互设计研究范式的角度来看，所提出的VR病理学教育架构具有很高的价值[11]。本文为头颈病理学提供了一个坚实的理论基础，可以成为优化头颈病理学教育中VR常规使用的起点。实际上，所提出的VR环境并不是一种寻找用途的技术，而是一种将既定的教育和诊断原则应用于头颈病理学常规教学的概念性努力。

整合此类技术的挑战包括设备成本、计算资源、技术实施障碍、学习不适（例如晕动症）以及不理想的图像分辨率。3D自动立体显示技术提供了无需眼镜的3D图像，可以缓解使用头戴设备带来的一些挑战[12]。因此，成功的技术整合需要机构在时间和资源方面的重大投资。

CRediT作者贡献声明

扎伊德·H·库里（Zaid H. Khoury）：概念化、数据整理、正式分析、调查、方法论、资源、软件、可视化、初稿撰写、审阅与编辑。

杰拉尔德·E·戴维斯（Gerald E. Davis）：概念化、资金获取、资源、审阅与编辑。

艾哈迈德·S·苏丹（Ahmed S. Sultan）：概念化、调查、方法论、项目管理、监督、初稿撰写、审阅与编辑。

同意与伦理批准

不适用。

资金

定制的HoloMedicine?空间包由Care Foundation of America Inc.（美国田纳西州布伦特伍德）资助。