基于感知优先技术的数字孪生模型，应用于增强现实微型外科手术

《International Journal of Computer Assisted Radiology and Surgery》：Perception-first digital twin for augmented reality microsurgery

　　

摘要

目的

在显微手术中，增强现实技术的应用受到深度模糊、遮挡以及手术显微镜下有限场景感知能力的挑战。数字孪生（物理系统的动态虚拟模型）能够提供所需的上下文几何数据，以缓解这些限制。我们提出了一种以感知为首要目标的数字孪生框架，该框架利用实时手术状态来驱动增强现实可视化，从而在耳科手术中实现深度、遮挡和距离感知。

方法

我们将手眼校准优化问题构建为一个联合的\(\textrm{SE}(3)\)优化问题，并加入偏差项和鲁棒权重，以确保物理实体与虚拟实体之间的准确对齐。我们的框架将这种优化后的校准技术与关键手术元素的高精度光学跟踪以及实时仿真结合在一起，从而能够根据手术进展动态更新数字孪生模型。随后，使用更新后的虚拟模型计算感知场，这些感知场用于在实时立体显微镜图像上叠加增强现实效果，这些图像基于3D打印的解剖模型。

结果

我们在校准数据和评估数据集上测试了优化后校准的准确性。优化后的工作流程在平移误差方面取得了中位数1.06\,\textrm{mm}和1.19\,\textrm{mm}，在旋转误差方面取得了中位数0.46^{\circ}和0.28^{\circ}。此外，数字孪生还被用来在3D打印的颞骨显微视频上生成并叠加感知提示。通过一个AR引导的显微手术案例，展示了这些动态更新的提示如何传达关键结构与不断变化手术腔之间的空间关系。

结论

我们提出了一种以感知为首要目标的数字孪生框架，用于显微手术中的增强现实引导。随着手术过程中解剖结构的改变，数字孪生模型会持续更新，并用于生成基于感知的增强现实提示。我们的框架在保持手术视野可见性的同时，提升了空间理解能力。