基于光声成像（Photoacoustics, PA）与增强现实（Augmented Reality, AR）的手术导航技术，本研究针对游离光传输与超声换能器分离导致的空间配准难题，开发了一种基于Magic Leap 2头显的实时AR引导系统。研究人员通过定制标记支架、卡尔曼滤波（Kalman Filter）及多坐标系变换算法，实现了激光束与超声成像平面的动态可视化对齐。定量评估表明，该系统在静态瞄准任务中将平均靶向误差降低了58%，并将激光-图像交点的分布方差从45.9 mm2显著降至12.0 mm2，验证了其在复杂运动追踪与手术规划中的潜力。 关键词 光声成像|增强现实|手术导航|游离光传输|空间配准|卡尔曼滤波|实时可视化

《Photoacoustics》：Real-time photoacoustic imaging with freehand light delivery and augmented reality guidance

　　

这篇发表在《Photoacoustics》上的论文题为“Real-time photoacoustic imaging with freehand light delivery and augmented reality guidance”，针对光声成像（Photoacoustics, PA）在外科手术引导中面临的光传输与声学接收组件物理分离所导致的空间配准难题，开发了一套基于增强现实（Augmented Reality, AR）的实时引导系统。研究背景在于，尽管PA成像结合了光学的高对比度与超声的深穿透优势，但在实际应用中，若将激光源固定于超声换能器上会限制照明灵活性，而采用游离手（freehand）激光传输虽能实现定制化照射，却极易因激光路径与超声成像平面（imaging plane）错位而导致光声信号丢失，进而造成对关键解剖结构（如血管、神经）的错误判断。现有的AR引导方案多集中于超声或CT，尚未有效解决实时PA成像中激光与成像平面的动态对准问题。 为此，研究人员设计、实现并评估了这一新型AR引导系统。该系统基于Magic Leap 2头显，通过硬件改造、软件开发及校准协议确保虚拟模型与物理世界的几何精度。研究人员首先设计了定制的标记支架（marker holders）分别固定于激光源（Vevo F2 LAZR-X）和超声换能器（UHF29x）上，利用ArUco基准标记（fiducial markers）实现6自由度（DOF）追踪。为解决追踪过程中的抖动与噪声，系统引入了卡尔曼滤波器（Kalman filter），其状态向量包含位置、欧拉角及线速度、角速度，并根据可见标记数量自适应调整测量噪声协方差矩阵R，从而在标记被短暂遮挡时维持虚拟物体的稳定姿态。在多坐标系变换方面，研究利用Unity引擎构建了世界坐标系（W）、标记坐标系（LM, UM）与设备坐标系（L, I）之间的转换关系，通过推导出的变换矩阵TLMW、TUMW以及设备与标记的刚性变换TLLM、TIUM，实现了虚拟激光束与PA图像的精准空间映射。图像传输采用TCP协议，利用Deflate算法压缩图像数据，并通过多线程异步解压与渲染，确保了30 Hz的实时帧率。 研究结果表明，在静态中心瞄准任务中，AR引导将平均靶向误差较无AR辅助降低了58%，且在185次采集中排除了0%的数据（无AR组排除了65%），证明了AR在维持稳态精度上的优势。螺旋运动轨迹追踪实验进一步证实，激光-图像交点的分布方差从45.9 mm2降至12.0 mm2，体现了AR在连续运动中对运动稳定性的显著提升。四角瞄准任务则验证了系统在离散点位采样中的高精度。在离体（Ex vivo）组织验证实验中，研究人员利用覆盖薄层火鸡胸肉的3D打印血管模型，成功地将深层血管的光声信号实时映射至组织表面，展示了该系统在模拟手术场景中规避血管损伤的应用潜力。 综上所述，该研究通过建立一套完整的AR辅助PA成像流程，解决了游离光传输带来的对准瓶颈。讨论部分指出，该系统不仅缩短了学习曲线，减少了激光暴露时间，还通过三维可视化降低了操作者的认知负荷。研究结论强调，这种基于头部显示器（Head-Mounted Display, HMD）的AR引导策略，为未来光声引导的微创手术提供了一种直观、高效且高精度的空间配准解决方案，有望推动PA成像在临床转化中的广泛应用。

论文解读：基于增强现实引导的游离手光声成像系统研发

研究背景与意义

光声成像（Photoacoustics, PA）作为一种融合光学高对比度与超声深穿透优势的生物医学模态，在识别血管、神经及肿瘤等临界结构方面具有重要价值。然而，现有PA手术引导面临一个核心矛盾：若将激光源耦合于超声换能器，虽能保证对准但限制了照明区域的灵活性；若采用游离手（freehand）激光传输，虽能实现定制化照射，却因激光路径与二维超声成像平面（imaging plane）难以对齐，极易导致光声信号缺失或误判。这种失准会使外科医生错误地认为目标结构不存在。尽管增强现实（Augmented Reality, AR）已在超声和CT引导手术中有所应用，但尚无研究将其用于解决实时PA成像中激光与成像平面的动态对准问题。因此，开发一种能够实时追踪并可视化激光与成像平面空间关系的AR系统，成为推动PA成像临床转化的关键。本研究由Johns Hopkins University的研究团队完成，发表于《Photoacoustics》，旨在通过构建Magic Leap 2头显辅助的实时引导系统，填补这一技术空白。

关键技术方法

研究人员开发了一套集硬件改装、软件算法与校准协议于一体的AR引导系统。首先，利用Autodesk Fusion 360设计了适配激光源（Vevo F2 LAZR-X）和超声换能器（UHF29x）的定制标记支架，并在其上固定ArUco基准标记以实现6自由度（DOF）位姿追踪。其次，在Unity环境中开发了应用程序，集成了卡尔曼滤波器（Kalman filter）以平滑位姿估计并抑制噪声，其状态向量包含位置、欧拉角及线角速度，且根据可见标记数量自适应调整测量噪声协方差矩阵R。再者，通过坐标系统变换，建立了世界坐标系与设备坐标系间的转换模型，利用变换矩阵T_LM^W、T_UM^W及设备与标记的刚性变换T_L^LM、T_I^UM实现虚拟模型的空间配准。最后，通过TCP协议传输经Deflate算法压缩的PA图像数据，并利用多线程异步渲染保证了30 Hz的实时显示帧率。

研究结果

1. 系统架构

研究详细阐述了系统的三大组成部分：物理标记支架的设计与制造、基于Unity的Magic Leap 2头显应用开发以及确保几何精度的校准协议。支架设计采用了金字塔结构和双标记布局，以最大限度地减少追踪遮挡。

2. 坐标系概览

研究人员定义了激光标记（LM）、超声标记（UM）、图像（I）及激光（L）等多个坐标系，并通过推导出的空间变换公式，实现了从图像坐标到世界坐标，以及从激光坐标到世界坐标的精准映射，确保了虚拟对象在物理空间中的正确叠加。

3. 标记检测与位姿估计

系统利用Magic Leap 2的前置摄像头检测ArUco标记，并通过API获取位姿信息。针对扫描重建、CAD设计、3D打印及物理装配等环节引入的误差，研究人员进行了误差传播分析，估算出约1.26 mm的平移误差和1–2°的旋转误差。

4. 卡尔曼滤波实现

为了应对追踪过程中的抖动，研究引入了卡尔曼滤波器。实验表明，在7.8秒的线性平移任务中，该滤波器将均方根误差从8.03 mm降低至1.37 mm，有效消除了不切实际的突变位姿。

5. 可视化与交互

利用Unity的LineRenderer组件渲染半透明圆柱体代表激光束，并通过射线投射（raycast）系统检测激光与虚拟成像平面的交点。PA图像则以Texture2D对象的形式实时更新，实现了图像与解剖结构的空间融合。

6. 图像-激光交点

研究建立了数学模型来描述激光束与PA成像平面的几何关系，通过计算激光源原点沿单位方向向量的距离t，求解出交点在图像坐标系中的位置，为量化评估提供了理论基础。

7. 基于任务的系统评估

通过三项任务验证了系统性能：静态中心瞄准显示AR组平均靶向误差显著降低；螺旋运动追踪表明激光-图像交点分布方差从45.9 mm2降至12.0 mm2；四角瞄准验证了离散点的高精度采样能力。数据显示，无AR辅助时65%的采集因无交点被排除，而AR组仅为0%。

8. 离体组织验证

利用覆盖薄层火鸡胸肉的3D打印血管模型，系统成功地将隐藏在组织下的血管光声信号实时映射至组织表面，直观地向用户展示了深层结构的位置，证实了其在模拟手术场景中的应用潜力。

讨论与结论

本研究成功开发并验证了一种新颖的AR引导系统，用于解决游离光传输PA成像中的对准挑战。研究结论指出，该系统通过实时追踪与可视化，将静态对准的平均靶向误差降低了58%，并显著提高了运动稳定性。这种AR引导策略不仅减少了对操作者专业经验的依赖，降低了认知负荷，还为复杂的手术规划提供了直观的三维视觉反馈。通过将光声信号直接映射至解剖结构表面，该系统为未来微创外科导航、肿瘤边界界定及关键结构保护提供了一种极具前景的技术范式，有力推动了光声成像从实验室走向临床应用的进程。