《International Journal of Computer Assisted Radiology and Surgery》：A Granular Interaction Framework for Surgical Robotic Digital Twins: Enabling Realistic Segment-Level Manipulation in Extended Reality
编辑推荐：
尽管机器人辅助手术（Robot-Assisted Surgery, RAS）具备显著的临床优势，但其推广常受限于陡峭的学习曲线。扩展现实（Extended Reality, XR）与数字孪生（Digital Twin, DT）为外科培训提供了极具前景的解决方案
尽管机器人辅助手术（Robot-Assisted Surgery, RAS）具备显著的临床优势，但其推广常受限于陡峭的学习曲线。扩展现实（Extended Reality, XR）与数字孪生（Digital Twin, DT）为外科培训提供了极具前景的解决方案，然而现有集成流程依赖需处理复杂运动学约束的高保真系统级仿真。本研究提出了一种现代化框架，通过将计算机辅助设计（Computer-Aided Design, CAD）模型过渡至扫描衍生的数字孪生体，并结合基于力的交互范式，实现了RAS在XR中的集成。研究人员在Apple Vision Pro（AVP）上进行了性能分析以确立多边形数量的经验性硬件基准；利用三维扫描与手动重拓扑（retopology）技术构建了Dexter手术机器人系统的数字化替代模型，并在Unity引擎中评估了刚体（Rigidbody）与铰接体（ArticulationBody）物理组件的动力学稳定性，进而开发了支持线性反馈（比例-微分控制器，Proportional-Derivative Controller, PD）与几何约束控制器的力基交互系统。结果表明，扫描衍生模型相对于物理系统的空间精度达到1.6毫米；ArticulationBody物理组件展现出优于传统Rigidbody组件的数值稳定性；线性反馈控制器虽表现出更高的定量精度，但需大量人工增益调优，而几何约束控制器则无需迭代校准即可提供高速稳定性。该框架通过提供非CAD依赖的工作流、网格简化处方性测试协议及增强临床培训运动学真实感的力基交互系统，推动了RAS集成的现代化进程。
研究背景与意义
随着机器人辅助手术（Robot-Assisted Surgery, RAS）技术的快速发展，除达芬奇手术系统外，新兴的多臂模块化手术机器人平台不断涌现，为医院提供了更广泛的选择。然而，这些新型系统往往伴随着陡峭的学习曲线，导致手术时间延长。这种效率低下源于操作人员对新系统机械约束的不熟悉、手术室布局规划不当以及对切口位置的经验性判断，特别是在处理患者特异性解剖结构时，现有的术前规划工具难以满足需求。扩展现实（Extended Reality, XR）与数字孪生（Digital Twin, DT）被视为解决上述问题的关键技术，旨在通过虚拟仿真提升培训效果与术前规划精度。但目前的研究多依赖专有CAD模型，转换流程繁琐，且XR交互常绕过物理引擎采用刚性运动学脚本，导致交互缺乏重量感与阻力感，无法真实模拟手术机器人在物理环境中的动力学行为。此外，现有框架缺乏对关节级别的精细控制，限制了其在复杂碰撞规避与构型调整中的应用。为此，研究人员针对Dexter手术机器人系统，开发了一套基于力驱动的分段操作框架，旨在通过非CAD依赖的流水线实现高保真的虚拟手术室（Digital Operating Room, DOR）构建，并利用Apple Vision Pro（AVP）验证了该框架在提升术前规划效率与缩短术中准备时间方面的潜力。该研究发表于《International Journal of Computer Assisted Radiology and Surgery》。
主要关键技术方法
研究人员首先采用EinScan H2结构光扫描仪获取Dexter手术机器人的高精度几何数据，其余手术室组件通过MagiScan 3D进行摄影测量建模。在Blender软件中，利用“精简”修改器（Decimate modifier）进行网格优化，并对复杂的机械臂进行手动重拓扑与层级分段绑定，以适应AVP的实时渲染限制。通过在Unity中构建包含带物理属性的“尖刺球”的受限虚拟环境进行压力测试，确立了维持稳定帧率（30 FPS）下的多边形数量阈值。在物理引擎选择上，对比了传统Rigidbody+Joint组合与Unity的ArticulationBody组件，通过设置对照组（施加恒定角速度与垂直外力）量化评估两者的最大偏差、Y轴偏差及稳定时间。交互算法层面，开发了两套基于力的控制器：几何约束控制器与线性反馈（PD）控制器，通过计算局部坐标系下的位移误差与速度，转换为全局加速度与力，驱动机械臂分段运动。
研究结果
计算性能（AVP）
压力测试结果显示，AVP在帧率低于30帧每秒时将显著影响用户体验。实验表明，AVP最多可同时处理29个带纹理的尖刺球（每个约21.5万三角形），对应总三角形处理上限约为623万个。一旦超过此阈值，用户将因低帧率产生眩晕感。
机器人数字孪生相似精度
虽然高精度扫描模型多边形数量过大无法直接用于XR，但通过手动重拓扑生成的低多边形模型在牺牲少量精度的前提下，实现了临床可接受的空间匹配度。测量数据显示，数字孪生体与物理实体之间的平均尺寸差异仅为1.6毫米，对于一台尺寸约为90厘米×85厘米×180厘米的手术机器人而言，该误差可忽略不计。
物理系统对比
对比实验证实，ArticulationBody在处理外部垂直作用力时具有压倒性的数值稳定性。当受到垂直于关节运动方向的力时，ArticulationBody的最大Y轴偏差仅为0.01毫米，而传统Rigidbody偏差高达157.81毫米。在稳定时间方面，ArticulationBody的中位稳定时间为0.21秒，而Rigidbody则需要12.72秒才能将偏差收敛至峰值的5%以内，证明了前者更适合需要高刚性的手术机器人仿真。
交互系统性能
两种控制器均表现有效，但特性各异。线性反馈控制器在能量耗散（2.24秒）、稳定时间（2.44秒）及残余振荡幅度（0.006毫米）上均优于几何约束控制器（分别为4.80秒、3.14秒、1.20毫米）。这表明线性反馈控制器响应更迅速，但几何约束控制器免去了繁琐的人工增益调优过程，提供了开箱即用的稳定性。
讨论与结论
研究人员指出，本研究并非重构抽象的集成工作流，而是在实施层面对现有技术细节进行了现代化更新。通过从依赖先验CAD模型转向高保真3D扫描与重拓扑，并结合ArticulationBody物理系统与力基交互，解决了现代XR设备（如AVP）上多样化手术机器人系统的落地难题。虚拟手术室的建立直接解决了模块化机器人（如Dexter）带来的手术室布局复杂与团队协作障碍，允许团队在术前直观验证对接配置，避免术中耗时设备的重新定位。通过混合现实将规划结果投射至物理手术室，可将抽象计划转化为团队共享的具体路线图，从而减少沟通导致的安装错误。
尽管手动3D建模依赖专家经验限制了扩展性，但扫描模型提供了几何模板，降低了轻量化资产创建的难度。关于控制器的选择，取决于开发者对“精细调优”响应性与“开箱即用”稳定性之间的权衡。
局限性与未来工作
当前框架缺乏针对临床效用的实证评估。未来工作将聚焦于自动化模型生成流水线以提升可扩展性，并开展涉及不同经验水平外科医生的用户体验（User Experience, UX）研究，量化力基交互模型对学习曲线及术前规划时长的影响。具体方向包括：开展对比研究测量使用该框架前后的规划时间与满意度；探索从虚拟规划到物理执行的混合现实无缝过渡；评估力反馈系统在提升机器人操作熟练度方面的训练效果。
结论
本研究提供了一种现代化的RAS与XR集成框架，实现了从静态CAD模型向动态扫描衍生数字孪生体的转变。通过采用ArticulationBody架构与力驱动交互模型，研究达到了手术精度所需的运动学稳定性。其中，几何约束控制器消除了人工PD调优的需求，而基准测试方法确保了在AVP等移动XR硬件限制内的高性能仿真。这些进展使得混合现实环境下的数字手术室真实模拟成为可能，可用于个体化患者的RAS培训与术前规划，最终将提升手术室效率并加速下一代机器人技术的临床应用。
