《Computers & Graphics》：Energy-based haptic rendering for real-time surgical simulation
编辑推荐：
本文提出一种基于能量方法的触觉渲染系统，用于模拟刚性外科工具与软组织的高频交互及大变形。通过虚拟耦合机制，将工具与软体分解为物理与虚拟两套模型，利用弹性势能约束实现异步计算：低频（60-100Hz）GPU加速处理软体变形，高频（≥1000Hz）实时渲染触觉反馈，确保非穿透性和稳定力反馈，适用于按压、牵拉及插入等复杂手术操作模拟。
雷何|胡明波|修文莉|吴鸿宇|郑思明|李帅|钱东|郝艾民
北京航空航天大学虚拟现实技术与系统国家重点实验室，QRI & SCSE，中国北京100191
摘要
基于触觉的外科手术模拟被广泛用于培训外科手术技能。然而，模拟刚性手术器械与软组织之间的相互作用存在显著的技术挑战。在本文中，我们提出了一种基于能量的触觉渲染方法，以实现大变形和刚-软触觉交互。与现有方法不同，刚性工具和软组织都通过基于能量的虚拟耦合系统进行建模。软组织变形、工具-物体交互和触觉渲染的约束由势能定义。得益于基于能量的约束，我们可以实现复杂的外科手术操作，例如将工具插入软组织。软组织的虚拟耦合使得触觉交互可以分为两个部分：计算复杂度较高的软组织变形和高频触觉渲染。具有形状约束的软组织变形在相对较低的频率（60Hz～100Hz）下通过GPU加速，而触觉渲染则在另一个线程中以较高频率（≥1000Hz）运行。我们已经实现了两种常见外科手术操作的触觉模拟：按压和拉伸。实验结果表明，我们的方法可以在软组织大变形的情况下实现稳定的反馈力和工具与软组织之间的非穿透。
引言
基于虚拟现实的外科手术模拟是培训基本外科技能的强大工具。通过创建高度逼真的虚拟环境，外科医生可以在没有任何风险的情况下练习各种手术程序，从而提高他们的技术熟练度和决策能力。这种模拟技术不仅复制了真实手术的视觉和触觉反馈，还模拟了复杂的外科手术场景和意外情况，使医生能够在安全可控的环境中获得经验。
在虚拟手术模拟的背景下，手术工具与软组织之间的相互作用是模拟环境的一个基本方面。然而，模拟刚性工具与软组织之间的相互作用是一个重大挑战。这一难题源于需要同时实现高频触觉渲染和真实的软组织变形，而这尚未得到充分解决。解决这一问题对于提高虚拟手术培训平台的真实感和实用性至关重要。
力反馈是虚拟手术模拟中的关键要素，因为它提供了显著增强体验真实感的触觉感觉。研究表明，至少500 Hz的触觉渲染率是实现平滑自然人类感知所必需的[1]，而视觉更新通常只需要大约60 Hz。当前流行的方法，如基于力的触觉渲染[2]，通过减少可变形模型来实现实时刚-软交互。然而，这些方法无法实现与软生物器官相当的大规模变形。另一方面，基于位置的触觉渲染[3]通过硬性非穿透约束促进刚-刚交互，但在工具插入软组织之间的狭窄空间时经常失败——这是虚拟手术模拟中经常遇到的情况。
在本文中，我们提出了一种基于能量的虚拟耦合系统，以实现刚性工具与软组织之间的高频触觉交互。具体来说，由触觉设备直接控制的化身被称为物理工具。虚拟工具被定义为工具的非穿透姿态。同样，软体的模拟涉及两个相互连接的副本：物理软体和虚拟软体，通过虚拟耦合约束连接。我们系统的所有约束都由弹性势能定义。为了最小化系统的能量，我们采用投影动力学[4]来更新软体和手术工具的姿态。由于弹性势能是时间独立的，因此软组织变形和触觉渲染可以异步执行。这种灵活性允许高频工具位置更新和GPU加速的软组织变形。
本文的主要贡献包括：
- •
提供了一种具有平滑和高频触觉交互以及大变形的基于能量的模拟系统。
- •
一种使用虚拟耦合系统的新型软体模拟模型。
- •
一种具有虚拟耦合对象的模拟系统，以实现不同更新率系统之间的交互。
部分内容摘录
手术模拟
虚拟手术是一个新兴的跨学科领域，整合了各种复杂的学科。测量软组织的生物力学特性以在模拟系统中再现软组织的特性。组织的机械属性包括弹性、硬度或表观粘度。一些先前的工作[5]、[6]提供了测量软组织机械特性的方法。测量后，我们可以在虚拟手术中使用这些特性。
基于能量的虚拟耦合
我们的基于能量的虚拟耦合模拟系统以来自触觉设备的工具姿态信息和软体的3D模型作为系统的输入。在软体变形和手术工具移动后，系统将渲染软体和手术工具的虚拟副本，并向触觉设备输出反馈力。在本节中，我们将介绍模拟系统中的基于能量的虚拟耦合，包括虚拟耦合集和约束能量的定义。
异步模拟
软体与刚性工具之间的触觉交互是系统能量最小化的过程。在本文中，我们使用迭代优化分别更新软体的顶点和虚拟工具的6自由度（DOF）位置，以满足系统中的所有约束。
外科手术操作模拟
按压和拉伸软组织是最常进行的外科手术操作之一。我们的方法利用接触约束来实现软组织变形、触觉渲染以及手术工具与软组织之间的非穿透。在本节中，我们将详细阐述按压和拉伸操作的接触约束的构建。实验设置
软组织变形和触觉渲染使用C++和CUDA实现，而图形结果由OpenGL渲染。我们的系统使用两个经过改装的Geomagic Touch设备作为触觉接口，这些设备是配备了编码器的镊子。计算机由AMD 7700X处理器和NVIDIA RTX 3080ti显卡驱动。在物理单元数量较多的情况下，可以额外使用一个GPU来分担高频虚拟网格的计算负载。
结论
本文提出了一种用于实时虚拟手术模拟的基于能量的触觉渲染方法。通过基于能量的虚拟耦合系统对刚性手术工具和软组织进行建模，实现了复杂的触觉操作模拟，如软组织按压、软组织抓取和拉伸、工具插入软组织等。
这项工作有两个局限性：首先，它无法有效模拟刚体碰撞；其次，当物理单元数量较多时，
CRediT作者贡献声明
雷何：撰写——审阅与编辑、撰写——原始草案、验证、软件、方法论、调查、形式分析、概念化。
胡明波：验证、软件、方法论、调查。
修文莉：撰写——审阅与编辑、验证、监督、调查。
吴鸿宇：撰写——审阅与编辑、撰写——原始草案、验证、监督、项目管理、方法论、资金获取、概念化。
郑思明：验证、监督，
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：吴鸿宇报告称获得了山东省科技部的财务支持。郑思明报告称获得了浙江省科技部的财务支持。钱东报告称获得了山东省科技部的财务支持。如果有其他作者，他们声明：
致谢
这项工作部分得到了以下机构的支持：国家自然科学基金（项目编号：62132021）、山东省自然科学基金（项目编号：ZR2025MS1106）、山东省重点研发计划（重大科技创新项目）（项目编号：2025CXGC010604）、宁波市科技创新项目（项目编号：2024Z301）、广西科技创新计划（项目编号：GuiKeAA24206017）、联合基金科学技术计划。
