综述：基于图像的无传感器力估计在机器人辅助医疗干预中的综述

《Neurocomputing》：A Review of Image-Based Sensorless Force Estimation in Robotic-Assisted Medical Interventions

基于图像的力估计方法在手术机器人中的应用与挑战

　　

潘明章|王奎|杜刚|马春|李满天|梁凯

广西大学机械工程学院，中国南宁530004

摘要

外科机器人的最新进展凸显了准确感知力反馈的关键重要性。目前，机器人实现力反馈主要依赖于力传感器，但在外科机器人领域使用力传感器存在许多限制。因此，研究人员开展了基于图像的力估计方法研究，特别是将深度学习与视觉相结合的方法。这些基于图像的力估计方法由于在机器人手术中的巨大潜力而受到越来越多的关注。因此，本文旨在回顾和总结这些基于图像的力估计方法，指出该领域当前面临的挑战和未来的发展趋势，激励更多研究人员投身于这一研究领域，并促进该领域的进一步发展。

引言

在医疗保健领域，机器人技术在多个应用中发挥着重要作用，包括康复机器人、外科机器人、辅助治疗技术、主从遥测、微创介入机器人和假肢机器人[1]、[2]、[3]、[4]。图1展示了分别应用于不同临床专业的机器人平台（如神经外科、骨科、腹腔镜手术、血管外科、内腔手术等）。触觉技术是医疗机器人的重要组成部分，因为患者的软组织和器官对力和变形非常敏感。通过触觉反馈，可以传递有关患者软组织、器官和病变区域的宝贵信息，如位置、硬度、纹理、深度和大小。外科医生必须准确感知作用在软组织和器官上的力，并确保在手术过程中与手术器械的安全接触[5]、[6]。图2展示了在外科机器人中设计具有触觉反馈系统时遇到的困难和挑战，包括反馈模式、界面设计和器械选择等方面。研究表明，使用配备力反馈的外科机器人可以将软组织损伤、术后并发症和手术错误减少高达60%[7]。此外，这种技术还可以帮助减轻医疗提供者的手术压力，并缩短新外科医生使用该设备的学习曲线[8]、[9]。然而，值得注意的是，大多数市售的外科机器人并不向外科医生提供触觉反馈，这是当前技术的一个局限[10]。

由于研究和开发的进步，目前主要的力测量方法涉及使用传感器，这可以通过两种方式实现：直接方法和间接方法。在直接方法中，力传感器位于器械的尖端，直接接触患者的软组织；而在间接方法中，力传感器远离患者的软组织[11]。尽管传感器通常提供非常准确的力数据，但在人体狭小空间内操作的外科机器人面临一些挑战。这些限制包括由于工作空间有限而导致的传感器安装限制，以及寻找合适安装位置的复杂性[12]。此外，温度和湿度的变化可能会影响传感器的准确性。因此，传感器需要体积小巧、具备足够的绝缘和防水性能，并且具有生物相容性，以避免感染或组织排斥[13]、[14]。这些严格的要求导致力检测传感器在外科机器人应用中的使用频率较低，因为相关成本较高[15]、[16]。此外，手术工具的灭菌过程涉及高温、高压和高湿度的环境，可能会损坏传感器。因此，每次灭菌后都需要对传感器进行校准，以确保其性能准确[17]。

为了规避传感器带来的各种问题，许多研究转向了无传感器力估计方法，该方法利用视觉图像信息来估计接触力。目前，图像信息的使用主要集中在两个方面。一是利用图像信息建立软组织模型，实时模拟软组织的形状，从而方便地获得软组织的变形，然后建立软组织变形与接触力之间的关系。这种方法在物理上是可以解释的，不需要大量的标记数据，适用于微创手术和细胞穿刺等结构化场景中的实时反馈。然而，它通常依赖于简化的机械假设（例如线性弹性、体积不变性），这些假设可能无法完全捕捉生物组织的非线性、粘弹性和各向异性特性，其准确性受先验参数校准和图像质量的影响。另一种方法是利用图像特征或其他信息，通过深度学习持续训练来获得特征与力之间的关系。这种方法基于数据驱动，可以在没有显式物理建模的情况下学习复杂的非线性映射，具有很强的适应性，能够适应动态和异质的组织相互作用。然而，它通常需要大量的标记数据进行训练，容易受到图像质量变化的影响，并且缺乏深度信息，可能在不同组织类型和手术器械之间的泛化能力有限。这两种方法的本质都是利用视觉图像信息来估计接触力，从而实现无需使用力传感器即可获取力信息的目标。本研究深入探讨了为医疗领域宏观机器人定制的基于图像的力估计技术，概述了它们的现状和已识别的挑战，并提出了未来发展的潜在途径。本文的结构如下：第二章主要介绍基于图像的力估计方法的准备工作，第三章介绍并总结了各种研究人员提出的力估计方法，第四章总结并讨论了基于图像的力估计面临的挑战和未来发展趋势，第五章对本文进行了总结。

部分摘录

力估计方法的初步准备

在基于图像的力估计问题中，图像数据的获取和处理以及软组织模型的建立是力估计的重要准备，这些与力估计的实时性和准确性密切相关。因此，本章将描述图像数据获取、图像处理和软组织建模的三个方面，以便读者更好地理解后续章节，并对整体有一个清晰的认识

医疗应用中的基于图像的力估计

机器人力感知和评估是一个让研究人员充满热情的技术领域，因为它显著影响了机器人与物理世界的安全交互[53]，以及人机交互。特别是在医疗领域，触觉反馈的关键作用在于精确评估机器人对患者施加的力，这对于防止机器人对患者身体造成伤害至关重要[54]、[55]。目前，

总结与讨论

本节深入探讨了迄今为止用于可变形物体建模和基于图像的力估计的方法的优势和劣势。基于前几节的内容，本讨论将对各种技术进行深入分析，突出它们的优点和局限性。

结论

本文回顾了基于图像的力估计技术的最新进展，特别关注机器人辅助手术。讨论并总结了可变形物体建模方法、基于模型的力估计方法和基于学习的力估计方法。除了某些通过公式数值计算接触力的基于模型的力估计方法外，大多数方法都是通过神经网络来实现接触力的估计，力估计结果的准确性

作者贡献声明

潘明章：撰写 – 审稿与编辑。王奎：撰写 – 原始草稿。杜刚：研究。马春：项目管理。李满天：资源协调。梁凯：软件开发。

利益冲突声明

作者声明他们与本文的发表没有利益冲突。

致谢

本研究得到了国家自然科学基金（项目编号U23A202599）的支持。

利益声明

我们声明与本工作没有财务利益冲突。

潘明章于2014年在中国天津大学获得动力机械与工程博士学位。2014年至2016年，他在天津大学担任博士后研究员；2017年至2019年，他在中国杭州的浙江大学担任博士后研究员。自2016年以来，他一直在广西大学机械工程学院从事教学和科学研究工作。他的研究兴趣主要包括