CMANet：一种用于手术阶段在线识别的TCN-RMamba-Attention网络

《IEEE Transactions on Circuits and Systems for Video Technology》：CMANet: A TCN-RMamba-Attention Network for Surgical Phase Online Recognition

提出融合时空特征的三阶段模型CMANet，通过TCN和RMamba提取空间特征，结合差分注意力机制优化预测，有效解决手术阶段识别中的相位抖动和计算效率问题，并在两个基准数据集上验证其有效性。

　　

摘要：

手术阶段识别是辅助治疗中的关键技术，有助于医生提高手术效率并进行术后评估。目前，深度学习方法已被广泛应用于手术阶段识别任务。然而，仅依赖空间特征的方法容易受到阶段波动的影响。值得注意的是，基于时间卷积网络（TCN）、Transformer或Mamba的方法在处理时间特征方面表现出显著的效果。尽管如此，现有方法仍面临几个挑战：1）目前还没有一种方法能够同时整合上述三种方法以利用它们的各自优势；2）之前的注意力机制主要通过局部注意力、稀疏注意力和下采样来降低计算成本，这可能会无意中影响注意力的性能。为了解决这些问题，我们提出了一个TCN-Residual Mamba（RMamba）-Attention Network（CMANet），它包括两个关键组成部分：空间特征提取和预测。我们的主要创新在于预测部分，该部分进一步分为两个预测阶段。两个预测阶段采用相同的结构，有机地整合了TCN、RMamba和差分注意力（DA）机制。TCN和RMamba在长序列建模中表现出线性复杂性，并以更低的成本实现了更好的性能。相比之下，DA采用差分机制大幅降低了计算成本，同时在需要强大应对能力或上下文学习能力的长序列任务中表现出更优的性能。所提出方法的有效性已在两个手术阶段识别基准数据集上得到了验证，实验结果证明了其有效性。

引言

手术室（OR）中的干预措施（CAI）可以帮助医生提高治疗过程的质量[1]、[2]、[3]。与手术动作三元组识别[4]类似，阶段识别[5]和工具存在检测对于CAI至关重要，它们可以实现具有上下文意识的术中监测和手术技能评估。值得注意的是，手术阶段识别是一种比手术动作三元组识别更高级别的手术工作流程。手术阶段识别和工具存在检测的自动化可以减轻临床医生在术中和术后期间的繁重和繁琐任务。术中手术阶段识别的作用包括：（1）为医生提供临床决策支持，例如目标结构或风险结构的自适应可视化；（2）监控手术工作流程，以便早期自动检测错误和偏差；（3）实现具有上下文意识的手术机器人控制，例如机器人摄像机的操作或机器人清洁护士的协助；（4）促进实时手术室调度，以提高医院效率，例如提前为后续患者做好准备[6]。术后手术阶段识别的作用包括：（1）记录手术过程并生成部分填充的手术报告；（2）识别手术视频中的关键步骤以供记录，例如在胆囊切除术中确保切割关键结构的安全性的关键视角；（3）为手术培训生创建教育材料；（4）利用统计建模来量化和比较手术工作流程，从而优化材料和人力资源的使用并标准化流程。