MonoUNet：一种在便携式超声设备上用于自动膝关节软骨分割的鲁棒型小型神经网络

《Ultrasound in Medicine & Biology》：MonoUNet: A Robust Tiny Neural Network for Automated Knee Cartilage Segmentation on Point-of-care Ultrasound Devices

　　阿尔文·金博瓦（Alvin Kimbowa）| 阿尔君·帕尔马尔（Arjun Parmar）| 易卜拉欣·穆杰塔巴（Ibrahim Mujtaba）| 威尔·魏（Will Wei）| 马齐亚尔·巴迪（Maziar Badii）| 马修·哈基（Matthew Harkey）| 戴维·刘（David Liu）| 伊尔克·哈奇哈利洛格鲁（Ilker Hacihaliloglu）
加拿大不列颠哥伦比亚大学生物医学工程学院，温哥华

**摘要**
**目的**
开发一种强大且紧凑的深度学习模型，用于在床旁超声（POCUS）设备上自动分割膝关节软骨。

**方法**
我们提出了MonoUNet，这是一种新型的高度紧凑的分割模型，包括：
（i）显著减小的U-Net主干网络；
（ii）一个可训练的单基因块，从输入图像中提取多尺度局部相位特征；
（iii）一个门控机制，将这些特征注入编码器阶段，以降低对超声图像外观变化的敏感性。
使用Dice分数和平均表面距离（MASD）在多站点、多设备的膝关节软骨超声数据集上评估了MonoUNet的分割性能。通过Bland–Altman分析评估了MonoUNet与手动软骨结果（厚度和回声强度）之间的一致性，并使用类内相关系数（ICC2,k）评估了其可靠性。

**结果**
总体而言，MonoUNet的表现优于现有的轻量级分割模型，平均Dice分数介于92.62%到94.82%之间，MASD值介于0.133毫米到0.254毫米之间。与现有轻量级模型相比，MonoUNet的参数数量减少了10倍至700倍，计算成本减少了14倍至2000倍。MonoUNet的软骨分割结果具有出色的可靠性和一致性：平均厚度的ICC2,k=0.96，偏差=2.00%（0.047毫米）；回声强度的ICC2,k=0.99，偏差=0.80%（0.328 a.u.）。

**结论**
结合可训练的局部相位特征可以提高高度紧凑的神经网络在不同采集设置下的膝关节软骨分割的鲁棒性，并支持使用POCUS设备进行可扩展的基于超声的膝关节骨关节炎评估和监测。

**引言**
膝关节骨关节炎（OA）是全球最常见的关节疾病，影响超过6.5亿人，是成人致残的主要原因之一[1]。尽管其发病率很高，但膝关节OA目前尚无治愈方法，通常在晚期才被诊断出来，其病理生理学机制仍不清楚[2]。膝关节OA的特点是软骨的进行性退化和变薄，监测这些形态变化可能有助于在高风险人群（如先前有膝关节损伤的人和老年人）中实现早期检测[3,4]。
磁共振成像目前是膝关节OA早期成像的金标准[5]。然而，由于其高昂的成本和漫长的等待时间，它在常规膝关节OA筛查、频繁监测以及社区规模或纵向研究中并不实用[6]。相比之下，床旁超声（POCUS）是一种低成本、无创、便携且广泛可用的成像方式，能够可视化膝关节结构，包括软骨[6]。因此，POCU increasingly 被用于临床实践和膝关节OA研究，用于软骨评估、疾病进展分析和治疗反应评估[[7], [8], [9], [10]]。
准确可靠的软骨分割是临床和基于研究的膝关节OA超声分析的关键前提。然而，由于解剖学、物理因素和采集相关因素的综合作用，基于超声的分割仍然具有挑战性。与许多组织边界明确的成像方式不同，超声图像中的软骨界面往往边界不明确且平滑，而不是形成清晰的高对比度边缘[11,12]。这种内在的不确定性使得手动标注和自动分割都变得复杂。
此外，超声采集高度依赖操作者[9,13]。即使是轻微的探头操作变化，如微小的倾斜或入射角度变化，也可能导致可视化解剖结构的明显改变，包括软骨边界的部分丢失、变形或明显位移。采集参数（如频率、焦深、增益和成像预设）的差异也会引入额外的异质性。这些变化直接影响手动分割的一致性，并导致测量结果在评价者之间和评价者内部存在显著差异[14]。在现实世界的POCU工作流程中，这些问题更加突出，因为超声操作者的技术水平各不相同，采集条件也多种多样。
设备特定的图像形成流程差异加剧了这些问题。超声系统应用了专有的、通常未记录的内部处理步骤，包括波束成形策略、动态范围压缩、斑点特性和后处理滤波器。因此，不同设备的软骨结构外观和质量差异显著[15,16]。超声系统在硬件设计上也存在很大差异，从具有高质量图像的基于 Cart 的系统，到兼顾性能和便携性的便携式笔记本电脑系统，再到更注重可访问性的手持设备（这些设备通常图像质量较低，噪声较大[17,18]）。
在临床和研究环境中，实际部署的限制进一步促进了紧凑高效分割模型的发展。许多小型诊所、社区健康中心和研究站点由于成本、连接性、延迟和数据治理方面的限制，缺乏高性能计算基础设施或可靠的基于云的处理能力[19]。此外，研究活动通常需要便携式超声系统与平板电脑或轻量级工作站配合使用，在社区、门诊或现场环境中收集数据[19]。在这种情况下，分割算法必须能够在不需要依赖外部计算资源的情况下在本地高效运行。
因此，实时或近实时的推理在这两个领域都至关重要。在临床工作流程中，图像采集过程中的即时反馈可以支持质量保证和床旁决策。在研究环境中，实时分割可以实现标准化的数据收集，减少后处理负担，并提高大规模或纵向研究中不同操作者和站点之间的一致性。实现这些目标需要紧凑的神经网络架构，这些架构要能够抵抗超声变化的影响，同时保持计算效率，并适用于资源受限的边缘设备。
已经提出了多种基于深度学习的方法来自动化超声图像中的膝关节软骨分割[11,20,21]。然而，这些方法计算成本较高，且不符合POCU的部署要求，即需要在设备上完成推理，计算能力、内存和功耗效率有限。最近在医学成像领域的研究中提出了参数数量减少的轻量级神经网络架构，以实现高效的设备端性能[[22], [23], [24]]。然而，紧凑的架构本质上具有有限的表征能力，限制了它们直接从B模式超声强度数据中学习强大、不变特征的能力。因此，它们通常难以泛化到不同采集环境下的图像，从而限制了其临床应用价值。
为了解决这一限制，需要高效的对比度和强度不变特征表示方法。局部相位特征天然具备了这些特性[25]。与基于强度的表示方法不同，局部相位特征捕获的结构信息对增益、衰减、斑点统计和供应商特定的后处理不太敏感[26]。这些特性使得这些特征特别能够抵抗上述超声特定的挑战，并已被证明可以改善超声图像分析，包括膝关节软骨分割[11,13]。
在本文中，我们提出了MonoUNet，这是一种新型的高度紧凑的基于U-Net的架构，它结合了可训练的多尺度局部相位特征，用于在POCUS设备上进行稳健的膝关节软骨分割。MonoUNet通过门控机制将这些局部相位特征注入编码器的高分辨率阶段，以调整编码器特征，从而获得更稳健的结构信息。通过将局部相位信息明确嵌入网络，所提出的设计补偿了紧凑模型的有限特征提取能力，同时提高了对POCU主要变异来源的鲁棒性。我们在多站点、多设备的膝关节软骨超声数据集上对MonoUNet进行了广泛评估，以评估其性能。

**材料与方法**
图1展示了MonoUNet的总体架构。MonoUNet基于自配置的nnU-Net[27]框架中的U-Net主干架构，并进行了修改以缩小模型规模。这包括减少基础架构中的参数数量，使用Mono块加入可训练的局部相位特征提取器，并通过Mono门将这些特征注入U-Net编码器的高分辨率阶段。我们详细介绍了不同的架构组件。

**下载**：下载高分辨率图像（569KB）
**图1. MonoUNet架构概述。**
使用Mono块从输入图像中提取可训练的多尺度局部相位特征，并通过Mono门将其注入高分辨率编码器阶段，然后通过可学习的通道权重将这些特征与编码器特征融合。解码器的大小是编码器的一半。

**MonoUNetBase**
我们使用自配置的nnU-Net框架[27]获得了基础U-Net配置。基础U-Net大约有4600万个参数。然而，为了实现实时或伪实时的设备端推理，我们通过在实际测试POCUS设备图像处理流水线中不同大小的模型，确定了所需的模型大小小于3500个参数。因此，为了减小基础U-Net模型大小，我们首先将解码器不对称地减少为每个阶段一个卷积块（而不是编码器中的两个块），这一灵感来自残差nnU-Net配置[28]。然后，我们进一步按照Hassler等人的方法[29]将通道数量减半，使得所有阶段的特征通道数C=2保持不变（即C1=C2=C3=C4=C5=C6=C7=2）。我们将这种模型配置称为MonoUNetBase，它大约有1140个参数。作为比较，C=4的配置会产生一个具有4300个参数的模型，超过了所需的模型大小。

**Mono块**
Mono块使用由多个对数Gabor带通滤波器（LGFs）[30]组成的可训练单基因层从输入图像中提取局部相位特征。每个LGF由一个可学习的中心频率ω0、带宽参数σr和几何缩放因子r参数化，产生M个多尺度响应。公式（1）定义了给定尺度下的频域LGF响应：
(1)
LGF(ω,ω0,m,σr) = exp(?log2(|ω|ω0,m)2log2(σr))
其中ω=(ωx,ωy)表示2-D频率向量，ω0,m=ω0r?(m-1)是第m个尺度滤波器的中心频率，m=1,2,...M，r>1是学习得到的缩放因子。Mono块学习了k个这样的LGF，每个输入通道总共有Nf=k×M个特征。为了最小化添加的参数数量，我们根据经验结果将M设置为3，因为更多尺度并不会显著提高性能，并且符合最佳实践[31]。我们将k设置为编码器中注入局部相位特征的阶段数，即每个阶段学习一个LGF。根据经验，将特征注入较深层次会导致收益递减，因为这些层次已经丢失了大量结构信息。因此，我们将k设置为3，对应于高分辨率编码器阶段。

**Riesz滤波器**
随后将Riesz滤波器R1和R2应用于LGF滤波后的图像Ie，以获得单基因信号的平方分量，从中根据公式（2）提取局部相位特征Iθ：
(2)
Iθ(x,y) = arctan(IeIo1/2 + Io2/2)
其中Ie(x,y) = F?1{LGF⊙F{I}，Io1(x,y) = F?1{R1⊙F{Ie}}，Io2(x,y) = F?1{R2⊙F{Ie}}，R1(ωx,ωy) = iωxωx2 + ωy2，R2(ωx,ωy) = iωyωx2 + ωy2，I是输入图像，F是傅里叶变换，⊙是元素乘法，ωx和ωy分别表示水平和垂直频率分量。多尺度局部相位特征通过点对点（1 × 1）卷积相结合，使网络能够学习与尺度相关的相位响应加权，从而提取更丰富的表示。

**Mono门**
局部相位特征通过Mono门注入高分辨率编码器阶段。除了第一个编码器阶段外，相位特征首先使用平均池化降采样，以匹配相应编码器阶段的空间分辨率。在Mono门内部，使用点对点（1 × 1）卷积将相位特征投影到与相应编码器阶段相同的通道维度。然后使用通道加权求和将相位特征和编码器特征结合起来，允许网络通过可学习的权重α动态控制局部相位特征的贡献。

**数据集概述**
我们使用了四个私下收集的2-D超声膝关节软骨数据集，包括三个回顾性数据集（D0、D1和D2）和一个前瞻性数据集（D3），如表1所示。
**表1. 数据集概述：**
回顾性数据集（D0–D2）使用三种超声设备收集，前瞻性数据集（D3）使用一种超声设备收集。

| 数据集 | 地点 | 设备类型 | 设备数量 | 受试者数量 | 图像数量 |
| --- | --- | --- | --- | --- |
| D0 | ACL | GE LOGIQ P9 R3 | 15 | 136 | 15 |
| | | | 117 | | 87 |
| D1 | BPL | GE LOGIQ e20 | 56 | | 76 | | 58 |
| | | | 72 | | 22 |
| D2 | APH | Clarius HD3 L15 | 15 | | 71 | | a7 |
| | | | 1a | | 23 |
| | | | 42 | | 25 |
| D3 | CPH | iAtom Dual Head | 0 | | 14 | | 0 |
| | | | | 35 | | 19 |
| | | | | 32 | | 28 |
| | | | | 30 | | 87 |
| | | | | | | 30 |
| | | CB（基于Cart的超声系统） | | | | |
| | | PL（便携式笔记本电脑超声系统） | | | | |
| | | | | | | |

*注：D2的受试者是D0的子集，他们在同一访问中使用了GE LOGIQ P9 R3和Clarius HD3 L15进行成像。*
回顾性数据集来自35名接受前交叉韧带重建的患者和192名健康志愿者，在地点A和B使用3种超声设备收集。D0使用基于Cart的系统（GE LOGIQ P9 R3超声系统，配备L3-12-RS宽带线性阵列探头）收集；D1使用便携式笔记本电脑系统（GE LOGIQ e超声系统，配备12 MHz线性探头）收集；D2使用便携式手持式超声系统（Clarius HD3 L15）收集。一些健康受试者（n=71）在同一访问中同时使用了GE LOGIQ P9 R3和Clarius HD3 L15进行成像。受试者采取仰卧位，膝盖完全弯曲，换能器横向放置，使股骨髁间切迹位于中心位置。每个膝盖在固定深度4厘米的情况下获取三张图像。为了评估评分者间的一致性，招募了两名独立的注释者，并对他们进行培训，让他们重新标注随机选择的一部分回顾性图像（n=73张），同时对原始标注结果不知情。前瞻性数据集D3在站点C收集，以进一步评估MonoUNet在不同采集条件下的泛化能力。使用便携式手持系统（Viatom双头扫描仪）从一名健康志愿者处获取了四个超声视频（每个视频100帧）。数据采集遵循与回顾性数据集相似的协议，但在探头方向上进行了额外调整，包括故意倾斜探头以模拟次优的采集条件。

我们考虑了三种反映常见膝关节超声临床情况的实际训练场景：（i）能够访问使用高端超声设备获取的大规模、高质量标注数据集（D0），（ii）能够访问使用便携式笔记本电脑超声系统获取的小规模、中等质量数据集（D1），以及（iii）只能访问使用手持POCUS设备获取的有限、低质量数据集（D2）。在每种情况下，目标都是训练一个模型，使其能够泛化到其余数据集。

对于每个场景，数据被随机划分为训练集和验证集，比例为80/20。为了最小化由于随机划分和模型初始化导致的偏差，我们使用不同的随机种子重复了三次划分和训练过程，从而得到了三个独立训练的模型。然后分别在其余数据集上评估每个模型的泛化能力。

我们将图像大小调整至256×256像素，并进行了z分数标准化处理。为了鼓励Mono模块学习多尺度特征，我们使用了仿射旋转（±15°）和缩放（0.8?1.2），每次使用的概率为0.8。我们使用AdamW优化器对MonoUNet进行了1000个 epoch的训练，权重衰减为0.01，初始学习率为0.01，多项式学习率调度器的幂次为0.9，批量大小为8，并结合了二元交叉熵和Dice损失函数进行训练。我们选择了在验证集上Dice分数最高的模型作为最佳模型。我们还训练了现有的最先进的轻型深度学习模型，包括UNeXt [22]、CMUNeXt [34]、Med-NCA [23] 和 TinyU-Net [24]，作为与MonoUNet进行比较的基准。这些模型都是根据原始出版物中描述的开放源代码实现和训练协议进行训练的。所有实验都是在PyTorch 2.8 [35]平台上，使用单个NVIDIA Tesla V100（32 GB VRAM）图形处理单元上完成的。

我们使用Dice相似系数来评估MonoUNet的性能，该系数根据公式（3）计算空间重叠度。我们还使用Maier-Hein等人[36]的方法计算平均表面距离（MASD），以量化边界一致性，公式如下：
(3) Dice = (TP + FP) / (TP + FP + FN)
其中TP表示真正例，FP表示假正例，FN表示假负例。

表2、表3和表4以及图2和图4总结了分别在水D0、D1和D2上训练的MonoUNet和基准模型在跨数据集分割上的平均性能。表格还包括了与回顾性手动标注结果的一致性评估。

表2. 在D0上训练并在D1、D2和D3上评估的模型的跨数据集分割性能。结果以Dice和MASD（毫米）的平均值±标准差报告。
| 配置参数 (k) | FLOPS (G) | Dice | MASD |
|---------|---------|------|------|
| D1 | 147 | 1.94 | 4.59 |
| D2 | 70.02 | 9.13 | 5.88 |
| D3 | 147 | 1.94 | 6.84 |
| UNeXt [22] | 147 | 1.39 | 0.159 |
| Med-NCA [23] | 70.02 | 1.70 | 0.536 |
| CMUNeXt-S [34] | 70.02 | 1.55 | 0.822 |
| TinyU-Net [24] | 70.02 | 1.39 | 0.202 |

表3. 在D1上训练并在D0、D2和D3上评估的模型的跨数据集分割性能。结果以Dice和MASD（毫米）的平均值±标准差报告。

表4. 在D2上训练并在D0、D1和D3上评估的模型的跨数据集分割性能。

表5和图2显示了三种训练场景下MonoUNet的Dice分数分布。上排显示在D0上训练的模型，中间排显示在D1上训练的模型，下排显示在D2上训练的模型。

定量结果显示，MonoUNet的模型尺寸最小，具有1390个参数，计算成本为0.15 GFLOPs。这与次小模型Med-NCA（70,000个参数）相比参数数量少了12.5倍，计算效率比下一个高效模型CMUNeXt-S（2.18 GFLOPs）高出14.5倍。当在D0上训练时（表2），MonoUNet在所有测试数据集上的Dice分数介于93.02%到94.82%之间，MASD值低于0.21毫米，与D1和D2上的评分者间变异性相当。MonoUNet在所有指标上均优于所有基线模型，除了D2上的MASD，其中CMUNeXt-S和Med-NCA的分数略低（分别为0.127±0.061毫米和0.122±0.036毫米，而MonoUNet为0.146±0.070毫米）。尽管某些基线模型（如TinyU-Net和CMUNeXt-S）在个别数据集（如D1和D2）上表现不错，但在更强的领域变换下性能显著下降，特别是在D3上，TinyU-Net和CMUNeXt-S的Dice分数分别为57.89±16.24%和73.70±15.36%。

当在D1上训练时（表3），MonoUNet在所有指标上均优于所有基线模型，Dice分数介于93.09%到94.68%之间，MASD值低于0.255毫米，与D0和D2上的评分者间变异性相当。TinyU-Net在D0上的表现不错（Dice 93.57±2.61%，MASD 0.147±0.046毫米），但在D2上的表现显著下降（Dice 87.88±12.26%，MASD 0.190±0.190毫米），在D3上的表现则陷入崩溃（Dice 39.83±16.87%，MASD 1.218±1.244毫米）。

当在D2上训练（最低质量的数据集）时，MonoUNet的Dice分数介于92.62%到95.23%之间，相应的MASD值低于0.21毫米，仍与D0和D1上的评分者间变异性相当。MonoUNet在所有指标上均优于所有基线模型，除了D0上的MASD，其中UNeXt和CMUNeXt-S的分数较低（分别为0.116±0.062毫米和0.133±0.254毫米）。

图2显示了三种训练场景下Dice分数的分布。MonoUNet在所有训练-测试组合中始终表现出稳定且高的中位数Dice分数和狭窄的分布。相比之下，所有基线模型在不同场景下的性能分布变化较大，尽管它们在验证集上表现非常好（即图2的第一列）。

表5展示了MonoUNet各个模块的贡献。基础U-Net架构的Dice分数为93.84%，MASD为0.136毫米。将解码器大小减半对模型性能没有影响，但将模型大小减少了近40%（从4600万个参数减少到2700万个参数）。然而，通过进一步大幅度减少通道数量（MonoUNetBase），性能下降到Dice分数89.31%和MASD 0.218毫米。在第一个编码器阶段引入单一可学习尺度的Mono模块（MonoUNetE1）显著提高了性能，Dice分数达到92.07%，MASD为0.167毫米。但是，将单尺度特征注入多个编码器阶段（MonoUNetE123）会导致性能相对于MonoUNetE1下降。引入多尺度特征（MonoUNetE123V2）恢复了性能，Dice分数达到92.60%，MASD为0.177毫米。加入门控机制（MonoUNetE123V2Gated）后，性能进一步提高到了Dice分数92.68%，MASD为0.175毫米。最后，添加缩放和旋转数据增强（MonoUNetE123V2GatedDA）后，性能进一步提高，Dice分数达到94.14%，MASD为0.149毫米。总体而言，消融结果表明，多尺度特征整合和门控特征融合有助于提高分割精度。

图3显示了手动和MonoUNet分割得到的平均软骨厚度和强度结果的Bland–Altman图。对于平均软骨厚度，手动和MonoUNet分割之间的可靠性非常好，ICC2,k=0.96（95%置信区间[0.93,0.97]），平均偏差为2.00%（95%置信区间?8.86%至12.86%），比例偏差不显著（R2=0.030，p=0.030）。对于平均回声强度，手动和MonoUNet分割之间的可靠性也非常好，ICC2,k=0.99（95%置信区间[0.99, 0.99]），平均偏差为0.80%（95%置信区间?5.12%至6.72%），比例偏差不显著（R2=0.008，p=0.251）。

图4显示了三种训练场景下未见测试图像的代表性定性分割结果。MonoUNet的分割结果与手动标注非常吻合，即使在图像质量和采集条件具有挑战性的情况下也是如此（例如中间几行D1→D2和D1→D3）。相比之下，几个基线架构表现出部分分割、边界泄漏或片段化预测。这些定性观察与图2中显示的定量性能趋势和Dice分数分布一致。

现有轻型模型在膝关节软骨分割方面的跨设备泛化能力有限，如图2所示。当测试数据与训练数据匹配度较高时，它们的性能下降幅度较小。这在D0→D2和D2→D0这样的场景中很明显，因为这些数据集使用的是相同的受试者；而在D2→D3这样的场景中，由于图像质量相对相似，性能也保持稳定。然而，在更明显的领域变换下（如D1→D3），性能显著下降。相比之下，MonoUNet在所有训练场景中都保持了较高的分割精度和鲁棒性，尽管其参数数量少几个数量级。结果表明，MonoUNet在模型紧凑性、分割精度和对领域变换的鲁棒性之间取得了良好的平衡。

我们将MonoUNet的性能归因于可训练的局部相位特征的整合，这些特征强调了结构信息，这些信息对绝对强度和对比度变化的敏感度较低（图4）。这一特性与超声成像的物理原理相符，因为斑点噪声、增益和设备特定的处理可以显著改变图像外观，而不会改变潜在的解剖结构。消融研究（表5）进一步支持了这一解释，表明当结合相位特征和门控融合时，性能得到了一致的提升。

这些结果与利用超声图像分析中的局部相位信息的现有文献[25,26]一致，包括膝关节软骨分割[11,13]。然而，这些方法需要手动调整局部相位滤波器，这具有挑战性，需要专业知识，并且具有主观性。Moya-Sánchez等人[30]首次提出了探索用于自然图像分类任务的单基因滤波器学习方法。然而，他们的方法只学习了一个单尺度的单基因滤波器，并将其直接放置在深度学习网络的输入之前。相比之下，在MonoUNet中，我们学习了多尺度的局部相位特征，并将这些特征注入到多个编码器阶段中，以调节基础编码器的特征，而不是强迫模型仅依赖于局部相位特征。这种策略使模型能够在特征选择上更加灵活，我们发现它的性能更好（见表5）。尽管如此，未来的工作应该重点关注减少软骨厚度测量的变异性，以提高一致性。此外，还将研究其他基于相位的特征，如相位对称性、不对称性和一致性等，以及局部相位特征。另外，仍需要在不同的人群和设备上进行的大规模验证，以全面评估MonoUNet的泛化能力。

结论

我们提出了MonoUNet，这是一种专为POCUS设备中的自动膝关节软骨分割设计的超紧凑型神经网络。通过将可训练的局部相位特征集成到最小的U-Net框架中，MonoUNet在不同设备和采集条件下实现了稳健的分割性能，同时保持了在手持硬件上的实时推理能力。这些结果强调了明确编码结构先验在资源受限的医学成像应用中克服领域偏差的潜力，并支持了基于超声的膝关节骨关节炎评估的更广泛采用。

数据可用性声明

本文使用的数据集将在合理请求下提供。MonoUNet代码将通过以下链接提供：https://github.com/alvinkimbowa/monounet。

人类和动物权利

已获得收集数据的伦理批准，并且所有参与研究的个体都提供了知情同意。