PEYOLO：一种基于多级感受野特征提取和跨尺度融合的手腕骨折检测网络

《Frontiers in Medicine》：PEYOLO: a wrist fracture detection network based on multi-level receptive field feature extraction and cross-scale fusion

　　摘要

引言：手腕是骨骼系统中创伤性损伤的高发部位，在临床实践中，对骨折的快速准确诊断至关重要。然而，骨折的复杂多尺度变化阻碍了对手腕骨折的精确检测。

方法：为了解决这个问题，本研究提出了一种新的手腕骨折检测模型PEYOLO，该模型基于多级感受野特征提取和跨尺度特征融合。首先，我们设计了一个并行扩张多头注意力模块（PDMAM），它在不同的感受野下进行稀疏采样，以在同一层内同时获得不同尺度的感受野。其次，我们引入了一个高效的多尺度注意力模块，通过融合多尺度空间信息和跨维度依赖性来增强对多尺度骨折特征的感知。

结果：在 GRAZPEDWRI-DX-骨折数据集上的实验结果表明，PEYOLO 的 mAP 比基线模型提高了 1.4%，并且优于几个最先进的物体检测模型。

讨论：PEYOLO 显示出了极高的精度和推理速度，使其成为临床诊断和治疗规划的重要工具。

1 引言
手腕是人类骨骼系统中创伤性损伤最常发生的部位之一，尤其是在儿童和老年人中，手腕骨折的发病率非常高（1）。随着医学成像技术的广泛使用，X射线成像已成为诊断手腕骨折的首选方法（2）。然而，由于骨折类型的多样性、复杂的形态以及 X 射线图像中的骨骼重叠和高背景噪声等问题，准确检测骨折区域仍然是一项具有挑战性的任务（3）。传统的诊断依赖于放射科医生的手动解释，这既耗时又容易受到主观经验的影响，难以满足临床对快速准确诊断的需求。此外，近年来影像检查的急剧增加显著增加了医生的工作负担。急诊医生经常在高负荷和高压力下工作，从而增加了漏诊或误诊骨折的风险。因此，开发高效可靠的自动化计算机辅助诊断方法对于提高诊断准确性和提高手腕骨折评估的临床工作流程效率具有重要意义。随着人工智能的进步，机器学习和深度学习方法已广泛应用于医学辅助诊断（4）。传统的机器学习方法主要依赖于手动设计的特征与传统的机器学习分类器的结合。这些方法对于目标形态的多样性、亮度对比度的变化敏感，并且泛化能力有限。相比之下，深度学习模型通过端到端的多层神经网络自动学习高度区分性的特征表示，有效捕获目标的全局和局部上下文信息，从而显著提高了模型的性能和鲁棒性（5）。近年来，基于深度学习的物体检测技术，特别是 YOLO 系列，在医学图像分析中显示出了巨大的潜力（6）。YOLO 模型采用端到端的检测方法，在保持实时性能的同时实现了高检测精度，并广泛应用于各种医学成像任务，包括骨折、肺结节和脑出血的检测。对于手腕骨折检测，X-YOLO 引入了一个轻量级的 HGNetV2 底盘和 DySample 动态上采样模块，将参数数量减少到 7.0 M，同时保持了检测精度（7）。YOLOv8-AM 将全局上下文（GC）注意力机制融入 YOLOv8 中，有效提高了骨折检测精度（8）。尽管这些方法取得了一些进展，但它们仍然忽略了手腕骨折的多尺度形态变化，这限制了检测精度。为了解决这个问题，本研究提出了一种新的手腕骨折检测模型 PEYOLO，该模型基于多级感受野特征提取和跨尺度特征融合。以 YOLO11n 作为基准，我们设计了 PDMAM，在不同的感受野下进行稀疏采样，以在同一层内同时获得多尺度特征。同时，我们引入了 EMA 模块（9）来增强模型对多尺度骨折特征的感知。本研究的贡献如下：
(1) 我们提出了 PDMAM 模块，通过分组扩张采样实现多级感受野特征提取，提高了模型对不同尺度骨折的适应性。
(2) 我们引入了 EMA 模块，融合了多尺度空间信息和跨维度依赖性，增强了模型的特征表示能力。
(3) 我们提出了一个新的手腕骨折检测模型 PEYOLO。在手腕骨折数据集上的广泛实验验证表明，PEYOLO 在 mAP 方面优于先进的模型，证明了其有效性和鲁棒性。

2 相关工作
2.1 YOLO
物体检测是计算机视觉中的核心任务之一，旨在定位和识别图像中的感兴趣对象（10）。近年来，基于回归范式的 YOLO（You Only Look Once）系列模型由于其快速检测速度、高精度和易于部署等优点，已成为物体检测的主流框架之一（11）。在原始 YOLO（12）的基础上，YOLOv2（13）和 YOLOv3（14）引入了锚框、Darknet-53 底盘和多尺度预测机制，显著提高了小物体检测能力。随后，YOLOv4（15）和 YOLOv5（16）系统地整合了 CSPNet、Mosaic 数据增强等技术。YOLOv6（17）引入了自我蒸馏策略和高效的硬件感知网络设计，为模型轻量化提供了一个范例。YOLOv7（18）采用了动态标签分配和可训练的袋装免费策略，显著提高了模型精度，而无需增加推理成本，证明了仅优化训练过程就能带来性能飞跃。从 YOLOv8（19）开始，Ultralytics 统一了检测、分割、姿态估计和分类的框架，强调了模块化和可扩展性。YOLOv9（20）通过引入可编程梯度信息（PGI）和通用高效层聚合网络（GELAN）解决了深度网络中的信息瓶颈问题。YOLOv10（21）专注于消除检测器中固有的后处理依赖性，通过一致的双重分配机制大幅提高了端到端部署效率。后续版本（22–24）进一步优化了底盘的特征提取能力和特征金字塔结构，并通过更精细的损失函数设计和数据增强策略提高了模型精度。
2.2 骨折检测
骨折检测是计算机辅助诊断（CAD）系统中的一个重要研究方向（25）。早期方法主要依赖于手工制作的特征与传统的机器学习分类器的结合来识别骨折区域（26）。这些方法对光照变化、角度和骨骼形态的变化敏感，并且泛化能力有限。随着深度学习的普及，基于深度学习的物体检测模型逐渐成为骨折检测的主流方法（27）。一些研究人员采用了两阶段检测器，如 Faster R-CNN（28）进行研究，但由于计算成本高，限制了它们在紧急场景中的实时部署。其他研究使用了单阶段检测器，如 YOLO，在实时要求高的临床场景中更具优势。在手腕骨折检测方面，研究人员基于 YOLO 系列进行了广泛探索。Hr?i? 等人使用 YOLOv4 成功提高了儿科手腕 X 射线图像中的骨折检测精度（29）。X-YOLO 引入了一个轻量级的 HGNetV2 底盘和 DySample 动态上采样模块，将参数数量减少到 7.0 M，同时保持了检测精度。YOLOv8-AM 将全局上下文（GC）注意力机制融入 YOLOv8 中，有效提高了骨折检测精度。然而，现有方法忽略了手腕骨折的多尺度形态变化，使得同时捕捉小裂纹和大尺度骨骼形态变得困难。基于此，我们提出了 PEYOLO 模型，该模型结合了多级感受野和跨尺度融合，进一步提高了手腕骨折检测的准确性和鲁棒性。

3 方法
3.1 概述
PEYOLO 以 YOLO11n 为基准，由三个部分组成：底盘、颈部和头部。底盘基于 YOLOv11n 引入了 PDMAM，通过在不同感受野下进行稀疏采样来获得多级感受野特征。颈部引入了基于特征金字塔网络（FPN）和路径聚合网络（PANet）的 EMA，通过跨尺度特征融合增强了模型的多尺度感知能力。检测头部由三个检测头部组成。网络架构如图 1 所示。

图 1 我们 PEYOLO 的架构示意图。

3.2 并行扩张多头注意力模块
手腕 X 射线图像中的骨折检测面临目标尺度变化大的挑战：细微的撕脱性骨折可能只占几十个像素，而粉碎性骨折可以覆盖大面积（30）。传统的局部注意力使用固定的窗口大小，难以同时捕捉小裂纹和大尺度骨骼形态。尽管全局注意力可以覆盖整个图像，但其计算成本随着分辨率的增加而呈二次方增长，给计算带来了沉重的负担。为了解决这个多尺度问题，我们设计了并行扩张多头注意力模块，它在不同的感受野下进行稀疏采样，以在同一层内同时获得不同尺度的感受野。其网络结构如图 2 所示。

图 2 我们的 PDMAM 的架构示意图。
给定一个输入特征图 FF，PDMAM 首先重塑维度以进行卷积操作，然后进行层归一化以获得 Z=LN(F)。随后，ZZ 被输入到多头扩张局部注意力模块（MDLA）中。MDLA 将注意力头分为 G 组，每组使用不同的扩张率 dg(g=1,...,G)，使不同的头部能够关注不同尺度的空间邻域。具体来说，输入 ZZ 通过 1 × 1 卷积映射到查询、键和值张量 [Q,K,V]∈RB×H×W×3C，然后沿通道维度分成 G 组，得到 Qg,Kg,Vg∈RB×H×W×(C/G)。对于第 g 组，使用扩张率 dg 对键和值进行稀疏采样，并进行 3 × 3 卷积（公式 1, 2）：
Klocalg=Unfold(k,dg(Kg) (1)
Vlocalg=Unfold(k,dg(Vg) (2)
其中 Unfold 操作将每个位置的局部邻域展开为一个向量。同时，我们将查询重塑为 Qg∈RB×(C/G)×1×HW。设每个注意力头的维度为 dh=C/Nh（其中 Nh 是头部的总数）。然后第 g 组的注意力输出如公式 3 所示：
Og=Softmax(Q?gKlocalg/√dh) Vlocalg∈RB×H×W×(C/G) (3)
所有组的输出沿通道维度连接，然后线性投影以获得 MDLA 的最终输出（公式 4）：
MDLA(Z)=Linear([O1,,,,OG]) (4)
最后，通过随机深度残差连接获得 PDMAM 的输出（公式 5）：
Xout=X+DropPath(MDLA(Z)) (5)
不同的扩张率直接控制每个查询位置采样的空间范围。通过并行计算多组具有不同扩张率的注意力，PDMAM 在单个模块内同时获得细粒度和粗粒度的特征表示，有效缓解了固定感受野检测不同尺度骨折目标的限制。

3.3 高效多尺度注意力
骨折的形态表现受到多种因素的影响，如骨折类型和位移程度，导致骨折区域的成像尺度存在显著差异（31）。这种固有的多尺度特性对准确检测骨折提出了挑战。为此，本研究引入了 EMA 模块，通过融合多尺度空间信息和跨维度依赖性来增强对多尺度骨折特征的感知。其网络结构如图 3 所示。

图 3 EMA 的架构示意图。
具体来说，对于输入特征图 F∈RH×W×C，EMA 首先沿通道维度将其划分为 G 个子特征以学习不同的语义信息并降低计算成本。每个子特征随后通过两个 1 × 1 卷积分支和一个 3 × 3 卷积分支来探索多尺度空间依赖性。在 1 × 1 分支中，分别沿水平和垂直方向进行一维全局平均池化，得到水平和垂直特征 zHc 和 zWc。这些特征连接在一起，通过 1 × 1 卷积和 Sigmoid 激活函数，生成用于加权原始特征的通道级注意力权重（公式 6）：
FR=δ(Conv1×1(Concat(zHc,zWc)))?F (6)
其中 σ 表示 Sigmoid 激活函数，Concat 表示特征连接，? 表示元素级乘法。在 3 × 3 分支中，EMA 捕捉局部跨通道交互，输出特征如公式 7 所示：
FConv3×3=Conv3×3(F) (7)
随后是跨空间学习阶段。对 1 × 1 分支增强特征 FR 和 3 × 3 分支特征 FConv3×3 应用全局平均池化，融合长距离和局部多尺度上下文信息。计算过程如公式 8 和 9 所示：
z1=1H×WH∑jW∑iFR(i,j) (8)
z3=1H×WH∑jW∑iFConv3×3(i,j) (9)
在对池化结果应用 Softmax 之后，进行矩阵乘法生成两个像素级注意力图，然后进行元素级乘法， followed by a Sigmoid 激活函数以获得空间注意力权重。最终，注意力权重与原始的分组特征逐元素相乘，以完成空间增强，得到输出（公式10）：
Out = δ(δ(z1) × δ(z3)) ? F

通过捕捉不同尺度的空间特征并融合多尺度空间信息，EMA有效地增强了模型对多尺度目标的感知能力。

4 结果与讨论
4.1 实验设置
为了确保所有比较实验的公平性以及结果的可重复性，本节详细介绍了所有模型使用的硬件平台、软件环境和特定训练参数。

4.1.1 硬件和框架
实验平台采用了NVIDIA GeForce RTX 4090（24 GB）GPU。所有实验均使用Python 3.8.10和PyTorch 2.0.0（cu118）深度学习库来实现。为了确保所有比较模型都在相同的训练程序下进行评估，所有实验统一采用了Ultralytics 8.3.160代码框架。

4.1.2 训练参数
所有参与实验的模型都使用一致的超参数进行训练。在训练策略方面，每个模型都是从零开始训练的，没有加载任何来自外部数据集的预训练模型。批量大小设置为16，训练周期数为100。所有模型都使用AdamW优化器进行训练，初始学习率为0.002，动量为0.9。在我们的PDMAM实现中，总共有4个注意力头。这些头根据膨胀率分为G = 2组，每组包含2个头。两组的膨胀率分别设置为d∈{1,2}，使模型能够捕捉到局部细粒度特征（膨胀率=1）和更大的上下文模式（膨胀率=2）。展开核大小为k=3。DropPath随机深度率为0.1。在EMA中，G=8。

4.2 数据集
GRAZPEDWRI-DX（32）数据集收集了奥地利格拉茨大学医院在2008年至2018年间收集的6,091名患者的20,327张儿童手腕受伤的X光图像。由于本研究专注于手腕骨折，我们从GRAZPEDWRI-DX数据集中选择了所有骨折图像来创建GRAZPEDWRI-DX-fracture数据集。
GRAZPEDWRI-DX-fracture数据集包含13,550张图像。为了防止数据泄露，我们按患者ID（文件名的前四位数字）对图像进行了分组。然后，我们将70%的患者（9,485张图像）分配到训练集，10%（1,355张图像）分配到验证集，20%（2,710张图像）分配到测试集。

4.3 评估指标
遵循物体检测领域的惯例，本研究采用精确度（P）、召回率（R）和平均精确度（mAP）作为评估指标，以全面客观地评估PEYOLO和所有比较模型的性能。

精确度衡量模型预测为正的样本中，有多少是真正例。召回率衡量所有实际正样本中，有多少被模型成功预测。它们的计算公式分别如下：
Precision = TP / (TP + FP) （公式11）
Recall = TP / (TP + FN) （公式12）
其中TP（真正例）表示正确检测到的目标，FP（假正例）表示误检测（将背景识别为目标），FN（假负例）表示未检测到的真实目标。

mAP50是评估模型整体性能的核心指标，定义为当IoU（交并比）阈值固定为0.5时的mAP值。它直接反映了模型的检测能力。

4.4 对比实验
为了全面评估所提出的PEYOLO模型的性能，我们将其与几种先进的基于YOLO的物体检测器进行了比较，包括YOLOv5、YOLOv6、YOLOv8、YOLOv9、YOLOv10和基准YOLO11。所有模型均在GRAZPEDWRI-DX-fracture数据集上进行了相同的实验设置下的训练和测试。表1和表2分别报告了验证集和测试集的定量结果。

表1
模型 Precision Recall mAP
YOLOv5 91.38 5.99 3.4
YOLOv6 91.18 8.39 4.2
YOLOv8 91.78 6.69 3.8
YOLOv9 92.58 7.19 4.0
YOLOv10 92.88 5.19 3.4
YOLO11 91.38 6.19 3.6
YOLOv8ResCBAM (33) 91.68 7.59 4.4
YOLOv8-AM 91.98 7.29 4.5
Gold-YOLO (34) 91.88 8.29 3.9

表2
模型 Precision Recall mAP
YOLOv5 92.08 6.39 3.8
YOLOv6 91.98 8.69 4.1
YOLOv8 92.68 7.89 4.4
YOLOv9 92.28 8.59 4.5
YOLOv10 92.58 6.89 4.0
YOLO11 91.88 8.29 4.1
YOLOv8ResCBAM 93.18 8.39 5.1
YOLOv8-AM 93.08 8.49 5.0
Gold-YOLO 92.18 8.49 4.4

与先进方法的比较（验证集）。

如表1所示，PEYOLO在验证集上取得了最高的召回率（89.2%）和mAP（94.8%），优于所有比较方法。与基准YOLO11相比，PEYOLO的召回率提高了3.1个百分点，mAP提高了1.2个百分点，显示出其更强的检测真正例骨折的能力。这种召回率的提高意味着每1000张手腕X光片遗漏的骨折数量大约减少了31例。尽管YOLOv10的精确度最高（92.8%），但其召回率相对较低（85.1%），表明其检测策略较为保守，可能会遗漏一些骨折。值得注意的是，YOLOv8ResCBAM和YOLOv8-AM也表现出有竞争力的性能，mAP值分别为94.4%和94.5%，但在召回率和整体mAP方面仍低于PEYOLO。Gold-YOLO虽然召回率为88.2%，但在mAP方面落后（93.9%）。相比之下，PEYOLO在精确度和召回率之间取得了更好的平衡。

在测试集上（表2），PEYOLO再次超过了所有其他模型，达到了最高的精确度（93.3%）、召回率（89.0%）和mAP（95.5%）。与YOLO11相比，PEYOLO的精确度提高了1.5%，召回率提高了0.8%，mAP提高了1.4%。在最先进的方法中，YOLOv8ResCBAM和YOLOv8-AM también获得了有竞争力的结果，mAP值分别为95.1%和95.0%，且精确度均超过93%。然而，它们的性能指标都低于PEYOLO。尽管Gold-YOLO保持了合理的召回率（88.4%），但在mAP和精确度方面有所欠缺。这些结果一致表明，所提出的PDMAM和EMA模块有效地增强了模型处理多尺度骨折的能力，从而提高了检测准确性和鲁棒性。

为了更全面地展示所提出方法在实际临床环境中的实用价值，我们评估了改进前后的模型参数和推理时间，结果如表3所示。结果表明，改进后的PEYOLO模型只有280万个参数，推理时间为7.1毫秒，仅比基准模型增加了100万个参数和0.3毫秒。尽管参数和推理速度略有增加，但鉴于PEYOLO在检测准确性方面的显著提高，这种最小的计算成本仍在临床可接受的范围内。这些结果表明，所提出的改进提高了模型在临床环境中的性能，而不会过度增加模型的复杂性，显示出强大的实用性和部署潜力。

表3
模型 参数 推理时间
YOLO11 2.7百万 6.8毫秒
PEYOLO 2.8百万 7.1毫秒

为了评估我们结果的稳定性和统计显著性，我们对PEYOLO和次优模型（YOLOv8-AM）重复了三次实验。表4报告了每个指标的平均值和标准差。在验证集上，PEYOLO的平均mAP为94.87%，标准差为0.06%，始终优于YOLOv8-AM。在测试集上，PEYOLO的平均mAP为95.47%，标准差为0.06%，始终优于YOLOv8-AM（94.97%±0.25%）。对PEYOLO和YOLOv8-AM的测试集mAP值进行独立的双样本t检验，得到的p值<0.05，表明改进具有统计学显著性。所有指标的小标准差表明，我们提出的模块提供了稳定可靠的性能提升。

表4
模型 Precision_v Recall_v mAP_v
YOLOv8-AM (1) 91.98 7.2 94.5 93.0
YOLOv8-AM (2) 92.38 8.8 94.6 93.0
YOLOv8-AM (3) 91.88 8.3 94.4 92.7
PEYOLO 91.58 92.8 94.9 93.3

表4还显示了多次实验比较的结果。

图4展示了PEYOLO和基准YOLO11在训练过程中的mAP曲线和损失曲线。如图4A所示，PEYOLO的mAP在整个训练过程中始终高于基准模型，并且收敛更快。值得注意的是，在前20个周期内，PEYOLO的mAP上升速度显著快于基准模型，表明PDMAM和EMA模块有效地加速了模型对多尺度骨折特征的适应。从图4B的损失曲线可以看出，PEYOLO的训练损失和验证损失都降到了更低的值，表明所提出的模块具有很强的泛化能力。

图4
(A)显示了mAP的比较，(B)显示了损失的比较。

4.5 模块消融研究
为了进一步展示每个模块的贡献，我们在验证集和测试集上进行了消融实验。实验结果分别列在表3和表4中。

表5显示了在验证集上的消融结果。单独引入EMA模块将验证集上的召回率从86.1%显著提高到了88.3%，mAP从93.6%提高到了94.4%。这表明EMA通过跨空间学习和多尺度信息融合有效地增强了模型对骨折区域的敏感性。具体来说，EMA模块中1×1分支的水平和垂直全局池化捕获了长距离依赖性，而3×3分支保留了局部细节；两个分支的协同效应显著提高了特征的区分能力。在EMA的基础上进一步添加PDMAM模块后，召回率从88.3%提高到了89.2%，mAP从94.4%提高到了94.8%。通过使用具有不同膨胀率的多个注意力头，PDMAM使模型能够同时关注小尺度裂纹和大尺度骨骼形态，从而进一步减少了多尺度骨折的漏检。值得注意的是，添加PDMAM后精确度保持不变，表明该模块扩大了感知场而没有增加误检测的风险，证明了其设计的鲁棒性。

表5
模型 EMA PDMAM Precision Recall mAP
baseline ×× 91.38 6.19 3.6
+EMA √× 91.58 8.39 4.4
PEYOLO √√ 91.58 92.9 4.8

表6显示了在测试集上的消融结果。单独引入EMA模块将测试集上的精确度从91.8%显著提高到了92.7%，召回率从88.2%提高到了88.6%，mAP从94.1%提高到了94.9%。所有指标的总体改进进一步证实了EMA的有效性。在此基础上，添加PDMAM模块带来了持续的边际提升。模型的精确度、召回率和mAP分别进一步提高到了93.3%、89.0%和95.5%。测试集结果再次证实，通过多感知场感知机制，PDMAM使模型能够同时关注不同尺度的骨骼形态，从而显著提高了多尺度骨折目标的检测准确性。

图5展示了PEYOLO和基准模型在代表性手腕X光图像上的检测结果视觉比较，其中黄色圆圈表示假正例，红色圆圈表示漏检。与基准模型相比，PEYOLO能够有效区分多尺度骨折目标，并显著减少了难样本的漏检和误检。定性结果充分证明了引入EMA和PDMAM有效地增强了模型的多尺度特征感知能力，在具有挑战性的场景中表现出出色的鲁棒性和临床实用性。

4.7 局限性和未来方向
尽管PEYOLO在多个指标上取得了有希望的结果，但它仍存在某些局限性。首先，模型在精确度、召回率和mAP方面仍有改进的空间。未来的工作可以通过整合超分辨率或特征增强模块来进一步优化这些指标。其次，本研究仅使用了一个数据集。虽然这个数据集相对较大，但图像采集设备、曝光参数和患者群体的限制可能会影响模型在其他临床环境中的泛化能力。未来的工作应在多中心、多设备和不同年龄组的数据集上进行跨领域验证，以评估模型的鲁棒性。第三，目前的工作仅依赖于X光图像。未来，通过整合临床文本信息（例如患者年龄、创伤机制）或其他成像模态（例如CT、MRI）与X光图像，可以进一步提高骨折检测的准确性。

5 结论
本文提出了一种新的物体检测网络PEYOLO，用于手腕骨折检测。以YOLO11n作为基准，该方法设计了一个并行膨胀多头注意力模块（PDMAM），通过多个感知场下的稀疏采样有效处理骨折目标的大尺度变化。此外，引入了高效多尺度注意力（EMA）模块来增强模型融合多尺度空间信息的能力。在GRAZPEDWRI-DX-fracture数据集上的实验结果表明，PEYOLO在精确度、召回率和mAP方面优于几种先进模型，表现出强大的检测性能和临床实用性。未来的工作将集中在模型轻量化、跨疾病迁移学习和多模态图像融合上。