血细胞的自动化分析是计算病理学的重要步骤，可能会改变临床医生测量和评估与血液相关疾病的方式。每年，全世界有数百万人受到贫血和白血病等疾病的影响，因此早期和准确的血细胞诊断对于临床诊断至关重要[1]。尽管临床实验室已经在自动化方面取得了一些进展，但血液涂片分析过程仍然是手动的且过时的。这种分析方法劳动强度大，容易受到分析者主观判断的影响，不同的评估者可能会得出不同的解释[2]。
深度学习技术，特别是卷积神经网络（CNN），有望解决旧方法的大多数局限性[3]。例如，Matek等人[4]使用CNN对大型数据集中的骨髓细胞进行分类，并显示出显著的准确率，而Acevedo等人[5]创建了一个基线数据集，显著提高了外周血细胞识别的效率。最近的研究采用了更先进的架构，包括具有直接注意力过程的三维卷积网络，通过对高光谱图像数据的学习来提高白细胞分类的准确率[6]。这些例子说明了血液学自动化方法的逐步改进，从基本的CNN分类到利用丰富光谱空间数据的复杂架构。
然而，在将这些模型应用于日常临床实践时，出现了两个主要挑战：医学数据集中的类别不平衡以及传统成像模式的局限性。根据对光谱成像方法的评估，尽管有令人鼓舞的发展，但仍存在光谱分辨率和采集时间等问题[7]。此外，当某些细胞类型的数量远高于其他类型时，例如人血液中的红细胞、白细胞和血小板的数量[8]，就会发生类别不平衡。例如，在一个血液样本中，每有一个白细胞就有数百万个红细胞，而每三个或四个白细胞才有一个血小板[2]。在[9]中，应用了一种元启发式优化方法，使用基于机器学习的特征选择方法（包括GA、FA和GWO）进行白细胞（WBC）计数预测，与传统方法相比，显著提高了WBC预测的准确率。然而，像镰状细胞或巨型血小板这样的异常细胞在病理上很重要但很罕见，模型仍然难以学习[10]、[11]。因此，深度神经网络倾向于记忆多数类，对罕见的、具有临床意义的表型不敏感[12]、[13]。
为了解决这个问题，已经实施了成本敏感学习和过采样方法（如SMOTE）[14]。然而，这些方法往往生成无意义的合成实例，或者由于超参数的复杂调整而浪费不必要的时间，从而在泛化到新数据时遇到困难[15]。为了缓解这些问题，Zhang等人[16]提出了通过混合样本进行数据增强，该方法通过在实例对之间插值来生成新的合成输入。尽管有效，但与其他计算机视觉中的通用任务不同，应用于显微图像的混合样本通常不合适，因为它由于血细胞的复杂形状和纹理而生成不真实和生物学上不可信的形态。
除了数据不平衡之外，模型本身的架构也可能阻碍最佳输出。许多血液学成像研究工作仍然使用CNN或基于CNN的模型[4]、[5]、[15]，这些模型在规则网格排列的数据上表现最佳。这在血液学中是一个问题，因为生物组织，特别是血细胞，具有非欧几里得的空间配置和关系。因此，CNN可能无法充分模拟血细胞之间的相互作用和关系[17]。这可能导致形态理解不完整，分类不够准确。此外，传统的RGB显微镜仍然无法利用检测和表征复杂病理模式所需的更深入的生化属性，因为它仅限于表面的颜色和强度RGB显微镜属性[18]。相反，高光谱成像（HSI）记录了每个像素的完整光谱，并具有丰富的生化特征。Li等人[19]利用这一能力表明，结合空间和光谱信息显著提高了白细胞分割和形态测量的准确率，优于基于RGB的技术。多光谱成像（MSI）提供了一种可靠的相关方法，可以克服传统RGB显微镜的固有缺点。在多个波长上测量信息意味着MSI可以存储每个像素的生物成分（如血红蛋白和核酸）的光谱特征[20]。这种光谱多样性提高了肿瘤学和胃肠道疾病的诊断准确性。然而，它尚未应用于血液分析。MSI数据很常见，而罕见细胞采样较少，这提出了一个独特的挑战：学习模型以提取独特的光谱空间特征。基于编码器-解码器CNN的深度学习模型已经在自然语言处理（NLP）中广泛研究，以提取输入数据的长期特征[21]。这样的架构也被用于计算机视觉任务中，以学习更复杂的空间和时间关系[22]。
图神经网络（GNNs）的最新应用提供了非欧几里得数据表示的新方法[23]。将图像视为图，其中节点是有意义的方面，边是空间或功能关系，GNNs可以访问CNN无法表示的多维依赖性[24]。这在处理MSI时特别有用，因为光谱数据可以存储在节点中，而形态或生化相互作用可以存储在边中。在GNN模型中，可以区分Veli?kovi?等人[25]设计的图注意力网络（GAT），它具有动态关注最显著相邻节点的注意力机制，以提高GAT特征的区分能力。当这些模型被放入编码器-解码器结构中时，还可以存储额外的语义信息并捕获更多的少数类[26]。
尽管深度学习促进了MSI血细胞数据集的分类，但类别不平衡仍然是一个重要问题。红细胞（RBCs）的数量远高于血小板（PLTs）和白细胞（WBCs），而罕见的病理细胞的数量更低。这些代表性不足的细胞类型，如罕见或异常的血细胞，很难被当前模型检测到。这降低了系统性能，尤其是在现实世界的临床环境中的MSI数据集。此外，现有的过采样形式无法生成保留血细胞结构的真实世界合成样本，而这些样本对于提供正确的分类是必需的。为了解决这些问题，我们提出了一种新的卷积神经网络，采用编码器-解码器结构和图注意力（CNN-GA）模型。该模型首先使用卷积块处理输入图像并获取层次化特征表示。这些特征通过图注意力桥捕获，图注意力桥应用多头自注意力来学习空间和关系依赖性。该架构涉及多尺度特征融合，以融合所有级别编码器的层次化特征。它还使用门控策略动态整合全局编码器上下文和多尺度融合特征。解码器路径使用转置卷积块重建特征。然后通过跨域注意力将特征投影到相同的空间，并计算注意力分数以选择性地增强解码器表示，然后将其发送到最终分类。还使用基于混合样本的方法来平衡缺乏足够样本的类别（PLTs和WBCs），从而生成合成样本。这保持了样本的结构完整性，并增强了模型对罕见和异常细胞的处理能力。
本文的其余部分组织如下：第2节解释了所提出的方法，第3节概述了训练设置，第4节总结并讨论了实验结果的细节，第5节详细介绍了从研究中得出的结论。
