G-GBC：一种基于高斯混合模型的颗粒球计算方法，用于在噪声标签环境下实现鲁棒的卷积神经网络（CNN）分类

《Knowledge-Based Systems》：G-GBC: A Gaussian Mixture-Based Granular Ball Computing Method for Robust CNN Classification under Noisy Labels

针对图像分类中的标签噪声问题，本文提出一种基于高斯混合模型的颗粒球计算方法（G-GBC）。该方法通过动态调整颗粒球大小，结合CNN的特征提取能力，有效抑制噪声影响，提升模型鲁棒性和分类精度。实验验证了其在多数据集上的有效性。

　　

杨俊晓|刘强|曹雪梅|李飞|杨欣

成都信息科技大学人工智能学院，中国成都，610225

摘要

在实际场景中，手动和自动标注方法都可能产生错误标注的数据。现有的噪声处理技术主要集中在惩罚或消除噪声标签上；然而，它们在保持可解释性和有效处理标签噪声的复杂性方面常常面临挑战。为了解决这些问题，我们提出了一种新的框架，该框架利用颗粒球计算（GBC）的鲁棒性和可解释性来提高抗噪声能力和分类性能。基于高斯混合模型的GBC（G-GBC）方法将CNN模型作为特征提取器，并使用高斯混合模型自适应地生成颗粒球（GB）。通过将GB的纯度和权重纳入分类过程，模型可以动态调整GB的粒度，从而在减少噪声不利影响的同时提取关键特征。在多个数据集上的实验结果表明，所提出的方法显著提高了在噪声条件下的分类准确性和模型鲁棒性。此外，GB框架还提高了训练过程的可解释性，为存在标签噪声的图像分类任务提供了新的视角。

引言

在深度学习应用中，噪声标签问题已成为一个显著的挑战，限制了模型的鲁棒性和泛化性能。噪声标签在现实世界的数据集中很常见，其原因包括人工标注错误、数据收集过程中的随机干扰以及背景复杂性[1]。例如，在医学预测问题中，诊断标签经常存在专家间和专家内的分歧，或者是从临床文本中自动提取的，这会导致标签不确定性，并显著降低用于决策支持的深度学习模型的性能和公平性[2]。在依赖众包的大规模信息系统中也会出现类似的挑战，非专家注释者提供的标签即使在聚合后仍然存在噪声；最近的研究表明，在这种环境中，显式的标签噪声建模和校正对于保持数据质量和下游模型的准确性至关重要[3]，[4]。这些标签不准确性会干扰学习过程，通常导致模型在训练过程中记住错误信息，从而导致过拟合。因此，模型的分类准确性下降，当应用于新数据时，泛化性能也会显著受损。现有的正则化方法，如数据增强和提前停止[5]，可以在一定程度上减轻噪声的影响。然而，它们的有效性取决于噪声强度和数据分布的复杂性，在高噪声或复杂数据环境中效果有限[6]。

深度CNN具有适应清洁数据和噪声数据的固有能力，这意味着在存在标签噪声的情况下，它们可能会记住错误的标签，从而导致过拟合和泛化性能下降[7]。这种现象在更深层次的模型中更为明显，因为它们往往具有更高的表达能力，因此更容易受到噪声的影响。此外，标签噪声会干扰CNN的层次化特征提取过程，特别是在早期层，这可能会将错误传播到后续层，从而加剧负面影响[8]。为了解决噪声标签问题，近年来开发了许多经典和精细的策略。例如，基于损失的噪声样本检测方法使用样本损失来区分噪声数据[9]；对抗性训练方法引入对抗样本以提高模型鲁棒性[10]；而鲁棒损失函数[11]，[12]被广泛采用以减少对异常标签的敏感性。尽管这些方法在处理某些水平的噪声方面有效，但它们通常需要手动调整或依赖于关于噪声分布的先验假设。这种依赖性限制了它们在面对复杂噪声分布或高噪声环境时的有效性。

尽管取得了进展，但仍存在显著的研究空白。首先，许多方法依赖于关于噪声分布的假设或估计来设置适当的参数，这在噪声来源于复杂和不可预测来源的现实世界数据集中尤其具有挑战性[13]。例如，一些方法假设噪声标签的比例是固定的，或者需要估计噪声率，这在变化或动态的环境中可能不成立[14]。这些假设限制了这些方法在具有异构噪声类型和水平的多样化数据集中的泛化能力[15]。其次，大多数现有方法计算强度高，阻碍了它们对大规模数据集的可扩展性，特别是在深度学习的高维特征空间中。例如，如标签平滑或样本重新加权等方法通常需要每个时代额外的计算资源，这阻碍了它们在实时或资源受限环境中的应用[16]，[17]。随着深度学习应用的大小和复杂性的不断增加，对同时保持准确性和计算效率的方法的需求变得越来越关键。最后，现有方法主要关注调整损失函数或预筛选样本，而没有从多粒度角度自适应地平衡噪声和有用信息[18]。抗噪声学习策略通常几乎完全以预测性能为目标进行设计，在模型在冲突或损坏标签下的行为方面提供的可解释性有限。然而，在高影响力或受监管的应用中，可解释性是部署抗噪声模型的关键要求，因为利益相关者需要理解和审查模型在噪声监督下的行为，以建立信任并确保负责任的使用。

在这种背景下，颗粒球计算（GBC）引入了一种创新的多粒度处理机制，它在鲁棒性和可解释性方面具有前景[19]。其理论基础可以追溯到信息粒化理论，如模糊集和粗糙集[20]，这些理论为分级信息处理提供了层次化的数据结构。然而，这些理论通常应用于更简单的结构。GBC使用不同粒度的颗粒球（GB）来实现多级数据分割，使模型能够在多个粒度级别上进行分类决策[21]。与传统方法不同，GBC动态调整粒度大小，根据数据分布自适应地提取信息。这种多层处理能力使模型能够在较粗的粒度级别忽略噪声，同时在更细的级别捕获有价值的信息，从而在噪声数据集上实现鲁棒和稳定的性能[22]。然而，现有的基于GBC的方法，如颗粒球支持向量机（GBSVM）[23]，主要侧重于通过用GB替换细粒度样本来提高传统分类器的效率。不幸的是，这些方法通常依赖于严格的聚类技术，如K均值方法。这种依赖性限制了它们处理多模态或不规则形状数据分布的能力，因为K均值方法假设簇是球形的且方差相等，导致在复杂、高维、噪声环境中粒度适应不佳。此外，这些方法通常是为浅层机器学习范式设计的，缺乏与深度学习架构（如CNN）的无缝集成，导致在严重标签噪声下的概率建模灵活性有限，以及在分类准确性方面的实证收益不足。

为了解决这些限制并填补已识别的研究空白，本研究引入了基于高斯混合模型的颗粒球计算（G-GBC）方法，该方法将GBC与通过马氏距离优化的GMM相结合。这提供了一种新的方法，利用颗粒球的鲁棒性和GMM的软分配机制从多粒度角度提高基于GBC的方法在噪声环境中的鲁棒性。G-GBC通过结合GMM的概率软分配来增强多粒度处理，允许动态调整纯度和在噪声环境中更好地保留数据结构。通过动态调整GB粒度和利用纯度加权分配，所提出的方法减轻了标签噪声的影响，同时保留了关键数据结构。将这种方法集成到CNN中不仅提高了在高噪声数据集上的性能，还通过可视化训练过程中GB结构的演变提供了增强的可解释性。这些贡献为提高深度学习模型的鲁棒性和可解释性提供了实用的方法。本文的主要贡献如下：

1.

我们提出了一种新的方法来应对与噪声标签相关的挑战。所提出的方法利用GB的自适应聚类能力来减轻错误标注数据的不利影响。通过动态调整GB的形成过程并结合耐噪声机制，所提出的方法有效减少了标签噪声的影响，提高了在高噪声环境中的分类准确性和鲁棒性。

2.

所提出的基于自适应高斯混合模型的GBC（G-GBC）方法使用带有马氏距离优化的高斯混合模型（GMM）来准确捕获数据分布。通过动态调整GB的粒度和权重，所提出的方法有效减轻了标签噪声的影响。这种设计增强了表示的噪声韧性，提高了在高噪声数据集上的聚类性能和特征提取准确性。

3.

G-GBC方法集成到CNN框架中，提高了鲁棒性和可解释性。这种集成利用了GB的噪声抵抗特性以及CNN的强大特征提取能力，显著提高了在噪声数据集上的性能。此外，GB演变的动态可视化阐明了模型的自适应机制，提高了训练过程中的透明度和可解释性。

部分片段

颗粒球计算

一项先前的研究[24]指出，人类认知优先识别图像中的“宽泛”轮廓信息，引入了“全局优先”的概念。这种观点与大多数依赖于细粒度数据点的AI算法不同。基于颗粒计算划分数据和知识空间的能力，王[25]提出了多粒度认知计算，而夏等人[19]提出了使用超球体表示“颗粒”的想法，从而

基础模型和定义

聚类是生成GB的基本步骤，因为它决定了数据点如何分组以形成紧凑且有意义的表示。有效的聚类方法可以直接影响GB的质量，影响模型处理复杂和噪声数据集的能力。鉴于可用的聚类算法种类繁多，选择合适的方法变得至关重要，特别是在考虑计算效率和捕获复杂性的能力之间的权衡时

方法

传统的GB分类器依赖于纯度判断和k均值聚类，使用纯度阈值来确定是否分割或停止聚类。虽然在处理简单结构时有效，但GB分类器在处理包含大量类别的数据集时面临挑战，因为它们的可解释性和聚类能力在复杂特征空间中会减弱。相反，深度学习模型通过损失函数优化参数以实现高准确性；然而，它们

数据集介绍

CIFAR-10 [49]和CIFAR-100 [50]数据集分别包含10个和100个类别，是图像分类的标准基准，包含50,000张训练图像和10,000张测试图像。CIFAR-10N [51]包含了由人类标注的真实世界噪声标签，ANIMAL-10N [52]专注于10个具有8%噪声率的具有挑战性的动物类别，是评估模型在真实世界标签噪声下性能的宝贵基准。Clothing1M [53]数据集包含超过

结论

实验结果表明，将GB层集成到RN34和RN18等模型中显著提高了对噪声的鲁棒性，特别是在高噪声场景中。在各种数据集上，随着噪声的增加，G-GBC模型的表现始终优于其基线对应模型，证实了这种方法的有效性。使用PCA的详细可视化分析进一步揭示了GB中心和噪声点在多次迭代中的调整情况，反映了模型的

CRediT作者贡献声明

杨俊晓：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，软件，方法论，概念化。刘强：撰写 – 审稿与编辑，监督，方法论，资金获取。曹雪梅：撰写 – 审稿与编辑。李飞：方法论。杨欣：验证，监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了成都信息科技大学2023年科技创新能力提升计划（授权号KYTD202347）和成都信息科技大学研究基金（授权号KYTZ2023042）的支持。