编辑推荐：
本文基于VC维度理论，分析对抗学习、互导学习及孔子三学习在分类任务中的有效性，证明孔子三学习通过结合对抗与互导机制，能有效提升有限标注数据下的模型性能。
韩宗军|卢白|潘斌|彭仁
中国石油大学（华东）海洋科学与空间信息学院，青岛，266580，中国
摘要
在训练样本数量有限的情况下，互导学习和孔子三重学习是两种在图像分析和对象分类任务中表现出卓越效果的机器学习范式。本文通过利用Vapnik-Chervonenkis（VC）界限理论来分析这两种方法的有效性，为其提供了理论依据。由于孔子三重学习是基于互导学习构建的训练范式，我们首先描述了通过引入对抗学习从互导学习到孔子三重学习的转变过程。然后，我们通过证明它们在额外训练数据样本方面的策略能够比传统学习方法获得更紧密的VC界限来证明其有效性。最后，我们通过比较它们的可视化VC界限曲线来研究影响VC界限的关键因素。这为这些范式的优越性提供了理论条件。
引言
在机器学习中，开发超出真实标记数据的额外数据以增强训练是一个重要的挑战[1]，[2]。解决这一挑战的一种有效策略是利用多个相互作用的机器学习模型来生成额外的训练数据。三种代表性的方法包括对抗学习[3]、互导学习[4]和孔子三重学习[5]。通过以不同的方式训练两个或更多模型，这些方法可以获得比传统学习方法更好的性能。在本文中，我们将从理论上分析它们的有效性。由于这些范式有许多高级变体，我们专注于它们的原始形式，以便简洁而全面地展示我们的结果，其中分类是所研究的机器学习问题。因此，我们将在分类的背景下回顾这三种范式的原始形式。
对抗学习是一种训练范式，其中分类器通过与生成器的竞争来提高分类性能[6]，[7]，[8]，[9]。生成器创建“假”数据样本来欺骗分类器，而分类器试图对这些“假”数据样本进行分类并将其与“真实”数据样本区分开来。通过这种对抗过程，分类器和生成器不断改进它们的能力[10]。
典型的应用包括遥感图像到图像的转换[11]、跨模态医学图像合成[12]以及自动驾驶的无监督领域适应[13]。这些任务利用对抗训练的生成能力来弥合领域差距或合成难以获取或成本高昂的高保真数据。然而，对抗学习经常面临训练过程中模型崩溃的挑战，导致生成的数据样本无法被分类器有效利用[14]，[15]，[16]。最近的研究专注于生成具有更多标签信息和真实性的数据样本，同时确保训练过程的稳定性，以提高对抗学习的有效性[17]，[18]。
互导学习与对抗学习不同，它是一种让两个分类器相互帮助进行训练的训练范式[4]，[19]，[20]，而不是相互竞争。具体来说，两个结构相同但初始化不同的分类器通过提供互导数据样本（即带有预测标签的分类数据样本，称为准标签）来互相训练，从而提高它们的分类性能。这使得互导学习在实现上比对抗学习更简单，因为它不需要生成器来产生“假”数据样本。通过迭代训练，互导学习通过探索未标记数据样本的效用有效地增加了两个分类器的训练数据样本数量[21]。当标记数据样本有限时，互导学习特别有用。
典型的应用包括半监督遥感任务，如高光谱图像分类[4]和海冰分类[19]。在这种场景下，这种范式特别有效，因为两个分类器可以互相提供高置信度的准标签，从而比单一模型方法更可靠地利用未标记数据。然而，来自互导数据样本的可能不正确的准标签可能会对训练过程产生负面影响。最近的研究致力于减少错误准标签的数量，以实现有效的训练[22]，[23]，[24]，[25]。
孔子三重学习是在互导学习范式的基础上引入对抗学习构建的[5]。具体来说，它使用两个结构相同但初始化不同的分类器以及一个生成器进行训练。两个分类器遵循互导学习为未标记数据样本提供准标签以互相训练。同时，两个分类器与生成器进行对抗训练，这有助于稳定对抗学习过程。孔子三重学习不仅充分利用了未标记数据样本，还生成了额外的“假”数据样本。每个分类器都从标记数据样本、互导数据样本和生成的数据样本中学习，从而提高分类性能。典型的应用包括标签极其有限的SAR图像分类[5]。孔子三重学习之所以有效，是因为它结合了对抗学习和互导学习，从而克服了每种单独范式的缺点。
Vapnik-Chervonenkis（VC）界限是分析机器学习方法有效性的一个关键理论工具[26]，[27]，[28]，[29]，[30]，它提供了关于假设的泛化误差的上界，这与Vapnik-Chervonenkis（VC）维度和训练数据样本的数量有关。基于VC界限分析，可以理论上验证许多主流学习范式的有效性。Ben-David等人[31]从领域适应理论的角度推导了从多个数据源学习的模型的VC界限。这为相关学习范式的VC界限分析提供了额外的见解。此外，Morris等人[32]通过VC维度理论分析了图神经网络的泛化能力。Yang等人[33]建立了深度神经网络导数的VC维度和伪维度的近乎最优界限。Liu等人[34]表明，新类别的误差上界由基础类别的泛化误差、领域差异以及一个取决于VC维度的额外项共同决定。总之，这些研究为一系列先进的机器学习方法提供了理论依据。经典的VC界限分析为不同学习方法在各种场景下的泛化能力提供了实用的指导[35]，[36]，[37]，[38]。
在本文中，我们提供了对抗学习、互导学习和孔子三重学习有效性的理论依据。我们的贡献有三个方面：
(a) 我们是最早为互导学习和孔子三重学习提供VC界限的研究者之一。
(b) 我们研究了影响对抗学习、互导学习和孔子三重学习VC界限的关键因素。
(c) 鉴于上述两个贡献，我们从理论上证明了在大多数情况下，孔子三重学习优于对抗学习和互导学习。
本文的其余部分组织如下。我们在第2节描述了传统学习、对抗学习、互导学习和孔子三重学习的训练过程。然后，在第3节通过讨论它们的VC界限来给出理论依据。最后，在第4节总结本文。
部分摘录
从互导学习到孔子三重学习
在本节中，我们简要介绍了对抗学习、互导学习和孔子三重学习的训练过程。鉴于对抗学习、互导学习和孔子三重学习有许多高级变体，我们专注于它们的原始形式，以提供坚实的理论基础。
我们首先介绍了使用标记数据样本的传统学习训练过程，然后介绍了对抗学习和互导学习
基于Vapnik-Chervonenkis（VC）界限分析的理论依据
在本节中，我们从Vapnik-Chervonenkis（VC）界限[26]，[27]和领域适应[31]的角度进行了理论论证，说明了第2节中的范式为何能够有效训练分类器。
我们首先介绍了使用标记数据样本的传统学习的VC界限。然后，我们讨论了对抗学习和互导学习的VC界限。此外，我们提供了孔子三重学习的VC界限。最后，我们分析了其影响
结论
本文首先描述了三种范式（即对抗学习、互导学习和孔子三重学习）的训练过程，展示了从对抗学习和互导学习到孔子三重学习的转变。基于VC界限分析和领域适应理论，我们从理论上分析了这三种范式的训练效果，并得出了它们的VC界限，如表1所示。
两种类型的额外训练数据
CRediT作者贡献声明
韩宗军：撰写 – 审稿与编辑，撰写 – 原稿，方法论，形式分析，概念化。卢白：撰写 – 审稿与编辑，验证。潘斌：撰写 – 审稿与编辑，形式分析。彭仁：资源获取，资金筹集。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
