融合表示空间：一种基于投影融合的对比学习方法

《Information Fusion》：Fusing Representation Spaces: A Projected-Fusion Approach to Contrastive Learning

本文提出Projected-Fusion Contrastive Learning（PFCL）框架，通过投影和融合语义表示与标签概率分布，解决单一表示的局限性，提升模型鲁棒性和泛化能力，并在多任务文本分类中验证有效性。

　　

Nankai Lin|Kezhou Chen|Haonan Liu|Hongbin Zhang|Shengyi Jiang|Aimin Yang

广东外语外贸大学信息科学技术学院，广州，510000，中国

摘要

在监督学习（SL）中，模型的鲁棒性和泛化能力一直是一个备受关注的问题。最近的研究尝试使用对比学习（CL）来构建目标模型。大多数关于CL的研究集中在基于特征的对比学习（FeaCL）上，该方法利用语义表示来构建对比目标函数。此外，也有一些研究从标签概率分布的角度来构建对比目标函数，这种方法被称为基于概率的对比学习（ProCL）。然而，FeaCL和ProCL都可能存在一个共同的问题，即它们只能考虑一种类型的表示。为此，我们提出了一种新的CL框架，称为投影融合对比学习（PFCL），通过表示融合来结合两种CL范式的优势。具体来说，我们首先构建一个标签表示来近似标签概率分布的输出。然后，当具有相同标签的样本共享时，将这个表示与语义表示对齐进行融合。这种融合不仅实现了对齐，还增强了不同表示空间之间的交互，从而促进了表示的一致性。实验证明了我们提出的PFCL范式的有效性。

引言

监督学习（SL）旨在从训练数据集中尽可能准确地预测测试数据中的正确标签，在各种自然语言处理任务中发挥了重要作用，如推荐[1]、[2]、问答[3]、[4]和文本分类[5]、[6]、[7]、[8]。最近SL研究中的一个主要问题是模型在某些应用场景中的鲁棒性和泛化能力，训练好的模型可能会忽略不同样本之间的相似语义或标签特征。为了解决这个问题，特别是在文本分类中，最近的研究致力于设计使用监督对比学习（CL）[9]、[10]的目标模型，该模型可以紧密地计算锚点（选定的训练样本）和“正样本”（具有相同标签的其他训练样本）之间的语义表示距离。然而，现有的CL方法在改进模型的语义表示方面仍有一些局限性。

大多数关于CL的研究集中在基于特征的对比学习（FeaCL）[11]、[12]上，该方法使用句子的语义表示作为构建对比目标函数的基本组成部分。此外，还有一些工作从标签概率分布的角度来构建对比目标函数，这被称为基于概率的对比学习（ProCL）[13]。图1（a）和（b）提供了一个示例。在目标模型中，基于编码器和分类器，计算锚点和样本，分别输出它们的标签概率分布和，其中${\mathrm{E\_i}}_t^{}和$ {\mathrm{E\_j}}_t^{}是语义表示。在FeaCL中，忽略和之间的语义相似性可能会使模型丢失它们标签分布的一些重要特征。为了引导模型学习这些特征，FeaCL考虑了$ {\mathrm{E\_i}}_t^{}和$ {\mathrm{E\_j}}_t^{}之间更接近的语义表示距离（如图1（a）所示）。在使用反向传播算法进行模型训练时，对$$$$E^t的距离学习可能会受到限制。为了解决这个问题，ProCL强调了和之间的标签概率分布距离（如图1（b）所示），这迫使模型学习区分不同的标签特征。然而，这两种对比学习方法只考虑了它们在不同维度上的分布，这使得难以引导模型融合来自不同表示空间的多样表示。

为了同时结合两种对比学习（CL）范式的优势，如图1（c）所示，我们引入了一种新的CL框架，称为投影融合对比学习（PFCL）。对于目标模型中的和，基于编码器和分类器，我们分别构建它们的标签表示${\mathrm{E\_i}}_l^{}和$ {\mathrm{E\_j}}_l^{}。$$E^l可以近似表示

并与E^t对齐，允许E^t投影到E^l上，以实现语义层（E^t）和标签层（

或< />）的表示融合。这样的框架可以融合来自不同表示空间的不同表示，利用对比视图和对齐策略进行有效的表示融合。具体来说，双重视图（如图2（d）中的蓝色和橙色椭圆所示）用于确保具有相似标签的样本彼此靠近，而具有不同标签的样本则相距较远。对齐策略（由带箭头的线表示）确保学习到的嵌入E^t不仅在同一类别内保持接近，而且与标签表示E^l也对齐良好。这种方法有效地结合了基于特征的对比学习（FeaCL）的表示能力和基于标签的对比学习（ProCL）的分布对齐能力。为了更好地说明三种对比学习方法之间的差异，我们展示了每种方法的渲染结果。FeaCL在语义表示层对比样本，如图2（b）所示。使用FeaCL时，具有相同标签的样本在语义表示空间中被聚集在一起，形状越相似表示距离越近。图2（c）提供了ProCL的操作和结果的说明图，后者利用了标签分布。我们提出的PFCL如图2（d）所示，通过合并两种对比视图并对其进行对齐来增强对比学习。这种集成有效地融合了表示空间和标签分布的对齐。

在PFCL中，表示的融合是通过双重对比视图来执行的。PFCL通过在同一空间内投影和对齐两种不同的表示来实现。具体来说，对于给定的锚点及其对应的“正样本”，PFCL首先在第一个对比视图中缩短它们的语义表示之间的距离。同时，在第二个对比视图中，它最小化它们的标签表示之间的距离。这种双重视图确保了语义表示和标签表示之间的对齐。根据锚点及其“负样本”，它们的语义和标签表示距离可以分别被放大。利用PFCL，同一类别的样本在两个表示空间内被聚集得更紧密，同时保持这些空间之间的近似对齐，如图2（f）所示。PFCL不仅考虑了语义表示，还实现了语义表示和标签表示之间的空间对齐。总之，PFCL有效地将语义表示与标签表示关联起来，从而进一步提高模型的鲁棒性和泛化能力。我们在三个具有不同特征的文本分类任务上对PFCL进行了实验，这些任务涵盖了不同的训练场景。这三个任务分别是单语多类文本分类（MMCTC）、单语多标签文本分类（MMLTC）和跨语言多类标记分类（XMCTC）。本文的贡献如下：

(1) 本文提出了一种新的对比学习框架PFCL，旨在融合语义和标签表示。PFCL通过缩小语义表示和标签概率分布之间的投影来实现这一点。

(2) PFCL有效地弥合了FeaCL和ProCL之间的差距。通过结合两种范式的优势，它提供了一种更全面和强大的对比学习方法。

(3) PFCL是一个即插即用的框架，适用于各种任务和方法。我们相信PFCL为文本分类的对比学习开发提供了新的途径。

(4) 我们的工作不仅丰富了对比学习的理论理解，还为未来研究提供了实践框架，以探索结合不同类型表示和学习策略的混合方法。

相关工作

相关工作

对比学习（CL）[14]、[15]是一个理论框架，旨在从组织成相似/不相似对的数据中学习相似/不相似的表示。该框架通过最小化表示空间中锚点和“正样本”之间的距离，同时最大化锚点和众多“负样本”之间的距离来运作。正样本主要由从锚点生成的数据增强样本组成

概述

我们介绍了一种新的对比学习框架，称为投影融合对比学习（PFCL），它通过表示的融合结合了两种CL范式的优势。PFCL通过在同一空间内投影和对齐两种不同的表示来实现这一点。具体来说，我们首先构建一个标签表示来近似标签概率分布的输出。然后，这个表示与语义表示无缝集成

下游任务

在我们的研究中，我们在三个文本分类任务上评估了PFCL方法，每个任务都具有不同的特性，以涵盖各种训练场景。这些任务包括单语多类文本分类（MMCTC）、单语多标签文本分类（MMLTC）和跨语言多类标记分类（XMCTC）。选择XMCTC任务来展示PFCL处理不同语言之间的迁移和学习能力。

单语多类

数据集

MMCTC。我们在SST-5 [30]上进行了广泛的实验。该数据的原始训练集、验证集和测试集分别包含8543个、1100个和2209个样本。我们直接使用它们来训练和测试模型。

MMLTC。我们选择了semEval-2018 [31]中的标记英文、阿拉伯文和西班牙文数据。最初构建了三组数据：训练集（Train）、验证集（Valid）和测试集（Test）。表1列出了每种语言的训练集、验证集和测试集

讨论

PFCL在复杂场景中的卓越性能源于其通过投影融合策略联合建模语义和标签信息的能力，这种策略对齐了这些互补的表示空间。通过最小化语义投影之间的距离，同时优化标签分布的对齐，PFCL捕捉到了细粒度的语义关系和粗粒度的类别区分，这对于多标签和跨语言任务特别有益。

结论

在本文中，我们提出了一种新的框架PFCL，用于结合两种现有CL的优势，以提高目标模型的鲁棒性和泛化能力。PFCL独特地融合了语义表示和标签概率分布，实现了近似的空间对齐，显著提升了模型的鲁棒性和泛化能力。这种表示的融合是PFCL卓越性能的基础，我们的实验在多种场景中得到了验证

CRediT作者贡献声明

Nankai Lin：写作 – 审稿与编辑，撰写 – 原稿，方法论，概念化。Kezhou Chen：写作 – 审稿与编辑，方法论，调查。Haonan Liu：写作 – 审稿与编辑。Hongbin Zhang：写作 – 审稿与编辑，方法论，调查。Shengyi Jiang：写作 – 审稿与编辑。Aimin Yang：写作 – 审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。