用于多模态实体对齐的缺失视觉模态图变换器

《Pattern Recognition》：Missing Visual Modality Graph Transformer for Multi-modal Entity Alignment

多模态实体对齐中，针对缺失视觉模态问题，提出MVMTEA模型，通过局部Dirichlet能量最小化完成邻近模态传播，结合KNN增强的全局关联聚合实现双重模态补全，并采用Transformer进行多模态融合与对齐。实验验证其在低覆盖数据下的有效性。

　　

Kai Yang|Wenqian Zhao|Junyan Guo|Xiaobing Sun

扬州大学信息工程学院，中国江苏省扬州市225127

摘要

多模态实体对齐（MMEA）旨在通过利用多种模态（如图像）来识别和匹配不同知识图谱（KGs）中的相同实体。然而，当输入的视觉模态信息不完整时，对齐性能可能会下降。大多数现有的MMEA研究都集中在多模态实体特征融合的范式上，忽略了现实世界中图像信息可能缺失的事实。在本文中，我们提出了一种名为“缺失视觉模态图变换器”（MVMTEA）的新模型，该模型通过模态补全和基于变换器的模态融合来提高实体对齐能力。具体来说，我们首先采用基于狄利克雷能量最小化的方法进行局部补全，从而在图上实现特征的平滑插值。然后，MVMTEA结合K最近邻（KNN）算法来增强全局补全。该机制过滤不可靠的连接，并提高缺失模态的潜在特征质量。最后，我们利用变换器在细粒度上实现实体级别的模态融合和对齐。广泛的实验结果证明了我们提出的模型在缺失视觉模态信息的情况下具有优越性。

引言

知识图谱（KGs）是一种结构化的数据表示方法，使用RDF三元组存储和组织现实世界中的事实知识。近年来，多模态知识图谱（MMKGs）的出现增强了KGs的表达能力。MMKGs结合了基于传统KGs的多模态信息，以支持跨模态任务，包括推荐系统[1]、[2]和问答[3]、[4]。然而，MMKGs仍然受到覆盖范围低和固有不完整性问题的影响，特别是在视觉模态方面，这限制了下游应用的有效性。一些研究在不完整和弱信息环境下对结构化图中的表示学习进行了探讨[5]、[6]。Na等人[5]提出了一个图神经网络框架，该框架明确考虑了来自不同信息源的弱属性信息。Li等人[6]引入了一种结构增强和属性感知的图对比学习框架，以在弱属性信息存在的情况下提高表示的鲁棒性。这些研究表明，明确建模缺失信息对于鲁棒学习至关重要，这对于多模态实体对齐（MMEA）尤为重要，因为在MMEA中某些模态信息经常缺失。MMEA的目标是整合多模态属性信息（如图像），以识别不同MMKGs中的语义等价的实体对（即对齐种子）。

现有的MMEA方法主要集中在设计融合范式以整体表示实体。具体来说，Liu等人[7]、Wang等人[8]和Wang等人[9]提出了不同的多模态知识融合模块，这些模块整合了各种知识类型的多种表示。Li等人[10]通过基于注意力的特征融合结构自上而下地融合了两个分支的多尺度特征信息。随着图结构化数据的发展，图神经网络（GNNs）已被用于从不同模态中学习表示。Guo等人[11]采用双曲图卷积网络来捕获视觉和结构表示，并使用聚合嵌入来预测潜在的对齐结果。Li等人[12]提出了一个具有三元组感知的GNN，以及一个用于多模态融合的加权学习模块。该模型定量评估了KG因子化在共享潜在表示空间中的有效性。Wang等人[13]提出了一个融合网络，该网络利用了来自多种模态的纹理特征信息。为了促进基于纹理方向的特征融合，开发了一个定向注意力融合模块，以沿着手指长轴的平行或垂直轴计算注意力。为了进一步提高对齐性能，一些方法探索了用于多模态实体表示的实体级别多模态融合策略。Lin等人[14]利用对比学习共同建模模内和模间交互，从而识别出具有更准确信息的学习到的实体对。Chen等人[15]和Li等人[16]都结合了变换器来整合多种信息。Chen等人[15]提出了一个元模态混合对齐变换器，该变换器动态预测模间关系，并自适应学习模态偏好。Li等人[16]在变换器编码器内设计了一个分层可修改的自注意力机制，以保留异构信息的独特语义，并利用实体类型前缀来整合类型特定的知识。

然而，MMKGs通常是由异构和不完整的数据源构建的，导致某些模态特定属性的缺失，例如视觉模态（如图1所示，并非所有实体都有关联的图像）。为了解决这一挑战，已经提出了各种方法来减轻缺失视觉模态的问题。Li等人[17]提出了一个多模态属性统一框架，该框架通过合并和生成操作符跨模态整合实体特征。受自动编码器的启发，Chen等人[18]开发了一个循环缺失模态想象模块，使模型能够主动推断缺失的模态信息。而Chen等人[19]提出将所有模态特征统一到一个共享的潜在子空间中，并根据现有的模态特征通过变分自动编码器生成伪特征。Wang等人[20]引入了一种基于传播的策略，通过利用现有属性来插值缺失的语义特征。尽管这些方法从不同角度缓解了问题，但为MMEA中缺失的视觉模态设计的解决方案仍然非常有限。

在本文中，我们提出了一种名为MVMTEA的新MMEA方法，旨在有效补充缺失的视觉模态特征。我们首先使用不同的方法提取模态特定特征，并通过独立的全连接层分别对它们进行编码。为了解决缺失视觉模态的挑战，我们引入了一个双级模态补全模块。该模块包括局部补全（邻域模态传播）和全局补全（相关性聚合）。邻域模态传播利用狄利克雷能量最小化在相邻实体之间扩散特征，从而插值缺失的特征以完成邻域补全。为了减轻局部补全引入的噪声，提出了基于KNN的相关性聚合。相关性聚合旨在过滤全局图中的不可靠实体，选择最可靠的实体来进一步完成缺失的特征。对于重建的视觉模态信息，MVMTEA使用变换器进行多模态特征融合。此外，我们采用多模态实体对比学习目标来增强实体对齐，这可以有效减轻预对齐实体有限的模态信息问题。我们工作的主要贡献可以总结如下：

•

我们提出了一种针对缺失视觉模态的新多模态实体对齐框架，名为“缺失视觉模态图变换器”（MVMTEA）。该模型可以有效地应用于视觉模态场景。

•

MVMTEA基于狄利克雷能量最小化和基于KNN的相关性聚合分别进行邻域模态传播和全局信息补全。通过利用全局图中的邻近信息和可靠关联来重建缺失特征。

•

为了在更细的粒度上实现实体级别的模态融合和对齐，MVMTEA结合了变换器并整合了对比学习机制，以进一步增强实体对齐能力。

•

在三个MMEA数据集上的广泛实验表明，MVMTEA有效缓解了缺失视觉模态问题。

部分片段

实体对齐

实体对齐（EA）专注于识别和匹配在多个知识图谱（KGs）或异构数据源中引用相同现实世界对象的实体。早期的方法主要利用区分特征来解决实体对齐问题[21]、[22]，包括KGs中的描述性元数据和基于关系的结构。Suchanek等人[22]使用概率估计来衡量匹配程度，对实例、关系和类别进行对齐。

初步介绍

定义1（多模态知识图谱）。多模态知识图谱（MMKG）定义为，其中E表示实体集合，R表示实体之间的关系集合，T∈E×R×E包含描述图中结构化知识的三元组。A表示属性信息，而V对应于与实体关联的图像。在MMKG中，三元组表示从现实世界中提取的实体及其内在关系。

方法

在本节中，我们详细介绍了基于模态补全和变换器的缺失视觉模态的多模态实体对齐框架。如图2所示，我们的模型包括三个主要组成部分：a) 多模态知识表示，b) 双级模态补全，以及c) 模态表示融合。

实验

在本节中，我们对MVMTEA的性能进行了广泛的评估。我们的实验回答了以下研究问题（RQs）：

•

RQ1：我们的方法在缺失视觉模态的场景中有多有效？

•

RQ2：MVMTEA中双级模态补全的关键设计是否真正有助于对齐性能？

•

RQ3：MVMTEA中其他模块的设计如何影响对齐性能？

•

RQ4：超参数对我们方法的影响如何？

结论与未来工作

在本文中，我们提出了MVMTEA，这是一个旨在解决多模态实体对齐任务中缺失视觉模态问题的新框架。MVMTEA整合了局部和全局结构信息，以有效补偿缺失的视觉模态。具体来说，我们的模型利用狄利克雷能量最小化来利用相邻的拓扑结构，并为目标实体提供可靠的局部信息。然后，引入KNN来识别高度相似的实体。

CRediT作者贡献声明

Kai Yang：撰写——原始草稿，监督，方法论，资金获取，概念化。Wenqian Zhao：撰写——审阅与编辑，撰写——原始草稿，验证，方法论。Junyan Guo：撰写——审阅与编辑，数据管理。Xiaobing Sun：撰写——审阅与编辑，资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益。

致谢

本工作得到了中国江苏省高等学校自然科学基金（编号22KJD120002）、国家自然科学基金（编号62202414、61972335和62002309）、江苏省六大人才高峰项目（编号RJFW-053）、江苏省“333”项目和扬州大学高层次人才支持计划（2019年）的支持。