编辑推荐：
张量分解方法在时间知识图谱预测中的应用研究，提出融合RBF时间编码器和时序正则化器的改进模型，在ICEWS、YAGO等五个基准数据集上验证其效率优势及预测性能，MRR提升5-30点，证明其作为可扩展替代方案的潜力。
作者：Manuel Dileo, Pasquale Minervini, Matteo Zignani, Sabrina Gaito
所属机构：意大利米兰大学计算机科学系，地址：Via Celoria, 18, 20133, 米兰
摘要
张量分解长期以来一直是知识图谱（KG）推理的基石，在静态链接预测任务中取得了先进的性能，例如使用ComplEx模型。尽管这些方法在KG推理中非常有效且可扩展，但它们在时间知识图谱（TKG）预测方面的应用却相对较少。时间知识图谱预测是指根据历史事实（以四元组的形式表示）来预测未来未见的时间戳中的链接。最近的研究主要集中在深度架构上，如循环神经网络、图神经网络或Transformer，这些方法虽然准确性很高，但在训练和推理时计算成本较高。在这项工作中，我们重新审视了张量分解在TKG预测中的应用，并探讨了如果经过精心设计和调整，这些轻量级模型是否能够与深度学习架构相媲美。基于TNTComplEx，我们提出了一个扩展的模型，该模型结合了径向基函数（RBF）时间戳编码器来生成未见时间戳的嵌入，并引入了时间正则化器以确保嵌入空间的平滑性。我们对张量分解方法在TKG预测中的性能进行了广泛的评估，使用了文献中最常见的五个数据集作为基准。我们的结果表明，张量分解模型可以达到与最先进的深度学习模型相当甚至更高的性能，同时在训练和推理时间上更加高效。此外，我们的方法相比之前的基线模型在MRR（平均互反排名）上提高了5到30个百分点。这些发现表明张量分解是一种可扩展且计算上具有吸引力的时间知识图谱预测替代方案，为实体和关系的归纳推理提供了进一步发展的动力。
引言
知识图谱（KG）[1]为表示结构化知识提供了一种强大的抽象方式，其中信息被编码为三元组或事实。这种形式在生物信息学[2]、推荐系统[5]、语言学[6]和工业应用[7]等不同领域变得越来越重要。在许多情况下，知识本质上是具有时间性的：社交互动、金融交易、地缘政治事件和生物医学现象都在不断演变。这激发了对时间知识图谱（TKG）的研究，其中每个事实都包含时间维度，形成形式为的四元组，其中表示关系的时间戳。近年来，对TKG的推理受到了越来越多的关注。其中一个核心任务是时间知识图谱预测，即基于历史观察数据来预测未来时间戳下的缺失链接[8]、[9]。这个问题在实践上非常重要——因为它涉及到预测社交、政治和生物医学领域中的事件——同时在方法上也具有挑战性，因为它要求模型不仅要捕捉关系模式，还要捕捉时间动态。最近的研究采用了越来越复杂的架构，包括循环网络[10]、时间图神经网络[11]和图Transformer[12]。虽然这些方法具有很高的预测准确性，但它们通常伴随着较高的计算和内存成本，限制了它们对大型或高频时间数据集的处理能力。
在基于循环神经网络、图神经网络和Transformer的深度学习架构兴起之前，大量的KG推理研究主要集中在张量分解和基于嵌入的方法[13]上。经典方法如ComplEx[14]及其时间扩展[15]证明了可以使用可学习参数的查找矩阵和线性评分函数在共享嵌入空间中高效表示实体、关系和时间戳，从而实现可扩展的推理并保持竞争力[16]。尽管这些模型简单，但它们在静态KG推理中仍然具有竞争力[13]、[14]、[17]。然而，在时间KG推理中，这些方法是为时间知识库补全设计的，即重建历史数据中的缺失事实，而不是用于预测未来未见的时间戳。因此，它们在预测任务中的潜力相对较少被探索，之前的研究往往显示其结果不如深度学习方法。这提出了一个开放性问题：如果张量分解方法被设计为能够处理未见的时间戳，并经过仔细训练和调整，它们是否能够在保持效率优势的同时，在TKG预测中达到最先进的性能？
在这项工作中，我们重新审视了张量分解在时间知识图谱预测中的应用。在基于纯张量分解的最有前景的方法TNTComplEx[18]的基础上，我们提出了一个扩展模型，该模型结合了(i)基于径向基函数（RBF）网络的时间戳编码器，即使对于未见的时间戳也能生成有意义的嵌入，以及(ii)时间正则化器，以确保时间嵌入空间的平滑性和一致性。
我们在五个广泛使用的时间知识图谱基准测试数据集上进行了广泛的实证评估：ICEWS14和ICEWS18[9]（整合危机预警系统数据集的子集，用于捕获政治事件）；YAGO和WIKI（包含时间注释的知识库[8]）；以及GDELT（大规模全球事件数据集[20]）。我们的结果表明，经过适当训练和调整的张量分解模型在平均互反排名（MRR）方面的性能可以与最先进的GNN和RNN基础架构相媲美甚至更好，同时在训练和推理时间上显著更高效。此外，我们的张量分解模型相比之前的基线模型在MRR上提高了5到30个百分点。这些发现表明张量分解是一种可扩展且计算上具有吸引力的时间知识图谱预测替代方案，为实体和关系的归纳推理提供了进一步发展的动力。
主要贡献
- 模型设计。我们提出了一个针对时间知识图谱预测的TNTComplEx扩展模型，该模型结合了基于RBF网络的可学习时间戳编码器和时间正则化器，以生成观察到的和未见时间戳的稳健嵌入。
- 全面的基准测试和深入分析。我们提供了迄今为止最全面的时间知识图谱预测方法评估，与最先进的深度学习架构进行了比较。我们的结果显著提高了之前报告的因子化方法的性能，并强调了它们的计算优势。基准测试还包括对我们模型的系统分析，涵盖了消融研究、超参数敏感性、训练和推理时间以及内存占用等方面的分析，从而阐明了张量分解在时间推理中的实际权衡。
问题定义
时间知识图谱（TKG）可以定义为一系列有序的时间戳知识图谱快照。每个快照代表了在某个离散时间步骤下的知识图谱状态，其中是实体集，是关系集，表示在指定时间戳观察到的带时间戳的事实三元组（或四元组）。每个事实由一个主体实体、一个关系、一个对象实体和一个时间戳组成。例如，四元组捕获了一个时间事实。
方法论
本节提出了一个用于时间知识图谱表示学习的框架，以解决使用张量分解方法进行链接预测的任务[15]。给定一个TKG，我们学习实体、关系和时间戳的表示以及一个评分函数，使得真实的四元组获得高分。因此，给定，可以通过优化适当的成本函数来学习嵌入和评分函数的参数。与[15]中的方法类似，我们针对每个训练元组最小化...
实验设置
我们的实验遵循Gastinger等人[9]引入的评估协议和数据集版本进行，这些协议专门为解决时间知识图谱预测中的可重复性和可比性问题而设计。特别是，该协议强制使用一致的过滤设置，明确区分单步和多步预测场景，采用标准化的数据集分割，并避免从验证数据到测试数据的信息泄露。
结论
在这项工作中，我们研究了张量分解方法在时间知识图谱预测中的应用。尽管这些方法简单且轻量级，但在TKG文献中常常被忽视。我们提出了一个基于TNTComplEx的模型，该模型增强了基于RBF的时间戳编码器和时间正则化器，用于生成观察到的和未来查询的有意义的时间嵌入。我们通过...
CRediT作者贡献声明
Manuel Dileo：撰写——审稿与编辑、原始草稿撰写、可视化、软件开发、资源管理、方法论设计、调查、数据整理、概念化。
Pasquale Minervini：软件开发、方法论设计。
Matteo Zignani：撰写——审稿与编辑、可视化、软件开发、方法论设计。
Sabrina Gaito：概念化设计。
声明潜在的利益冲突
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
Pasquale Minervini与Miniml.ai有合作关系，包括董事会成员身份。如果还有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。
致谢
本工作部分得到了意大利大学和研究部（MUR）以及欧盟NextGenerationEU的支持，该项目属于国家RNA技术基因治疗和药物中心（项目编号CN 00000041），由NextGeneration EU计划资助。
Manuel Dileo在米兰大学获得了计算机科学博士学位，他在Connets实验室工作，研究方向是网络科学与图机器学习的交叉领域，特别关注时间和异构图推理。他曾作为访问研究员在爱丁堡大学从事时间知识图谱推理的研究，目前是米兰大学的兼职教授。
