利用负面知识进行对抗性对比学习，以优化兴趣点序列的识别

《Neural Networks》：Adversarial contrastive with leveraging negative knowledge for point of interest sequence learning

本文提出ACLNK模型，通过对抗生成长期用户偏好表示、负样本知识提取注意力机制和对比学习模块，有效解决POI序列学习中的多任务泛化不足及负样本利用问题，实验表明其优于现有SOTA模型。

　　

Jinhui Zhu|Xiangfeng Luo|Xiao Wei|Xin Yao

上海大学计算机工程与科学学院，中国上海

摘要

挖掘兴趣点（POI）数据的核心是学习用户偏好表示。然而，现有的POI序列学习方法通常以端到端的方式服务于下游任务，缺乏支持多种下游任务的能力，导致泛化效果不佳且性能较差。此外，尽管POI序列学习使用对比学习来学习正样本和负样本中的用户偏好特征，但它们未能同时考虑负样本中包含的有用信息。为了提高POI序列学习方法在各种下游任务中的泛化和性能，我们提出了一个利用负知识的对抗性对比模型（ACLNK）。首先，我们设计了一个对抗性泛化表示模块来捕捉用户的长期偏好，生成包含用户社交圈的泛化用户历史表示。其次，为了从有限的输入序列中捕捉全面的短期偏好，我们设计了一个负样本知识提取注意力机制来吸收负数据中的信息。最后，将学习到的短期和长期偏好作为对比模块的输入，以生成准确的用户泛化表示。我们在三个签到序列数据集上展示了ACLNK的有效性和通用性，用于两种类型的下游任务。广泛的实验表明，我们提出的模型显著优于之前的最先进模型。我们的代码可在以下链接获取：https://github.com/Lucas-Z9277/ACLNK_main。

引言

基于位置的社会网络服务已广泛融入人们的日常生活中，例如Gowalla、Foursquare和Dianping等（An等人，2024年；Li等人，2024a年；Sun等人，2024年）。用户可以使用移动应用程序签到并评论兴趣点（POI），从而生成大量的POI数据，这些数据形成了按时间线划分的访问兴趣点序列。许多研究围绕POI序列数据展开，例如下一个兴趣点推荐和轨迹-用户关联等下游任务（Ding等人，2023年；Gan和Ma，2023年；Zhang、Lai、Wang，2023a年；Zhang、Li、Ji，2023b年）。通过挖掘和建模POI序列数据，可以洞察用户偏好和固有的移动模式，随后使用特定于任务的模型来完成各种下游任务。

挖掘和建模POI序列数据的关键在于表示学习，以全面准确地表达上下文语义，从而提取全面准确的用户偏好和移动模式（Cui等人，2023年；Si等人，2023年；Wang等人，2022b年）。表示学习旨在提供强大的深度特征学习，能够在图像、视频、声音、文本和图形等各种数据模式下快速发展，甚至超越完全监督的预训练方法（Cole等人，2022年）。在POI序列领域，以往的研究主要从两个角度进行挖掘和建模：序列表示（Guo等人，2020年；He和McAuley，2016年；Zhao等人，2020年；Zhu等人，2017年）和图表示（Chen等人，2022b年；Qin等人，2023年；Wang等人，2022c年；Yang等人，2022年）。循环神经网络（RNN）方法在序列表示学习领域得到了广泛应用，因为它们能够处理用户行为序列的时间相关性和上下文关联。基于图的方法可以结合用户POI序列中的关系信息，增强对用户兴趣的理解和表示。最近，一些研究通过使用增强型潜在空间进行对比预训练来探索时空模式（Bae等人，2024年；Gong等人，2023年；Zhang等人，2025年）。然而，当前方法面临两个主要挑战。首先，这些端到端模型对POI序列数据的建模非常复杂，例如提出了不同的转换关系来描述用户移动行为，但这些端到端模型高度专门化于单一任务，缺乏支持多种下游任务所需的灵活模块化表示，导致泛化效果不佳（见图1（a））。其次，这些方法没有考虑负样本中存在的正面知识，也没有适应性地提取和利用这些正面知识，使得维持序列的宏观时空特征变得困难。

为了克服这些挑战，我们提出了一个利用负知识的对抗性对比模型（ACLNK）用于POI序列学习。ACLNK包含一个对抗性泛化表示模块来捕捉用户的长期偏好，并整合用户社交圈。此外，我们提出了一个负样本知识提取注意力机制，从有限的输入序列中捕捉短期偏好，通过吸收负数据中的信息。利用短期和长期偏好，我们的方法采用对比模块来捕捉用户移动偏好并保留序列中的宏观时空特征。所提出的ACLNK模型提高了POI序列表示的准确性，促进了各种下游任务的完成，并缓解了端到端方法中的泛化挑战。在两个下游任务——下一个POI推荐（NPR）和轨迹-用户关联（TUL）上的实验评估中，使用三个公开可用的POI数据集，强调了该模型的泛化能力。结果表明，该模型的性能显著优于现有的最先进模型。

• 受群体影响理论的启发，社交圈影响用户的长期偏好。我们提出了一个对抗性泛化表示模块，生成包含用户社交圈的泛化用户历史表示。
• 为了从有限的输入序列中捕捉全面的短期偏好，我们设计了一个负样本知识提取注意力机制来吸收负数据中的信息。
• 我们引入了一个对比学习模块来生成POI序列的准确表示，最大化短期和长期偏好之间的一致性。该模块解决了端到端方法中泛化不足的问题。
• 在三个POI序列数据集上的广泛实验表明，ACLNK的性能超过了之前的最先进模型，并展示了其有效的泛化能力。

相关工作

本节主要介绍相关研究，包括POI序列表示学习、从负样本中学习以及用于推荐的对比学习。

问题表述

在本节中，我们将详细阐述文章中的关键概念，然后定义所研究的问题。 定义1（POI序列）：用户在一定时间范围内访问地点，这些访问地点按时间顺序排序形成POI序列。设$U=\{u_1,u_2,··,u_i\}$$C=\{c_1,c_2,···c_j\}$$S=\{c_1,c_2,··,c_n\}$$c=<p,t$$S_u=\{c_1,c_2,··,c_n\}$$p=$c是用户集合，p是兴趣点

方法论

在本节中，我们介绍了所提出的利用负知识的对抗性对比模型（ACLNK）用于POI序列学习。如图2所示，ACLNK由三个部分组成：对抗性泛化表示模块、负样本知识提取注意力机制和对比模块。(a) 对抗性泛化表示模块：现有方法往往忽视了用户社交圈的重要性。

实验

在本节中，我们在三个公开可用的POI序列数据集上进行了实验，以验证模型的真实性和有效性。

结论

在本文中，我们提出了一个通用的POI序列表示学习模型ACLNK，用于POI序列的多种下游任务。与之前的方法不同，我们不是以端到端的方式处理下游任务。相反，我们使用一个通用的表示学习框架来挖掘用户在POI序列中的短期和长期偏好，并使用对比模块生成准确的用户泛化表示。具体来说，我们首先

伦理批准

本文从未同时提交给多个期刊进行评审。本文是原创的。

参与同意

作者在提交前已批准本文，包括作者的姓名和顺序。

CRediT作者贡献声明

Jinhui Zhu：撰写——原始草稿、软件、方法论、数据整理、概念化。Xiangfeng Luo：撰写——审稿与编辑、监督、项目管理、资金获取、概念化。Xiao Wei：撰写——审稿与编辑、监督、概念化。Xin Yao：可视化、调查。

利益冲突声明

在提交本手稿时不存在利益冲突，所有作者均已批准发表。我代表我的合作者声明，所描述的工作是原创研究，尚未在其他地方以全部或部分形式发表。所有列出的作者均已批准附上的手稿。

致谢

作者感谢编辑和匿名审稿人提供的详细和建设性的反馈，这些反馈有助于改进我们的论文。本工作得到了中国国家重点研发计划（2021YFC3300602）和中国国家自然科学基金创新研究群体科学基金（编号62421004）的支持。