基于蒸馏条件扩散和光谱增强层次融合的多行为推荐算法

《Neurocomputing》：Distillation conditional diffusion with spectral-enhanced hierarchical fusion for multi-behavior recommendation

多行为推荐通过整合用户多样化交互提升预测精度，但存在语义鸿沟和不稳定波动问题。本文提出DCDRec框架，包含RRC-GCN模块通过目标引导注意力 mask 和扩散蒸馏增强嵌入鲁棒性，以及SHF模块利用谱增强层次融合捕捉多行为交互关系。在三个真实数据集上验证，H@10和N@10指标分别提升5.44%和9.19%。

　　

朱晓飞|潘山

重庆理工大学计算机科学与工程学院，中国重庆400054

摘要

多行为推荐旨在通过利用多样化的用户交互来提高预测准确性，其核心挑战在于有效建模行为之间的复杂关系。现有方法往往难以解决两个关键问题：辅助行为与目标行为之间的语义差距，以及由噪声交互引起的辅助行为内的不稳定波动。为此，我们提出了DCDRec，这是一个基于鲁棒残差级联图卷积网络（RRC-GCN）和光谱增强层次融合模块（SHF）的新框架。RRC-GCN通过目标引导的注意力掩码和条件扩散（DCDiff）来抑制辅助行为中的噪声并增强嵌入的鲁棒性。SHF通过层次结构整合多行为嵌入，以捕捉行为间的相关性和语义互补性。在三个真实世界数据集上的实验表明，DCDRec显著优于现有基线方法，证明了其在学习多行为推荐的鲁棒和语义丰富表示方面的有效性。我们的源代码可在以下链接获取：https://github.com/SPeng996/DCDRec。

引言

多行为推荐系统（MBR）已成为一个重要的研究方向，在现代电子商务和社交媒体平台中发挥着关键作用[1]、[7]、[29]、[33]、[34]，旨在通过利用用户的多样化交互类型来提高推荐准确性。MBR的核心挑战在于如何有效建模多种行为之间的复杂关系和依赖性。为了解决这一挑战，提出了各种基于深度学习的方法。例如，一些研究使用图卷积网络（GCNs）[2]、[8]、[12]、[13]、[15]来捕捉不同行为之间的高阶用户-物品相关性，而其他研究则探索基于Transformer的架构[26]、[29]来有效利用多行为交互进行推荐。尽管这些方法表现出了良好的性能，但它们通常侧重于独立建模每种行为或简单地聚合多行为交互，这可能限制了它们完全捕捉不同类型用户行为之间的丰富和层次化关系的能力。

近年来，大量研究致力于建模多种用户行为之间的复杂关系。一种方法是强调并行范式[17]、[32]，将多样化行为视为独立的信息源来捕捉特定行为模式。MB-HGCN[32]构建了一个统一的图来捕捉全局用户-物品关系，同时利用特定行为图来建模不同的行为信号。Mule[17]进一步扩展了这一想法，引入了一个多粒度图学习框架，以在多个层次上捕捉行为关系。它强调了辅助行为与目标行为之间的互补性，以便更好地区分潜在和确认的用户意图。另一种方法是关注级联范式，试图明确捕捉用户行为的自然级联顺序（例如，查看$$ 购物）。CRGCN[31]和MB-CGCN[2]考虑了行为链中的行为依赖性，并利用级联图卷积网络来学习用户和物品嵌入。COPF[34]将多行为融合表述为一个组合优化问题，在每个行为的各个阶段应用不同的约束来限制解空间。CMC-GCN[33]引入了一个新颖的多粒度级联图卷积网络，通过联合建模用户-物品交互图及其对应的超图来捕捉细粒度和粗粒度关系。

然而，现有方法仍然面临两个关键挑战：(1) 辅助行为与目标行为之间的语义差异。辅助行为和目标行为之间往往存在显著的语义差异。大多数现有方法要么将辅助行为视为增强目标行为学习的补充信号，要么采用多任务学习[30]、[35]来分别预测它们。然而，这些策略未能明确建模不同辅助行为模式对目标行为的细粒度影响。例如，仅查看物品的用户可能与既查看又购买物品的用户有不同的偏好。尽管Mule[17]模型了辅助行为与目标行为之间的多方面关系以捕捉更丰富的语义，但它缺乏有效引导目标行为学习的机制，导致语义传递有限。(2) 辅助行为内的不稳定波动辅助行为在其表示中经常表现出不稳定波动，这是由于短期、零星或信息量少的交互造成的。现有方法通常使用全局图结构或简单的注意力机制来融合辅助行为嵌入，但它们既不抑制这些不稳定成分，也不强调与转化相关的稳定语义模式。因此，噪声嵌入信号被无差别地传播，掩盖了有意义的转化线索，最终降低了推荐性能。

为了解决上述挑战，我们提出了一种新的基于蒸馏条件扩散和光谱增强层次融合的方法，称为DCDRec，用于多行为推荐。具体来说，DCDRec由两个关键模块组成，即鲁棒残差级联图卷积网络（RRC-GCN）和光谱增强层次融合（SHF）。为了解决行为之间的语义差异，RRC-GCN首先将辅助交互分为转化行为和未转化行为。转化行为是指导致目标行为的交互（例如，查看产品后购买它），通常包含与目标行为相关的信息信号。相比之下，未转化行为是指不会导致转化的交互（例如，查看产品但未随后购买），可能包含与目标行为相关的有用交互和无关的噪声交互。为了减轻未转化行为中的噪声信息，RRC-GCN引入了目标引导的注意力掩码图卷积网络（TamGCN），该网络能够适应性地强调最有信息量的交互，同时抑制辅助行为中的噪声或不太相关的交互。在此基础上，它开发了一个蒸馏条件扩散（DCDiff）模块，以增强每个辅助行为学习到的嵌入的鲁棒性和表达能力。DCDiff利用从去噪未转化行为中学到的信息作为条件信号来指导扩散过程，然后将生成的输出与转化行为中观察到的模式对齐。为了处理辅助行为内的不稳定波动，SHF提出使用光谱增强层次融合结构来整合多行为嵌入，该结构共同捕捉多行为嵌入之间的层次相关性、语义互补性和光谱动态。在三个真实世界数据集上的实验结果表明了我们提出方法的有效性。

总之，我们工作的主要贡献如下：

•

我们提出了一个新颖的DCDRec框架，以解决多行为推荐中的两个关键挑战，包括辅助行为与目标行为之间的语义差距以及辅助行为内的不稳定波动。

•

我们设计了一个鲁棒残差级联图卷积网络（RRC-GCN），通过引入目标引导的注意力掩码图卷积网络（TamGCN），该网络能够适应性地强调信息量大的交互并抑制辅助行为中的噪声。此外，我们开发了一个蒸馏条件扩散（DCDiff）模块，该模块利用去噪的未转化行为作为条件信号来指导扩散过程，并将生成的输出与转化行为对齐。

•

我们提出了一个光谱增强层次融合（SHF）模块来处理辅助行为内的不稳定波动。该模块采用光谱增强层次融合架构来共同捕捉多行为嵌入之间的层次相关性、语义互补性和光谱动态。

•

我们在三个数据集上对我们的方法进行了全面的实验评估，包括淘宝、天猫和Jdata。与这些数据集中最具竞争力的基线方法相比，所提出的方法在H@10指标上提高了5.44%，在N@10指标上提高了9.19%。

部分摘录

多行为推荐

多行为推荐方法旨在利用用户的多样化交互数据来缓解目标行为的数据稀疏问题，近年来受到了广泛关注。早期的多行为推荐方法扩展了传统的矩阵分解方法以适应多行为数据[16]、[24]、[25]。此外，一些方法使用辅助行为信号开发了新的采样策略[4]、[6]，但这些丰富的行为信息并未被充分利用

问题定义

设$$和$$分别表示用户和物品的集合，$$和$$表示用户和物品的数量。$$是行为集合，$$表示目标行为（即$$）。行为$$上的用户-物品图由$$表示，$$表示与行为$$对应的边集。$$是用户-物品交互矩阵，其中$$为1表示$$；否则为0。设$$和$$分别表示$$及其对应的对称归一化矩阵，定义如下：

方法

在本节中，我们介绍了用于多行为推荐的蒸馏条件扩散与光谱增强层次融合方法，该方法包括两部分：(1) 鲁棒残差级联图卷积网络（RRC-GCN）；(2) 光谱增强层次融合模块（SHF）。图1展示了所提出框架的总体架构。

数据集

我们的实验是在三个公开可用的真实世界基准数据集上进行的，包括淘宝、天猫和Jdata。每个数据集的详细统计信息显示在表1中，每个辅助行为的百分比量化了从辅助行为到目标行为的转化率（例如，查看$$ 购买）。

淘宝¹来源于中国最广泛使用的在线购物平台淘宝的真实世界交互日志。它包含15,449

结论

在这项工作中，我们提出了一种名为蒸馏条件扩散与光谱增强层次融合（DCDRec）的新模型，用于多行为推荐。为了解决行为之间的语义差异，DCDRec引入了鲁棒残差级联图卷积网络（RRC-GCN）来有效建模多样化和相互关联的交互及其不同的转化影响。具体来说，它利用目标引导的注意力掩码机制来修剪冗余结构

CRediT作者贡献声明

朱晓飞：撰写——审稿与编辑、监督、项目管理、资金获取、概念化。潘山：撰写——原始草稿、可视化、验证、软件、方法论、数据策划、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作得到了中国国家自然科学基金（62472059）、重庆市科技创新关键研发计划（CSTB2024TIAD-STX0027）、重庆市人才计划项目（CSTC2024YCJH-BGZXM0022）以及教育部网络空间大数据智能安全重点实验室开放研究基金（CBDIS202403）的支持。

朱晓飞教授是重庆理工大学计算机科学与工程学院的教授。他于2012年在中国科学院计算技术研究所获得博士学位。随后，他在汉诺威莱布尼茨大学L3S研究中心担任了四年的博士后研究员。他的研究兴趣包括网络搜索、数据挖掘和机器学习，并在国际期刊上发表了30多篇论文