《Decision Support Systems》：Modeling evolving user interests and engagement on short video sharing platforms: An attention-based deep generative approach
编辑推荐：
短视频平台用户兴趣与参与状态建模研究提出动态兴趣与参与模型（DIEM），基于S-O-R理论框架，融合因果Transformer与双向自注意力机制，有效捕捉用户快速兴趣演变与复杂参与状态动态。实验表明该模型在Kuaishou数据集上显著优于基线方法。
Jinnan Huang|Jiapeng Liu|Zice Ru|Xiuwu Liao
西安交通大学管理学院智能决策与机器学习中心，中国陕西省西安市710049
摘要
短视频分享平台（SVSPs）的兴起从根本上改变了在线内容消费方式。然而，用户在SVSPs上观看短视频的独特行为特征，包括快速兴趣演变中的细微时间依赖性、复杂的参与状态动态以及异构的用户-内容属性，给理解用户行为带来了重大挑战。为了解决这些问题，我们提出了一种动态兴趣与参与模型（DIEM），该模型基于刺激-有机体-反应（S-O-R）理论框架，采用注意力机制进行深度生成。与传统推荐模型不同，DIEM通过生成式潜在参与过程来模拟用户与内容之间的互动，这一过程由因果Transformer编码器和双向自注意力 amortized 推理网络参数化。通过在编码器中引入因果时间结构，并利用双向上下文信息进行参与状态的后验推理，这些架构超越了现有的序列模型，有效实现了S-O-R框架中的“有机体”组成部分。我们在Kuaishou平台的大规模KuaiRand-1K数据集上评估了该模型。实验结果表明，DIEM在多个评估指标上显著优于现有基线模型，同时提供了关于时间兴趣演变和个人化注意力模式的可解释性见解。这项研究在理论理解和实际应用方面都取得了进展，有助于优化SVSPs上的内容推送和提升用户体验。
引言
像TikTok、YouTube Shorts和Instagram Reels这样的短视频分享平台（SVSPs）迅速扩展了在线内容消费市场，到2023年底其全球市场规模已达15.2亿美元[1]。仅TikTok就拥有超过15亿用户[2]，日均上传量达3400万[3]，这种爆炸性增长从根本上改变了数字内容消费模式。为了抓住这些商业机会，需要创新方法深入挖掘复杂消费者数据，以洞察内容消费兴趣和行为动态，从而帮助平台管理者优化管理和内容推广策略。
在SVSPs上，内容消费的特点是通过无限滚动快速、顺序地与短视频互动，形成了与传统媒体不同的碎片化环境。这些独特的动态模式对行为理解提出了重大挑战，并凸显了三个主要的研究空白：首先，用户在短视频上的消费行为具有高度动态性，并表现出细微的时间依赖性。在单次会话中，一系列短视频可能导致用户兴趣在短时间内发生快速变化。观看视频的顺序和互动之间的时间间隔共同塑造了参与模式[4]。然而，现有模型通常采用较粗的时间粒度，忽略了互动之间的时间间隔[5][6][7]，这限制了它们捕捉时间依赖性如何共同影响短视频消费兴趣演变的能力。其次，这些兴趣的快速变化通过复杂的用户参与状态动态表现出来。参与状态沿着内容流不断演变，主要体现在观看时间等隐性反馈信号中[8][9]。以往的研究往往将观看时间视为预测标签[10]或兴趣强度的简单指标[9]，但这些方法难以揭示特定内容特征如何触发不同的参与水平，同时也经常忽视了观看反馈信号中的偏态分布和异常值。第三，有效捕捉时间动态和参与状态需要统一表示异构的用户和内容属性。对这些现象的建模需要在一致的框架内整合离散特征（如视频标签）和连续特征（如视频点赞数），以捕捉它们之间的相互依赖性和用户特定相关性[11]。然而，现有的推荐方法[12][13]通常对这些特征进行统一处理，缺乏表示个性化兴趣模式的能力。
刺激-有机体-反应（S-O-R）框架[14]将数字用户行为视为一个过程，其中环境刺激塑造内在心理状态（“有机体”），进而驱动可观察到的反应。这一框架对于SVSPs尤其相关，因为算法推荐不断呈现个性化内容，从而形成动态的S-O-R反馈循环。通过深度生成建模实现“有机体”组成部分，我们旨在捕捉快速顺序内容消费背后的复杂心理过程。
受S-O-R理论框架的启发，我们提出了一种动态兴趣与参与模型（DIEM），该模型明确模拟了用户在SVSPs上顺序消费内容时的内在心理过程的潜在参与状态。具体而言，我们的方法首先构建了一个表示模块，通过嵌入层和自注意力机制处理异构的用户和视频特征。随后，一个基于因果Transformer编码器的上下文感知兴趣建模模块捕捉时间动态。接着，一个深度生成参与状态建模模块通过基于双向自注意力机制的 amortized 推理网络从上下文表示和观察到的用户反馈中学习高维连续潜在参与状态。最后，一个预测模块将上下文表示与潜在状态融合，以生成下一个推荐。我们的方法在一个统一的框架内整合了异构的用户和内容属性，以模拟算法刺激、潜在参与状态和短视频消费场景中的行为结果之间的复杂互动。我们在Kuaishou SVSP的真实世界数据集上评估了该模型，并在多个评估指标上证明了其优于现有基线方法的性能，从而验证了深度生成方法在参与状态建模中的有效性。
我们的研究在三个相互关联的领域为SVSPs的决策支持做出了贡献。在理论层面，我们通过提供基于深度生成建模的潜在参与状态建模方法，推进了S-O-R框架的应用。这实现了现有研究将“有机体”组成部分视为可观察指标[15]或简化离散状态[16]的做法。我们的方法通过将参与表示为随内容曝光动态演变的连续潜在变量，扩展了对用户-平台互动的当前理解。在此基础上，我们通过生成式潜在参与过程扩展了信息系统和市场营销中的传统用户-内容表示模型。DIEM引入了一个因果Transformer编码器，该编码器在尊重时间顺序约束的同时捕捉前向参与动态。该模型进一步结合了双向自注意力 amortized 推理网络进行后验推理。这种架构使DIEM区别于缺乏明确因果约束或双向后验估计的现有序列模型。生成式框架使得视频互动序列和时间间隔的同时建模成为可能。为了支持这一参与建模框架，我们解决了异构属性统一表示的需求。我们的表示学习方法在一个一致的框架内整合了离散分类特征和连续数值特征，捕捉了特征类型之间的相互依赖性和用户特定的相关性[11]。此外，我们的方法为内容平台提供了输入表示，用于参与状态建模组件。
本文的其余部分组织如下：第2节回顾了S-O-R框架的理论基础和用户兴趣与参与建模的方法论进展。第3节介绍了DIEM架构，包括问题描述、表示学习模块、时间兴趣建模、参与状态建模、下一项预测和训练目标。第4节展示了在KuaiRand-1K数据集上的实证分析，包括数据描述、可解释性分析、S-O-R框架中介分析和与基线及消融模型的比较评估。最后，第5节讨论了主要发现及其对内容平台的理论贡献和实际意义，并总结了研究的局限性和未来研究的方向。
章节片段
理论基础：刺激-有机体-反应框架
刺激-有机体-反应（S-O-R）框架通过引入内在心理过程，扩展了经典的刺激-反应（S-R）模型。基于行为主义心理学的经典S-R模型认为，环境刺激直接触发行为反应，而没有考虑内部认知和情感状态。Mehrabian和Russell[14]引入的“有机体”组成部分承认了这些内在心理状态的中介作用。
模型开发
本节介绍了我们在SVSPs上顺序点击行为中的端到端动态兴趣与参与模型（DIEM）。如图1所示，DIEM包含四个组成部分：（1）统一的用户/视频表示模块；（2）基于因果Transformer的上下文感知兴趣建模模块；（3）带有 amortized 推理网络的深度生成参与状态建模模块；（4）将上下文表示与潜在状态融合的下一项预测模块。
数据集
我们在KuaRand-1K数据集[46]上进行实验，该数据集是来自Kuaishou SVSP的公开用户-视频互动日志集。该数据集包含1000名用户的互动记录，涉及437万条视频，包括1170万次互动，涵盖了包括30个用户属性和62个视频属性在内的全面用户和项目特征（表2）。在确保数据质量后，我们过滤数据集，仅保留每用户至少有四次点击的用户。
讨论与结论
本研究提出了动态兴趣与参与模型（DIEM），这是一个基于理论的框架，用于理解用户在SVSPs上的行为。该模型基于刺激-有机体-反应框架，通过三项关键创新解决了快速顺序内容消费建模中的根本挑战：因果Transformer编码器用于捕捉细微的时间依赖性；连续潜在参与状态通过深度学习实现“有机体”组成部分。
CRediT作者贡献声明
Jinnan Huang：撰写——原始草稿、可视化、验证、软件开发、方法论设计、调查、形式分析、数据整理、概念化。Jiapeng Liu：撰写——审阅与编辑、监督、项目管理、方法论设计、概念化。Zice Ru：撰写——审阅与编辑、可视化、验证、方法论设计、概念化。Xiuwu Liao：撰写——审阅与编辑、监督、资源协调、项目管理、资金筹集。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
Jinnan Huang目前是西安交通大学管理学院智能决策与机器学习中心的博士候选人。他拥有中国电子科技大学的金融和计算机科学学士学位。他的研究兴趣包括概率机器学习、深度学习和用户行为。
