超越电子商务中的流行偏见：通过因果干预将协作知识与大型语言模型相结合，以实现更可靠的推荐系统

《Decision Support Systems》：Beyond popularity bias in e-commerce: Aligning collaborative knowledge with large language models via causal intervention for robust recommendations

推荐系统常受流行偏差影响，导致推荐同质化。本文提出CLD-Rec框架，通过因果推理消除数据偏见后，结合LLM的语义理解能力生成个性化推荐，在多领域数据集上验证其公平性和多样性优势。

　　

向志辰|吴立康|郭艳红

天津大学管理与经济学院，天津，300072，中国

摘要

推荐系统在个性化电子商务平台用户体验方面起着关键作用。然而，它们常常存在固有偏见，例如流行度偏见。流行度偏见指的是推荐系统倾向于偏好那些被过度推荐的物品，导致推荐结果同质化，从而限制了多样性，无法满足具有独特或较少常见偏好的用户需求。尽管大型语言模型（LLMs）通过语义理解有望提高推荐质量，但它们仍受偏见数据和合作知识不足的困扰。为了解决这些问题，我们提出了基于因果增强的LLM的去偏推荐系统（CLD-Rec），这是一种结合因果推理和LLMs的新框架，旨在减少偏见并提高推荐系统的鲁棒性。在第一阶段，因果推理识别并消除用户-物品交互中的偏见（如流行度偏见），从而生成去偏的合作知识。在第二阶段，将这些知识与LLMs结合；利用LLMs强大的语言理解能力，系统生成的推荐不仅符合用户偏好，而且确保了公平性。实验结果表明，CLD-Rec在包括游戏、玩具和体育在内的多个数据集上均显著优于现有模型。此外，CLD-Rec通过有效减轻流行度偏见，展示了更出色的公平性，从而提供了更加平衡和多样的推荐结果。

引言

推荐系统是针对从电子商务市场到数字媒体服务等广泛领域个性化用户体验的重要工具[1]、[2]。这些系统通过根据用户的偏好和行为推荐相关内容，帮助用户浏览海量信息。然而，推荐系统中的一个主要挑战是训练数据中存在的偏见[3]。一种常见的偏见是流行度偏见，即频繁交互的物品在用户-物品交互中被过度推荐。这种过度推荐导致系统主要向用户推荐热门物品，往往忽略了可能更相关或更有趣的冷门物品[4]。这种偏见不仅限制了推荐的多样性，还削弱了系统满足所有用户多样化需求的能力，尤其是那些具有独特或多样偏好的用户。

流行度偏见在推荐系统中的严重影响已在多个行业中得到广泛观察，通常会导致明显的商业和伦理后果。例如，Spotify 2023年的透明度报告显示[1]，个性化播放列表中超过60%的推荐曲目来自流量最高的5%的艺术家，无意中边缘化了新兴音乐家，并使音乐类型多样性减少了32%[4]。这种同质化效应直接与用户流失率相关——麦肯锡对电子商务平台的分析表明，接触到重复推荐的用户比收到多样化建议的用户放弃率高出23%[5]。这些现实案例突显了迫切需要去偏解决方案。

近年来，将大型语言模型（LLMs）集成到推荐系统中受到了关注，LLMs在处理和理解非结构化数据（如用户评论和物品描述）方面展示了其潜力[6]。然而，尽管前景广阔，基于LLM的推荐系统仍面临若干挑战。在冷启动场景下，由于历史交互数据有限，LLMs难以做出准确预测[7]。在热启动场景下，尽管存在大量交互数据，但这些数据仍受流行度偏见的影响，基于LLM的推荐器仍可能放大这些偏见。此外，这些模型通常缺乏合作知识。合作知识是指从用户-物品交互中提取的潜在模式，它捕捉了用户的集体偏好和行为，对于生成个性化且与上下文相关的推荐至关重要[8]。例如，如果大量用户一致高度评价某一类型的电影（如动作片），系统可以识别出动作片在该群体中很受欢迎，即使并非每个用户都明确表达了对这类电影的偏好。

此外，推荐系统的同质性也是一个关键问题，尤其是在大型模型的背景下。当推荐结果缺乏多样性时，这种现象尤为明显，这通常是由于顶级物品之间的高相似性和偏见放大造成的。如图1所示，代表性的基于LLM的方法TallRec[9]和传统的协同过滤方法SASRec[10]在电子商务的三个标准数据集（游戏、玩具和体育）中表现出不同程度的同质性[11]。具体来说，图1(a)和(b)显示，TallRec倾向于生成文本相似度较高、类别熵较低的推荐——表明同质性较高，而SASRec则提供了更多样化的推荐。这种同质性问题可能导致相似物品或类别的过度推荐，降低了根据用户不同兴趣定制推荐结果的多样性。我们提出的方法中引入的因果推理有助于减少流行度偏见的影响，并结合多样化的合作知识，从而生成更加个性化和多样化的推荐。

尽管LLMs在语义理解和跨领域知识转移方面表现出色，但其应用面临两个根本限制。首先，LLMs会放大训练数据中存在的偏见，特别是流行度偏见，因为它们倾向于强化那些被过度推荐的物品的模式。这导致推荐结果同质化，忽视了小众偏好，降低了用户满意度和平台的公平性。其次，LLMs难以整合来自用户-物品交互的合作知识，尤其是在历史交互数据存在偏见的热启动场景中。传统的去偏方法（如逆概率评分或基于正则化的方法）往往与语义推理分离操作，导致公平性和推荐质量之间的权衡不佳。现有的混合框架要么缺乏因果推理来分离偏见效应，要么无法将去偏后的合作知识与LLM的token空间对齐。这些差距需要一种统一的方法，将因果去偏与LLM驱动的语义理解相结合，以实现鲁棒、个性化和公平的推荐。

为了解决上述问题，我们提出了一种新方法：基于因果增强的LLM的去偏推荐系统（CLD-Rec）。该框架结合了因果推理和LLMs，以消除训练数据中的偏见并增强用于生成推荐的合作知识。CLD-Rec分为两个阶段。第一阶段应用因果推理技术来识别和消除用户-物品交互中的偏见（如流行度偏见），而第二阶段利用LLMs的强大语言理解能力生成基于去偏合作知识的推荐。通过结合因果推理和基于LLM的语言处理，CLD-Rec克服了传统推荐系统仅依赖协同过滤或文本数据的局限性。

因此，我们在本文中探讨的研究问题如下：

RQ1：因果推理技术如何有效分离和减轻基于LLM的推荐系统中的流行度偏见？

RQ2：如何将去偏后的合作知识与LLM的token空间对齐，以增强语义推荐生成？

RQ3：结合因果推理和LLMs的两阶段框架在多样化应用场景中能在多大程度上实现推荐系统的准确性和公平性之间的最佳平衡？

我们的方法代表了推荐系统发展的重大进展，不仅可以生成个性化和准确的推荐，还能确保公平性和多样性。具体来说，CLD-Rec带来了以下贡献：

• •
  1. 因果去偏：我们引入了一种因果推理方法来识别和减轻推荐系统中的偏见，特别是流行度偏见。这使得用户偏好的表示更加准确，确保推荐结果反映真实用户兴趣，而不是被过度推荐的热门物品所扭曲。
• •
  2. 合作知识的整合：通过将因果推理与协同过滤相结合，我们将用户-物品交互中获得的丰富知识与LLMs的语义理解能力结合起来。这增强了推荐过程，特别是在协同上下文对生成有意义建议至关重要的热启动场景中。
• •
  3. 个性化推荐的混合框架：CLD-Rec的两阶段框架提供了一种新颖的方法，无缝整合了因果去偏和基于LLM的推荐生成，从而在推荐准确性和公平性方面都取得了改进，特别是在用户偏好多样化的复杂领域中。

总结来说，CLD-Rec是一种开创性的方法，它弥合了因果推理和LLMs之间的差距。它提供了一个更加鲁棒、个性化和公平的推荐系统，能够减轻固有偏见，提高用户满意度。通过减少这些偏见，CLD-Rec确保用户接触到更广泛的产品，促进了更加多样化和包容性的电子商务市场。

相关工作

相关工作

我们的工作主要涉及两个研究领域：（1）推荐中的流行度偏见，（2）推荐中的因果推理，以及（3）基于LLM的推荐系统。

问题定义

在典型的电子商务平台推荐系统中，过程首先收集用户交互数据，例如Alice过去观看电影的行为。例如，如果Alice最近观看了《虎胆龙威》《疯狂的麦克斯》和《疾速追杀》，系统会分析她对快节奏惊悚片的偏好。基于此，系统可能会推荐一部新的动作片，如《碟中谍7》，或与其过去行为相符的类似类型电影。然而，类似的问题仍然存在

方法论

在本节中，我们展示了如图2所示的提出框架。CLD-Rec包括两个主要阶段：因果去偏阶段和LLM集成阶段。第一阶段使用因果推理技术识别并消除用户-物品交互中的偏见，而第二阶段利用大型语言模型执行基于去偏合作知识的推荐任务。

数据集

我们从著名电子商务平台Amazon的评论数据集中选择了三个不同的类别进行实验：游戏、玩具和体育[11]。选择这些数据集是因为它们的多样性，使我们能够测试CLD-Rec在不同消费者兴趣和行为下的鲁棒性和可扩展性。表1总结了展示数据集特征和交互稀疏性的关键统计数据：

• •
  游戏：该数据集包含用户对视频游戏的评论和评分。

讨论与结论

本文介绍了基于因果增强的LLM的去偏推荐系统（CLD-Rec），它结合了因果推理和LLMs来解决电子商务平台中的偏见问题，特别是流行度偏见。

提出的CLD-Rec代表了推荐系统研究的一个范式转变。通过结合因果推理和LLMs，它提供了比传统方法更强大和全面的解决方案。因果推理允许识别和减轻偏见，确保

CRediT作者贡献声明

赵宏科：撰写——原始草稿、方法论、概念化。向志辰：撰写——原始草稿、软件、方法论。吴立康：撰写——审阅与编辑、项目管理、资金获取、概念化。郭艳红：撰写——审阅与编辑、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本研究部分由国家自然科学基金（72471165、62502340）、京津冀自然科学基金合作项目（25JJJJC0045）、天津市自然科学基金（编号24JCQNJC01560）以及天津大学自主创新基金-社会影响项目（2025XSC-0048）资助。

赵宏科：赵宏科博士毕业于中国科学技术大学（USTC），现任天津大学管理与经济学院副教授。他的研究兴趣包括数据挖掘和算法管理。他在《决策支持系统》、《INFORMS计算杂志》、《IEEE知识与数据工程交易》等同行评审期刊和会议记录中发表了100多篇论文。