MaOEA-EHML：结合机器学习与进化计算实现多目标推荐系统

《Swarm and Evolutionary Computation》：MaOEA-EHML: Synergizing machine learning and evolutionary computation for many-objective recommendation

多目标优化推荐算法MaOEA-EHML通过机器学习辅助进化解决高维目标平衡问题，采用连续编码转换离散搜索空间，结合随机森林预测收敛方向和k-NN增强多样性，并利用大语言模型生成语义描述提升准确性。

　　

梁楚|叶天

中国合肥工业大学计算机科学与信息工程学院

摘要

推荐系统已成为解决信息过载问题的重要工具。传统的推荐系统通常只关注优化单一的准确性目标，这已无法满足实际应用的复杂需求。多样性、新颖性和偶然性等非准确性指标在推荐过程中同样重要。当需要同时优化四个或更多目标时，现有的多目标优化算法面临抗支配性和选择压力不足的挑战。在推荐场景中，项目选择空间的离散性使得在多目标推荐问题中有效平衡各种目标变得更加困难。为了解决这些问题，本文提出了一种基于机器学习辅助进化的多目标推荐算法MaOEA-EHML。实验结果表明，MaOEA-EHML在性能效果上优于现有算法。

引言

在信息爆炸的时代，推荐系统已成为解决信息过载问题的重要工具，有效帮助用户从海量信息中筛选出感兴趣的内容[1]、[2]。推荐系统的目标是通过提供最相关的建议来处理大量的用户-项目数据，从而节省用户搜索所需信息的时间和精力[3]、[4]。推荐系统的应用已经渗透到多个领域，如在线流媒体、电子商务和教育[5]、[6]、[7]。

传统的推荐系统通常只关注优化单一的准确性目标，但这种单目标优化方法已无法满足实际应用的复杂需求[8]。多样性和新颖性等非准确性指标在推荐过程中同样重要[9]。然而，在实现多个目标的同时优化时，这些目标之间会形成冲突，如何平衡这些冲突的目标成为一个挑战[10]。

许多研究人员在多目标推荐领域做出了贡献。Wang等人[11]提出了一种基于分解的多目标进化算法（MOEA）。Cui等人[12]引入了一种概率多目标进化算法。Jain等人[13]在提出的多目标推荐算法中加入了多父交叉机制NewCross，该机制保留了父基因的顺序和频率，以推荐流行和多样的项目。尽管上述算法取得了一定的成果，但在处理包含三个以上目标函数的多目标问题时，它们难以取得良好的性能。对于多目标问题，维数灾难和抗支配性现象已成为多目标优化的主要挑战[14]。在推荐系统中，项目选择的离散性加剧了这些挑战。

为了解决多目标场景中的维数灾难和选择压力不足的问题，Deb等人[15]提出了基于参考点的多目标进化算法（NSGA-III）。该算法遵循NSGA-II框架，专注于筛选非支配且接近指定参考点的种群成员，有效减轻了非支配解的选择压力。

Wang等人[16]提出了一种显著改进的双档案算法，用于解决多目标优化问题。Cai等人[17]设计了一种基于分区删除策略的多目标推荐算法，通过将种群划分为子分区并采用顺序删除策略，有效提高了算法的选择压力。

尽管现有算法在一定程度上缓解了多目标场景中的选择压力不足问题，但它们在应用于离散推荐问题时仅依赖随机进化操作符。在离散的项目选择空间中，由于搜索空间的非平滑性，机器学习模型无法直接学习有效的改进模式。为了增强智能收敛引导机制，本文提出了一种基于机器学习辅助进化的多目标推荐算法MaOEA-EHML。该算法利用历史搜索信息主动引导种群朝向帕累托前沿。本文的主要贡献如下：

• •
  本文提出了一种框架，将MOEA/D和PSO与连续偏好编码策略有机结合。与直接应用离散遗传操作符的现有方法不同，我们的框架将项目偏好编码为连续值，使得可以使用PSO的速度-位置动态，并为机器学习辅助引导创建一个平滑的搜索空间。MOEA/D的分解结构为平衡多个目标提供了搜索方向，而PSO提供了高效的搜索动态。这种设计将离散的推荐问题转化为适合智能引导的连续优化问题。
• •
  基于机器学习辅助进化，本文提出了收敛增强操作符（CEO）和多样性增强操作符（DEO）。与现有离散方法中使用的随机交叉和变异操作符不同，CEO和DEO利用连续编码创建的平滑搜索空间来学习有效的改进方向。CEO利用随机森林从历史轨迹预测收敛方向，而DEO使用k-NN识别并填补目标空间中的空白。这种智能引导机制在多目标推荐场景中的性能显著优于纯随机进化搜索。
• •
  在多目标进化的准确性评分阶段，本文利用大型语言模型（LLM）的强大能力，提出了一种结合协同信息的档案生成范式。通过大型语言模型获取用户和项目的文本描述作为档案，以减轻推荐模型表示中的噪声影响，有助于理解用户-项目交互偏好的语义信息，从而提高传统推荐模型的准确性分数。
• •
  在设计多样性和偶然性目标函数时，本文通过引入基于语义距离的多样性指标，与之前的设计方法有所不同。通过大型语言模型获得各种主题的语义表示，并计算主题对之间的相似性值，用于目标函数计算。

部分摘录

推荐系统

推荐系统是信息过滤技术的重要应用，旨在根据历史行为数据预测用户兴趣偏好，并提供个性化内容或服务[18]、[19]、[20]。如今，推荐系统受到了学术界的广泛关注，已成为互联网应用不可或缺的组成部分[21]、[22]。

根据不同的推荐机制，传统的推荐方法主要分为

提出的MaOEA-EHML

本节将详细描述多目标推荐算法MaOEA-EHML的框架。框架图如图1所示，MaOEA-EHML的伪代码在算法1中给出。算法1描述了MaOEA-EHML的整体流程。算法首先使用LightGCN-LLMs生成候选集（第1行），并初始化种群（第2行）。主要的进化循环在第4-21行，其中第6-11行确定是否应用CEO

数据集

我们使用两个著名且免费可用的数据集Movielens100K和Movielens1M来评估所提算法的性能和效果。数据集被分为训练集和测试集，其中80%用于训练集，剩余20%用于测试集。

评估指标

为了评估推荐列表的质量，我们采用了方程（13）中定义的准确性指标来评估准确性，采用方程（2）中定义的新颖性指标来评估新颖性，以及

对所提算法的讨论

根据实验结果，MaOEA-EHML在多目标优化指标上表现出色。这一优势主要归功于连续决策空间的编码，为机器学习模块提供了扎实的学习基础。通过将推荐列表选择问题转化为连续偏好值优化问题，本文使搜索空间更加平滑，使得CEO和DEO能够有效地学习

结论

本文通过提出一种名为MaOEA-EHML的机器学习辅助进化多目标推荐算法，解决了多目标推荐问题。设计的收敛增强操作符（CEO）利用随机森林模型从历史进化轨迹中学习收敛方向，从而有针对性地改进较差的解决方案。多样性增强操作符（DEO）利用k-NN模型识别并填补目标空间中的空白。

CRediT作者贡献声明

梁楚：撰写——审阅与编辑，撰写——原始草稿，验证，软件，方法论，数据整理，概念化。叶天：撰写——审阅与编辑，监督，方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

梁楚目前在中国合肥工业大学计算机科学与信息工程学院攻读博士学位。他的研究兴趣包括多目标优化、推荐系统、机器学习、大型语言模型和进化计算。他是《信息处理与管理》、《专家系统与应用》、《集群计算》、《进化智能》和《期刊》等期刊的审稿人。