基于遗传算法的两步优化方法在精确潜在因子分析中的应用

《IEEE Transactions on Neural Networks and Learning Systems》：Genetic Algorithm-Based Two-Step Optimization for Precise Latent Factor Analysis

　　

潜在因子分析（LFA）模型是从高维稀疏（HiDS）矩阵中提取有用信息的有效工具。然而，传统的LFA通常由于模型训练中使用的随机梯度下降（SGD）算法的限制而精度较低。首先，SGD的学习率是手动调整的，这极大地影响了训练效率。最近的一种解决方案是通过粒子群优化（PSO）算法来调整这个超参数。然而，由于PSO的收敛性较强，它无法很好地适应这个问题的动态决策空间。其次，SGD完全依赖于梯度信息来执行优化，从而降低了训练精度。为了解决上述两个问题，本文提出了一种新颖的LFA模型，称为基于遗传算法的两步LFA（GA-TSLFA），该模型利用GA来辅助模型训练。与PSO相比，GA具有更好的灵活性，可以用来在动态决策空间中调整LFA的超参数，并通过设计合适的进化算子来优化高维和复杂决策空间中的模型。所提出的GA-TSLFA的训练包括两个步骤：第一步，使用SGD对模型进行预训练，其学习率由所提出的GA自适应调整；第二步，使用所提出的基于GA的框架进一步完善SGD生成的LF矩阵。该框架通过优化一组部分向量来工作，这些向量是通过专门的策略选定的。通过这种方式，可以进一步提高模型的精度。在对基准数据集进行的实证研究表明，GA-TSLFA在预测精度上超越了现有的LFA模型，并且具有 competitiv 的效率。

在信息时代，两种类型对象之间产生了大量的交互数据。例如，在电子商务系统中[1][2][3]，数据是通过用户与商品之间的交互产生的；而在社交网络服务中[4][5][6]，数据则是通过用户与他们接触的内容之间的交互产生的。然而，随着对象数量的增加，只能可行地收集特定对象之间的交互数据，这导致了数据集的高度不完整，表现为高维稀疏（HiDS）矩阵[7][8][9]。在HiDS矩阵中，行和列分别代表相互交互的两种类型的对象，每个实体的值代表相应对象之间的交互量，其中大多数实体值是未知的。尽管存在大量未知实体，但从HiDS矩阵中仍可以挖掘出丰富的潜在信息[1][2][3][4][6][10][11]。例如，在电子商务系统中，用户点击商品的次数可以揭示他们的购物偏好[12]。