利用进化多目标优化方法提升帕累托集的学习效果

《Swarm and Evolutionary Computation》：Enhancing Pareto Set Learning with evolutionary multi-objective optimization

提出一种融合进化多目标优化算法（EMOAs）与帕累托集学习（PSL）的混合框架。通过EMOAs生成非支配解并转化为偏好-解对进行模型预训练，再利用PSL进行梯度优化，有效提升复杂问题中的全局搜索能力和连续帕累托集建模精度。实验表明该方法在相同评估次数下优于传统PSL和EMOAs。

　　

作者：Ke Shang、Yu Wang、Zexuan Zhu、Hisao Ishibuchi

单位：深圳大学人工智能学院，中国深圳518060

摘要

帕累托集学习（PSL）是一种新兴的多目标优化方法，旨在对整个帕累托集进行建模，从而实现最优权衡的持续探索。然而，其基于梯度的训练受到局部最优解和解决方案复杂性的限制。相比之下，进化多目标优化算法（EMOAs）能够有效探索复杂空间，生成多样化的非支配解。本文提出了一种集成框架，通过结合EMOAs来增强PSL的功能。具体而言，首先使用EMOAs生成一组多样化的非支配解，然后将这些解转换为偏好-解对，用于帕累托集模型的监督预训练。之后，通过基于梯度的优化对预训练模型进行精细调整。在多个合成和真实世界的工程设计问题上的实验评估表明，我们的混合方法在相同的函数评估次数下，性能优于传统的PSL和EMOAs，能够更好地表示帕累托前沿。源代码可在以下链接获取：https://github.com/fortherace/Enhanced-PSL

引言

多目标优化问题（MOPs）广泛应用于各种实际场景，涵盖从工程设计[1]、[2]、[3]、[4]到机器学习[5]、[6]、[7]、[8]等多个领域。在这些问题中，目标函数之间往往存在冲突，因此无法通过单一解决方案同时优化所有目标。因此，MOPs的解通常以权衡的形式存在，这些权衡统称为帕累托最优集或简称帕累托集。它们在目标空间中的形象被称为帕累托前沿。针对MOPs，已经出现了两种主要的算法方法：进化多目标优化算法（EMOAs）和帕累托集学习（PSL）。

EMOAs（如NSGA-II [9]、MOEA/D [10]、NSGA-III [11]和SMS-EMOA [12]）已被广泛用于近似帕累托前沿。EMOAs通过维护一个候选解群体并在自然选择和遗传变异的指导下进行进化来运作。然而，EMOAs的一个固有局限性是它们只能找到有限的解集来近似连续的帕累托前沿。因此，由于帕累托前沿的覆盖范围有限，决策者可能无法找到理想的解决方案。相比之下，帕累托集学习（PSL）[13]、[14]、[15]、[16]、[17]、[18]试图通过学习帕累托集模型来解决这一局限性。一旦训练完成，该模型可以为任何给定的偏好输出帕累托最优解，从而使决策者能够持续探索帕累托前沿。因此，PSL能够用单个训练模型表示无限多的解集，显著克服了EMOAs的局限性。

尽管PSL具有潜力，但它本质上依赖于基于梯度的优化技术来精细化帕累托集模型，这在应用于具有多个局部最优解的复杂场景时限制了其有效性。在这种情况下，PSL算法容易陷入次优区域，阻碍了它们发现全局最优解的能力。另一方面，EMOAs以其强大的全局搜索能力而闻名，并且由于其基于群体的进化探索策略，不太可能陷入局部最优解。鉴于EMOAs和PSL在全局搜索能力和连续帕累托前沿表示方面的互补优势，自然会质疑将这两种方法结合是否能够产生更好的多目标优化技术。

在本文中，我们提出了一个集成框架，在帕累托集映射层面而不是简单初始化层面结合了EMOAs和PSL。我们的关键见解是，PSL的目的不是近似一个有限的帕累托前沿，而是学习一个连续的逆映射：$h_{\theta }:\lambda ?x^{?}\left(\lambda \right)$，其中$x^{?}\left(\lambda \right)$是最小化给定偏好向量的标量化多目标函数的解。因此，在我们的框架中，EMOA的作用不是提供几个高质量的起点，而是通过采样多样化的非支配解并推断出它们相关的偏好向量来近似这个逆映射。

具体来说，我们首先使用EMOA（例如NSGA-II）来探索决策空间并生成大量非支配解。然后通过逆切比雪夫关系将每个解映射到一个偏好向量，从而生成偏好-解对，这些对用于监督帕累托集模型的预训练，使其能够直接学习帕累托集映射的参数化近似。随后通过基于梯度的PSL对模型进行精细化。EMOAs和PSL之间的这种功能耦合使得能够全局探索帕累托集的几何结构，并高效地连续建模偏好-解关系，在固定的评估预算下获得更准确和稳健的帕累托集近似。图1展示了PSL和我们的方法在三维火箭喷射器设计问题[19]上获得的帕累托前沿近似结果，表明我们的方法能够找到比PSL更完整的帕累托前沿。

与使用替代模型来加速进化操作符或适应度评估的学习辅助EMOAs [20]、[21]不同，所提出的框架将EMOA作为帕累托集几何结构的函数估计器。具体来说，EMOA生成的非支配解被转换为偏好-解对，以近似帕累托集学习（PSL）所针对的逆标量化映射。这种设计与基于热启动或初始化的混合方法[22]有根本区别，在那些方法中，进化搜索仅提供初始解或参数。在我们的框架中，EMOA为帕累托集模型的监督预训练提供了显式的训练数据，实现了帕累托集映射层面的功能耦合。此外，与需要预先指定偏好并返回有限解集的基于偏好的EMO方法[23]不同，我们的方法从非支配解中推断出隐式偏好，并学习一个能够为任意偏好生成帕累托最优解的连续映射。

我们工作的主要贡献总结如下：

• 我们提出了一种混合方法，其中EMOA生成的非支配解被转换为偏好-解对，用于帕累托集模型的监督预训练，随后通过PSL进行精细化，以获得连续且准确的帕累托集近似。
• 我们提出了一种基于收敛性的函数评估分配机制，在该机制中，标准EMOA收敛性检测被重新利用来动态控制从进化搜索到基于模型的帕累托集学习的转换，而不是作为终止标准，在固定的总评估预算下。
• 在一系列合成和工程基准问题上的实验评估表明，与纯PSL算法相比，我们提出的方法在相同数量的函数评估次数下始终表现出更好的帕累托集近似性能，突显了我们集成策略的有效性。

本文的其余部分组织如下：第2节回顾了EMOAs和PSL的背景和相关工作。第3节详细介绍了我们提出的集成方法。第4节报告了实验结果和与基线方法的比较。最后，第5节提供了结论性意见和未来研究的潜在方向。

多目标优化

多目标优化问题（MOPs）涉及同时优化多个相互冲突的目标。正式来说，多目标优化问题可以描述如下：$\underset{x}{min}f=(f_{}(x(x(x\dots ,f_{}(x)$$x^{}?(\lambda$，其中$x^{}\to m$表示在可行决策空间内的决策变量向量$X$，$fn$包括需要同时最小化的$f$个目标函数。通常，这些目标之间存在冲突，因此无法找到一个能够同时满足所有目标的单一解。

提出的方法

在本节中，我们介绍了通过结合进化多目标优化算法（EMOAs）来增强帕累托集学习（PSL）的方法。

实验

在本节中，我们通过系统实验来实证研究我们方法的有效性。具体来说，我们首先介绍了实验设置，包括基准问题、参数配置和性能指标。然后，我们分析了结果并讨论了实验观察结果。最后，我们进行了消融研究，以了解我们框架中各组件的有效性。

结论

在本文中，我们提出了增强型帕累托集学习（Enhanced PSL），这是一种将进化多目标优化算法（EMOAs）与帕累托集学习（PSL）相结合的混合框架。该方法利用了两种范式的互补优势：EMOAs提供了强大的全局搜索能力并生成多样化的非支配解，而PSL提供了从偏好到帕累托最优解的连续映射。通过结合这些能力，Enhanced PSL能够

CRediT作者贡献声明

Ke Shang：撰写——原始草案、方法论、研究、概念化。Yu Wang：验证、软件、方法论、研究。Zexuan Zhu：撰写——审阅与编辑、监督、方法论。Hisao Ishibuchi：撰写——审阅与编辑、验证、监督、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（资助编号：62472292、62471310、62376115）、广东省基础与应用基础研究基金（资助编号：2025A1515011638）以及国家大数据系统计算技术实验室内部基金（资助编号：SZU-BDSC-IF2024-07）的支持。