用于从多个注释者那里学习的元学习表示方法

《Neurocomputing》：Meta-learning representations for learning from multiple annotators

针对Goose优化算法（GOA）在复杂优化问题中存在的局部收敛早、全局搜索能力不足及精度受限等问题，提出基于动态探索-利用比、自适应衰减系数和莱维飞行的改进算法I-GOOSE。通过实验验证，I-GOOSE在CEC2017基准测试中收敛精度提升3-10个数量级，同时保持计算效率与稳定性优势，适用于高维复杂工程优化场景。

　　

Xize Xu | Xuefei Mao | Weidong Zou

北京工业大学，中关村南大街，北京，100081，中国

摘要

为了解决鹅优化算法（GOA）在应用于复杂优化问题时存在的过早收敛、局部搜索能力不足以及收敛精度有限的问题，本文提出了一种基于动态探索与利用比率、自适应衰减因子和Lévy飞行机制的改进型鹅优化算法（I-GOOSE）。该算法引入了三个关键改进：首先，动态探索-利用比率调整机制在早期迭代中优先进行全局搜索，在后期阶段转向局部搜索，从而提高搜索效率；其次，引入了自适应衰减系数和步长参数（coe），以优化扰动因子和位移幅度的动态调整，平衡全局搜索和局部搜索能力；第三，结合了Lévy飞行策略，利用其长距离跳跃特性，增强算法逃离局部最优解的能力。使用CEC2017基准测试套件进行的广泛实验表明，与原始算法相比，I-GOOSE的收敛精度提高了3-10个数量级，同时表现出更优越的稳定性和更快的收敛速度。在相同的实验条件下，改进算法的平均运行时间与原始算法和主流对比算法处于同一数量级，表明性能提升并未带来显著的计算开销增加。改进算法在逃离局部最优解和适应复杂高维问题方面表现出显著优势，为工程优化挑战提供了更具竞争力的解决方案。

引言

随着科学技术的快速发展，优化问题在工程、经济和计算机科学等各个领域变得越来越重要。优化问题通常涉及在遵守约束条件的同时，找到决策变量的最优值以最大化或最小化一组目标函数。现实世界中的优化问题往往面临诸多挑战，如高计算成本、非线性约束、非凸搜索空间、动态或噪声目标函数以及庞大的解空间[1]、[2]、[3]、[4]。

传统的优化方法，如线性规划、动态规划和梯度下降，在特定问题领域取得了显著成功。然而，这些方法往往严重依赖于问题的结构，在解决大规模、高维和复杂问题时存在局限性[5]、[6]、[7]。为了解决这些挑战，研究人员开发了元启发式算法[8]、[9]、[10]、[11]，这些算法不依赖于问题的具体数学模型，而是模拟受自然现象启发的启发式搜索过程来寻找复杂现实世界问题的最优解。

元启发式算法通过在复杂系统中模拟简单规则来构建具有全局搜索能力的优化方法。这些算法通过启发式方法探索问题空间，模仿自然现象或社会行为（如群体智能和进化机制），以找到全局最优解并进行特征选择[12]，例如混合鲸鱼优化算法[13]。著名的元启发式算法包括遗传算法（GA）[14]、模拟退火（SA）[15]、粒子群优化（PSO）[16]、蚁群优化（ACO）[17]和差分进化（DE）[18]。随着研究的进展，越来越多的生物行为被纳入元启发式优化算法中，例如沙蚕群算法[19]和磷虾群优化算法[20]。许多其他学者也对先前作者提出的元启发式算法进行了改进，有效提升了原始算法的性能[21]、[22]。

此外，许多学者还将元启发式算法与机器学习相结合，例如，组合算法在多种方面显著提高了性能[23]、[24]、[25]、[26]、[27]。

尽管这些算法取得了成功[28]，但在实际应用中仍面临挑战，特别是在局部最优解陷阱[29]、[30]、[31]、[32]、计算效率[33]、[34]、[35]、算法稳定性[36]、[37]、[38]以及收敛性[39]、[40]方面。

为了克服这些挑战，研究人员不断改进现有的元启发式算法。最近的进展主要集中在三个方向：1）针对动态环境的优化框架设计，讨论了在动态环境中改进元启发式算法的策略[41]、[42]、[43]；2）针对噪声环境的优化框架设计，讨论了在噪声环境中改进元启发式算法的策略[44]、[45]；3）通过自适应机制增强全局搜索能力，例如Slime Mould算法（SMA），通过动态权重调整来缓解局部最优解问题[46]、[47]；4）为动态或噪声环境设计优化框架，例如Li等人提出的混合响应策略，增强了算法在动态目标函数中的鲁棒性[48]；5）基于非高斯分布的创新探索机制，例如Lévy飞行，如Yang的Cuckoo Search所示，通过重尾分布策略平衡搜索效率和精度[49]。Yao等人通过整合自适应权重调整、基于对立的学习、柯西变异和Hook-Jeeves策略，增强了PSO的全局和局部搜索能力[50]。Raj等人将快速收敛的精子群优化（SSO）与搜索域高效的遗传算法（GA）相结合，提出了一种新的混合算法HSSOGA，用于获得全局最优解[51]。Dixit等人通过结合PSO概念和Sigmoid函数改进了差分进化的精度和收敛速度，避免了过早收敛[52]。

此外，研究人员还尝试通过自然界中生物的行为来开发优化算法。最近提出的鹅优化算法（GOA）[53]受到鹅在休息和觅食行为的启发，特别是它们能够单腿站立同时保护群体中其他个体的能力。GOA在全局搜索和局部搜索之间保持平衡，表现出强大的全局优化能力。其优势在于简单而有效的搜索机制以及避免局部最优解的能力，在多个经典优化问题中表现出优于其他元启发式算法的性能。示例包括四个著名的现实世界挑战：焊接梁设计优化、经济负荷调度、压力容器设计以及神经系统中的病理性IgG分离。工程案例研究表明，所提出的方法可以有效优化现实世界问题。

然而，尽管GOA在一些标准测试函数上表现令人满意，但在复杂、高维和高度受限的优化问题中仍存在局限性，其收敛速度和稳定性往往不尽如人意，并且容易陷入局部最优解陷阱。因此，优化和改进GOA已成为一个重要的研究方向。

本研究旨在通过结合现有研究成果并引入新的改进策略来进一步优化GOA，以提高其搜索效率和解决方案质量。我们提出了一种改进的GOA，增强了其全局搜索能力并提高了收敛速度，使其能够在更复杂的优化问题中取得更好的结果。通过广泛的实验比较，我们验证了优化算法的有效性，并讨论了其在实际工程应用中的潜力。

本文的结构如下：第2节简要回顾了元启发式算法的发展和GOA的基本原理；第3节介绍了本研究提出的优化策略及其实现；第4节验证了改进型鹅优化算法的收敛性，并计算和比较了原始鹅优化算法和改进型鹅优化算法的时间复杂度和空间复杂度；第5节展示了实验结果，并与现有算法进行了比较分析，统计分析了改进前后的测试结果；第6节是讨论章节，基于前一节的发现深入分析了每种算法的结果、优势和局限性；第7节提出了实际的工程应用案例；最后，第8节总结了本研究的主要贡献和未来的研究方向。

章节片段

鹅优化算法简介与回顾

鹅优化算法（GOA）是由Rebwar Khalid Hamad在2024年提出的一种新型元启发式优化算法。该算法受到鹅在休息和觅食行为的启发，基于鹅群中个体单腿站立以保护其他个体的行为描述。

在自然界中，每群鹅中有一到两只负责警戒的“守卫鹅”，而其他鹅则在草地上觅食或休息。

动态探索与利用比率

在原始的GOOSE算法中，每次迭代时个体有50%的概率进行探索或利用。这种固定概率的策略在算法的不同阶段可能会表现出不适应性。例如，在优化的早期阶段，搜索应更多地关注探索以覆盖更广泛的搜索空间；而在后期阶段，搜索应更多地关注利用以提高解决方案的精度。然而，固定的50%分配无法动态调整。

收敛性分析

为了证明改进型鹅优化算法（IGOOSE）的收敛性，构建了马尔可夫过程并使用马尔可夫链收敛性分析来证明其有效性。

1). IGOOSE算法的马尔可夫链模型

• a.
  状态空间定义：在IGOSE算法中，状态空间由每个搜索代理的位置组成。假设有n个搜索代理，每个代理的位置为
  $$

整个搜索代理的状态可以是

测试函数和结果比较分析

在本研究中，我们使用CEC 2017基准函数F1–F14来评估优化算法的性能。这些函数定义在一个$$-维连续搜索空间上，并受到以下假设的约束：

•

连续性：大多数CEC 2017函数（例如F1–F10）是连续的，而某些函数（例如F11–F14）可能包含有限的不连续性或非平滑区域。在我们的算法分析中，我们假设目标函数

$$是连续的，这有助于

主要发现和证据

对八种优化算法（GOOSE、改进型GOOSE（IGOOSE）、SA、PSO、INFO、GWO和mLSHADE-SPACMA）在CEC2017基准函数F1–F14上的评估表明，IGOSE优化算法在最终精度和早期收敛性方面表现出色，同时运行时间与原始GOOSE相当。在大多数测试函数上，其执行时间均快于INFO、RBMO和mLSHADE-SPACMA。这些结果在多次实验中都是一致的

工程案例研究

为了评估所提出算法在实际工程优化中的适用性和有效性，本文选择了经典的焊接梁设计问题作为工程案例研究。这个问题最初由Ragsdell和Phillips在研究焊接梁结构的最优设计时提出[62]，文章[63]明确指出焊接梁设计是一个“众所周知的工程设计优化测试问题”。他们开发了

结论

本文通过对GOOSE算法进行四项关键改进，包括动态探索调整、自适应参数coe的改进、自适应衰减系数的改进以及引入Lévy飞行搜索，优化了GOOSE算法。这些改进增强了搜索能力，减少了目标函数误差，提高了优化精度和收敛速度，并增强了逃离局部最优解并达到全局最优解的能力。一些测试函数的仿真结果

CRediT作者贡献声明

Xize Xu：撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。Xuefei Mao：撰写——审稿与编辑、监督、资源管理、项目协调。Weidong Zou：撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

Xize Xu（生于2001年）于2019年获得北京工业大学的自动化学士学位。他目前正在北京工业大学自动化学院攻读硕士学位。他的研究包括元启发式算法和群体智能优化算法的创新和性能改进。