《Reliability Engineering & System Safety》：Frequency-Domain Approach to Automated and Efficient Multivariate Kernel Density Estimation for Probabilistic Modeling
编辑推荐：
本文针对工程设计中输入不确定性导致性能波动的问题，提出了一种方差约束的稳健贝叶斯优化（VRBO）框架。研究通过构建稳健高斯过程（RGP）代理模型量化不确定性，结合方差惩罚标量化方法平衡均值性能与变异性，并采用双循环策略分离模型与目标不确定性。在多个基准测试中验证了VRBO能有效生成适应不同稳定性偏好的帕累托前沿，为高成本黑箱函数的稳健优化提供了数据高效解决方案。
在现代工程实践中，设计问题日益复杂和关键，特别是在各行业性能要求和安全标准不断提高的背景下。这些问题通常涉及多个相互冲突的目标，需要同时进行优化。例如，在电池热管理中，换热器设计必须平衡峰值温度、散热和压降（水力损失），同时满足严格的封装和泵送功率限制，并控制复杂性和成本。尽管多目标优化（MOO）领域已经取得了显著进展，但传统方法通常假设确定性条件，没有明确考虑输入不确定性，这限制了它们在受噪声和变异性影响的真实系统中的稳健性。
输入不确定性可能源于制造和装配公差、材料特性不准确等因素。例如，电子应用中间接材料表面特征的微小几何变化（如表面粗糙度增加1微米）可能导致热阻发生2倍的剧烈变化。因此，在优化过程中考虑这些参数不确定性至关重要，以确保最终设计具有稳健性。虽然不确定性下的稳健性在单目标优化中得到了广泛探索，但其在多目标设置中的扩展受到的关注相对较少。现有的稳健贝叶斯优化（RBO）方法通常侧重于期望（贝叶斯风险）或最坏情况代理（如最坏情况、风险价值VaR），但未能明确控制由输入不确定性引起的目标方差。这种被忽视的变异性可能带来严重的操作风险，并忽略稳定性的重要性，特别是在质量敏感的应用中，系统响应的显著波动可能频繁违反关键设计约束或安全阈值。
为了解决这一局限性，昆士兰科技大学的研究团队在《Reliability Engineering 》上发表了一项研究，引入了一个方差约束的稳健贝叶斯优化（VRBO）框架，以高效执行考虑输入不确定性的多目标优化。该框架采用稳健高斯过程（RGP）通过提供预期目标值及其相关不确定性来量化输入不确定性。然后使用方差惩罚标量化方法将这两个方面整合起来，该方法利用用户定义的参数灵活平衡均值性能和变异性，从而适应不同水平的稳定性容差。在优化过程中，这种标量化引导采集函数朝向符合所需稳定性偏好的区域；在报告时，使用代理估计来丢弃任何违反不确定性阈值的设计，并从剩余的稳定性可行点计算帕累托集。其新颖性在于实现了灵活的、依赖于上下文的设计选择，同时保留了贝叶斯优化的数据效率优势。
为开展研究，作者主要应用了几个关键技术方法：首先构建了稳健高斯过程（RGP）代理模型，通过核期望公式或蒙特卡洛积分来近似在输入不确定性下的贝叶斯风险（期望值）及其方差；其次提出了方差惩罚标量化算法，结合条件风险价值（CVaR）和对数方差项，形成可调节的采集函数来平衡均值性能与不确定性；第三设计了双循环优化策略（MO循环和RMO循环），分别处理模型不确定性（ epistemic uncertainty）和目标不确定性（aleatory uncertainty），确保全局代理模型精度与局部稳健性需求的平衡；最后采用稳定性过滤机制，在优化后基于用户指定的方差阈值对帕累托前沿进行硬约束过滤。研究使用了多个基准测试问题（包括MDTP3、VLMOP2、MDTP2、SinLinForrester和6维Fonseca-Fleming问题）进行验证，所有实验均假设输入不确定性服从高斯分布，并通过蒙特卡洛采样（样本量S=200）进行统计估计。
4.1. Detailed Analysis: MDTP3
通过对MDTP3问题的详细分析，研究人员验证了VRBO框架的有效性。该问题是一个二维双目标基准，其中目标函数包含指数项，在输入不确定性下会产生均值与方差的冲突。研究通过高维网格搜索结合蒙特卡洛评估生成了地面实况（ground truth），表明帕累托前沿的位置取决于不确定性阈值pV。当pV较高（如0.5）时，帕累托最优解集中在x2≈0.3附近，优先考虑均值性能而容忍较高的变异性；当pV较低（如0.1）时，前沿则向x2≈0.8移动，倾向于较低的变异性而非均值性能。VRBO在不同的α设置下（α=0, 0.4, 1.0）成功引导采样策略，使观测点分布与指定的稳定性偏好一致。最终，通过稳健评估和方差过滤帕累托选择（Algorithm 3）得到的RMO前沿与地面实况和 exhaustive NSGA-II (ENSGA-II) 基线结果高度吻合，证明了该框架在复杂冲突下的有效性。
4.2. Additional Benchmarks: VLMOP2 and MDTP2
在VLMOP2和MDTP2基准上的进一步测试验证了VRBO的通用性。VLMOP2是一个平滑的双目标问题，具有凸且连续的帕累托前沿。VRBO和ENSGA-II都成功定位了真实帕累托前沿，且VRBO使用少得多的函数评估就达到了与穷举基线相当的精度。MDTP2是Branin-Hoo函数的双目标扩展，具有强非线性和多个局部最小值。结果表明，VRBO能够避免局部最优，并在不确定性下捕捉复杂的前沿结构，其性能指标（ΔHV, GD, IGD）与ENSGA-II相比具有竞争力，同时计算成本（评估次数）显著降低。
5. Noisy Observations
为了评估VRBO在更现实的、存在观测噪声（如实验测量误差）的场景下的鲁棒性，研究使用了SinLinForrester基准。该一维双目标问题结合了正弦线性和Forrester函数，在输入噪声下表现出目标2比目标1更强的变异性。结果表明，VRBO的双循环结构在此环境下依然有效：MO循环（蓝色标记）负责全局探索，而RMO循环（橙色标记）则根据α参数引导，集中于感兴趣的特定区域。当α较小时（α=0），搜索集中在低均值高不确定性区域（x≈0.80）；当α增大（α=0.1），采样则转向更安全、低不确定性的区域（x≈0.55-0.65）。这证实了VRBO能够根据α编码的不确定性偏好灵活地引导探索-利用权衡。尽管在噪声观测下，某些情况对帕累托前沿的覆盖度可能受到影响，但VRBO整体上仍能产生有意义的稳健解。
6. High–Dimension Benchmark case – Fonseca–Fleming
最后，研究在一个6维的Fonseca-Fleming (FON) 问题上测试了VRBO，以评估其在高维决策空间和输入不确定性空间下的可扩展性。地面实况分析显示，在给定的噪声水平下，更严格的方差阈值（pV=0.05）会得到一个更短、更保守的帕累托前沿，牺牲了最优性以获得稳健性。VRBO在三种参数设置（(α=0, pV=1), (α=0, pV=0.05), (α=5, pV=0.05)）下进行了测试。结果表明，当不确定性约束不活跃时（pV=1），VRBO能很好地近似名义帕累托前沿。当施加严格的方差约束（pV=0.05）时，增加α值（从0到5）可以显著改善拟合质量，使得到的RMO前沿更接近地面实况，这说明了在高维问题中调整标量化参数对于有效控制稳健性的重要性。
本研究得出结论，VRBO框架成功地将稳健性和稳定性统一在一个样本高效的工作流中，用于处理输入不确定性的多目标优化。其核心贡献在于构建了RGP代理模型、提出了方差惩罚标量化方法以及采用了双循环优化策略。稳定性通过参数α在搜索过程中以软形式引入，并通过用户容差pV在最终报告时以硬约束形式进行过滤。在从低维到高维、从平滑到非线性、从无噪声观测到有噪声观测的一系列基准测试中，VRBO均能可靠地定位适应不同pV的稳健帕累托前沿，其性能指标（GD, IGD, ΔHV）与地面实况的差距很小。这验证了该框架在准确表征各种问题设置、不确定性水平和维度下的稳健帕累托结构方面的能力。
该研究的意义在于为工程设计中昂贵黑箱函数的稳健优化提供了一个灵活且数据高效的解决方案。它明确地解决了以往方法中被忽视的性能波动（方差）控制问题，使设计师能够根据特定的稳定性要求权衡最优性与稳健性。未来工作的方向包括建立不确定性容差pV与标量化参数α之间更明确的联系，以及提高采集函数的自适应性，使α能随着搜索过程自动演化。此外，将VRBO应用于工业实际問題，如电池热交换器设计，将是证明其实际效用的下一步。
