通过原始-对偶神经逼近学习凸集边界，并应用于可达集的计算

高效凸集边界计算框架KAN-PDNN通过双网络联合优化和KKT条件嵌入实现高维约束优化问题的快速边界估计，在多个基准测试中验证了其超越传统优化方法和现有神经网络的性能优势。

　　

陈国鹏|邵丽珍|赵芳园

教育部工业过程知识自动化重点实验室，北京科技大学自动化与电气工程学院，北京100083，中国

摘要

对于受显式约束的映射所定义的凸集边界的高效计算，在控制、优化和多目标学习中至关重要。然而，现有方法在高维空间或复杂约束条件下往往难以扩展。本文介绍了一种基于学习的框架——Kolmogorov–Arnold网络增强型原始-对偶神经网络（KAN-PDNN），该框架可以近似参数化优化问题的解映射，这些优化问题隐式地定义了这样的集合。通过将Karush–Kuhn–Tucker（KKT）条件纳入定制的损失函数，并采用自适应参数采样策略，KAN-PDNN实现了准确且全面的边界重建。我们在高维凸集和可达集估计任务上评估了KAN-PDNN的性能。与最先进的神经网络基线的比较实验以及广泛的消融研究表明，其在近似精度和边界覆盖范围方面都表现出色。这些结果确立了KAN-PDNN作为在高维和受限环境中计算凸集的可扩展和通用框架的地位。

引言

集合计算是优化、控制和机器学习的基础，特别是在分析由受限映射定义的集合边界时。准确的边界计算对于极端行为估计、安全验证和控制系统分析至关重要（Kim, 2008; Lin, Zhang, 2023; Wang, Althoff, 2023; Wu, Nie, Turitsyn, Blumsack, 2019）。在许多实际场景中，感兴趣的集合是凸集，这为边界分析提供了坚实的理论基础：凸集的边界可以通过其支撑函数来表征，任何给定方向上的极值点可以通过解决凸优化问题获得，而Karush–Kuhn–Tucker（KKT）条件既是必要的也是充分的。尽管具有这些有利属性，但在实践中计算凸集边界仍然具有挑战性，特别是在高维空间或复杂约束结构下，可能会出现复杂的几何形状。

边界估计通常需要解决大量的参数化优化问题，例如，通过沿多个方向最大化支撑函数。随着维度的增加或约束结构的复杂化，相关的计算成本会迅速增长，使得大规模问题的精确边界计算变得不可行。此外，实际实现还受到可扩展性和数值精度问题的限制。经典的集合近似方法，包括多面体、椭球体和zonotope表示（Balashov, Repov?, 2011; Dudov, Osiptsev, 2016; Kamenev, Pospelov, 2012），在低维或结构良好的环境中可能是有效的；然而，它们通常会受到维数灾难的影响，在更高维度下计算成本呈指数级增长，近似精度也会下降。

为了解决这些限制，最近的研究探索了基于学习的方法来高效解决参数化的受限优化问题。受神经动力学启发的求解器，包括分布式ADMM方案（He et al., 2019）、固定时间投影网络（He et al., 2021）和惯性原始-对偶投影方法（Zhao et al., 2025），利用凸性、约束结构和对偶性来确保可行性并加速收敛。同时，学习优化（L2O）方法旨在直接从数据中学习解映射，避免重复优化并实现可扩展的推理（Chen, Liu, Yin, 2024; Tang, Yao, 2024）。多目标优化的最新进展进一步表明，超网络和基于变压器的模型可以高效近似结构化的解集，如Pareto前沿（Tuan, Dung, Thang, 2024a; Tuan, Hoang, Le, Thang, 2024b）。这些发展表明，基于学习的、考虑约束的策略非常适合计算凸集边界，尤其是在出现类似参数化优化结构的情况下。

在这项工作中，我们提出了一个原理性的深度学习框架——Kolmogorov-Arnold网络增强型原始-对偶神经网络（KAN-PDNN），用于近似通过受限优化隐式定义的凸集边界。我们的关键思想是将边界计算任务重新构建为一个参数化优化问题，并使用一对耦合的神经网络：一个原始网络用于参数化候选边界点，另一个对偶网络通过Karush-Kuhn-Tucker（KKT）条件来确保可行性。这两个网络共同训练，以确保几何精度和约束满足。这种表述提供了一种理论上有根据的方法来进行边界推断，能够在不同的方向查询下高效预测边界点，并为传统的基于优化的方法提供了一种可扩展的替代方案。

本文的主要贡献总结如下：

•

提出了一种用于凸集边界计算的深度学习框架KAN-PDNN。通过将KKT条件嵌入损失函数，它在用单次前向传播替换重复优化的同时确保了最优性，从而实现了快速且可扩展的边界预测。

•

开发了一种自适应方向重采样策略，在训练过程中动态选择输入方向。这种方法确保了均匀的边界覆盖，并在具有尖锐曲率或各向异性结构的区域提高了近似精度。

•

在凸集计算和可达集估计任务上验证了KAN-PDNN的有效性。实验结果表明，与传统基于优化的方法相比，在大规模、高维问题中具有显著的计算效率提升。

本文的其余部分组织如下：第2节回顾相关工作；第3节从一般集合计算的角度形式化问题，并建立其与参数化优化问题的联系；第4节详细介绍了KAN-PDNN框架及其关键组件；第5节展示了在高维凸集计算和可达集计算任务上的数值实验，以验证所提出的方法；第6节总结了本文并概述了未来研究的方向。

相关工作

由于非凸图像集合的固有复杂性和缺乏可处理的结构，其计算相对较少被探索。相比之下，本研究专注于凸图像集合，特别是那些来自受限优化问题的集合。我们的目标是开发高效且可扩展的近似方法，从而弥合理论公式与其在优化和控制应用中的实际部署之间的差距。

凸体

问题表述

本文使用以下符号。对于集合$A?R^p$，让conv?A表示其凸包。定义$R_{+}^p$，对于$\left[m\right]:=\{\mathrm{1<mo>,</mo><mo>?</mo><mo>,</mo><mi>m\}</mi>}$。‖?·?‖₂是欧几里得范数。$R^p$中的单位球由$S^{p?1}:=\{x\in R^p\mid {\parallel \mathrm{x\parallel }}_2^{}=1$。函数f在x处的雅可比矩阵表示为J_f(x)。符号N(μ, C)表示均值为μ、协方差矩阵为C的多变量正态分布。0和I分别表示零向量和单位矩阵。

KAN-PDNN：一种用于集合计算的深度学习框架

我们提出了一个通用的深度学习框架KAN-PDNN，用于高效地描述集合。核心思想是训练一个深度神经网络，该网络将方向向量$l\in S^{p?1}$直接映射到参数化问题(P(l)equation和(D(l)equation的原始最优解x*(l)和相应的对偶最优解λ*(l)。一旦训练完成，该模型就能够实现分摊推理，提高边界点生成的效率。

数值结果

本节介绍了一系列实验，旨在验证所提出的KAN-PDNN框架的有效性和可扩展性。我们首先描述了实验设置和评估指标以确保可重复性，然后对典型的凸集计算任务进行了基准测试，并扩展到了动态系统的可达集估计。随后，我们进行了比较研究和消融实验，以检验该方法的鲁棒性和

结论

我们提出了一个KAN增强型原始-对偶神经网络（KAN-PDNN），这是一种基于学习的原理性框架，用于通过受限优化问题近似隐式定义的凸集边界。通过通过耦合的原始和对偶网络共同学习解映射，KAN-PDNN实现了高效的分摊推理，同时明确地强制执行基于KKT的最优性。我们进一步引入了一种自适应采样策略来增强边界覆盖范围和数值稳定性。

CRediT作者贡献声明

陈国鹏：撰写——原始草稿，验证，方法论。邵丽珍：撰写——审阅与编辑，数据管理，概念化。赵芳园：验证，监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国国家重点研发计划（编号2024YFF0728900）和中国国家自然科学基金（编号12071025）的支持。