双KANs：通过简化的NURBS技术增强KANs，以实现对不连续信号的精确建模

《Neurocomputing》：Double-KANs: Enhancing KANs with simplified NURBS for accurate modeling of discontinuous signals

　　

魏高|刘洪涛|李梅轩|李兴飞|李学丰

辽宁师范大学计算科学与人工智能系，中国辽宁省大连市甘井子区柳树南路1号

摘要

Kolmogorov–Arnold网络（KANs）在科学计算中展现出巨大潜力，包括模拟物理方程和求解偏微分方程。虽然B样条为KAN提供了局部控制和抗灾难性遗忘的能力，但传统KAN中使用的均匀有理B样条（URBS）在模拟突变或不连续信号时存在局限性，这限制了其有效性。为了解决这个问题，我们提出了Double-KANs，这是一种新的结构，它将非均匀有理B样条（NURBS）表示为两个B样条求和的简化形式。Double-KANs保留了传统KAN的结构简洁性，同时显著提高了对不连续性的建模能力。此外，它可以无缝应用于现有的基于KAN的模型和扩展中。多项任务的实验评估表明，Double-KANs在准确性和泛化能力上均优于多层感知器（MLPs）、传统KAN和其他改进版本，突显了其有效性和广泛应用性。代码将在https://github.com/baboonaaaa/Double-KANs发布。

引言

神经网络被广泛认为是通用函数逼近器，并已应用于多种任务[1]，[2]，[3]，[4]，成为人工智能发展的关键驱动力。然而，传统的神经网络（如主要依赖于固定形式激活函数的MLPs[2]）的可解释性和结构灵活性有限。为了解决这些问题，刘等人[5]提出了KANs，这是一种受Kolmogorov-Arnold表示定理[6]启发的新型结构，通过自适应学习的激活函数和优化的网络拓扑显著提高了表达能力和可解释性。

最近，许多研究致力于从不同角度改进KAN[7]，[8]，[9]，[10]，[11]。其中一个研究方向是结构优化。例如，U-KAN[12]和Conv-KAN[13]通过引入编码器-解码器结构或可变形卷积来增强空间建模能力，而KAN-ODE[14]和TKAN[15]则分别针对微分方程求解和时间序列预测优化了网络结构。另一个研究方向是改进激活函数。例如，AF-KAN[16]通过可学习激活函数空间提高了表达能力。尽管这些改进的KAN在模型表达能力和跨领域适用性方面有所提升，但一个更根本的瓶颈仍未得到充分解决：大多数现有的改进KAN版本仍然使用传统的URBS结构作为激活函数，这在处理具有突变变化的非平稳或不连续信号时显得不足。作为框架的核心组成部分，激活函数通过其表示能力直接决定了整个模型的性能。其局限性最终阻碍了KAN在更复杂应用场景中的有效性[17]，[18]，[19]。

为了解决这些局限性，本文提出了一种新型神经网络，称为Double-KANs，它通过利用双路径有理样条组合和自适应节点分布来增强KAN的功能。这一设计的动机源于一个关键观察：由于URBS的均匀节点分布，它在模拟不连续或突变信号时会产生振荡和模糊现象。为了解决这个问题，我们的方法采用NURBS和自适应节点分布，使得在变化剧烈的区域可以动态调整节点位置。具体来说，NURBS通过非均匀分布的节点有理组合融入神经网络。这种设计保持了KAN的可解释性，提高了参数效率，并显著增强了其对不连续性的建模能力以及捕捉细微特征的能力。

总结如下：

• •
  我们提出了一种改进的KAN方法，称为Double-KANs。该方法显著增强了传统基于URBS的KAN在模拟突变信号方面的能力，同时提高了参数效率。
• •
  Double-KANs将传统的NURBS简化为两个B样条的商形式激活函数，增强了传统KAN的表达能力，同时保持了其与现有KAN框架的兼容性，提高了准确性。
• •
  我们在多个任务上评估了提出的方法，结果表明它在准确性和泛化能力上均优于传统KAN、几种经典KAN变体以及基于MLP的方法。

章节摘录

KAN的应用

KAN已应用于多种任务中。例如，在医学图像分割中，U-KAN及其改进版本UKAN-EP[20]将KAN层集成到U-Net[21]编码器中，实现了0.91的Dice系数，用于脑肿瘤分割任务。在处理多模态医学图像时，方和吴[22]通过结合KAN网络增强了卷积网络，使得交并比（IoU）指标提高了7.5%。此外，陈等人[23]提高了推理速度

提出的方法

在本文中，我们介绍了Double-KANs，它改进了对突变信号的建模能力，并促进了与各种现有KAN框架的无缝集成。在本节中，我们详细介绍了该方法。第3.1节首先介绍了KAN的基本概念。第3.2节探讨了URBS在KAN中的局限性，并提出了相应的解决方案，第3.3节展示了我们重新设计的KAN神经网络。

实验

为了评估提出的方法的有效性，我们在多个任务上进行了实验。具体来说，第4.1节首先介绍了实验评估中使用的数据集。随后，对这些数据集进行了一系列分类实验，以评估提出模型的整体性能和泛化能力，包括膀胱癌二分类（第4.2节）、膀胱癌分期检测（第4.3节）等

结论

在本文中，我们提出了Double-KANs，这是一种改进后的KAN版本，旨在克服传统KAN在模拟突变和不连续信号方面的局限性。通过将NURBS重新表示为两个B样条求和的形式，Double-KANs可以根据建模信号自适应调整节点分布，从而提高对细微、不连续信号的建模能力，同时提高参数效率。在包括二分类在内的多个任务上进行的广泛实验表明

CRediT作者贡献声明

魏高：撰写——原始草案、方法论、研究。刘洪涛：资源、数据整理。李梅轩：可视化、概念化。李兴飞：可视化、验证。李学丰：撰写——审稿与编辑、监督、项目管理。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的财务利益或个人关系。

致谢

本项目得到了辽宁省教育厅基础研究计划（项目编号LJ212510165007）、辽宁师范大学博士启动基金（项目编号2025BSL015）和辽宁省自然科学基金（项目编号2024-BS-162）的支持。

魏高1995年获得中国沈阳化工大学的学士学位，2003年获得沈阳理工大学的硕士学位。他现任中国大连辽宁师范大学计算机与人工智能学院教授，研究兴趣包括计算机图形学、虚拟现实和深度学习。