《Neurocomputing》：Self-organizing interval type-2 fuzzy neural networks with rule interaction constraints
编辑推荐：
该研究提出了一种自组织SCI-IT2FNN框架，通过显式规则交互机制建模非线性依赖，结合2-可加 Choquet 积分约束和可微分剪枝策略，在保持语义可解释性的同时实现高效规则压缩，平均激活规则数约10个。实验验证了其优于现有方法的分类性能和结构紧凑性。
张园文|张科
中国江苏省南京市江宁区福城西路8号，河海大学商学院，211100
摘要
区间类型2模糊神经网络（IT2FNN）为分类任务中的不确定性管理提供了一个强大的框架；然而，传统架构依赖于线性聚合，无法捕捉规则之间的相互作用。本文提出了一种自组织的IT2FNN，旨在明确参数化这些规则依赖性。该框架包含一个规则交互层，利用分解机来识别IF-THEN规则之间的协同效应和竞争效应。为了确保语义一致性，从2-加法Choquet积分理论中派生出的知识驱动约束机制指导交互参数的调整。此外，一种可微的门控策略通过稀疏正则化实现了规则库的自主优化。在基准数据集上的评估表明，所提出的架构在保持规则库简洁性的同时，实现了更高的分类准确性，平均仅有约10条活跃规则。研究表明，明确的规则交互建模提高了功能逼近能力，而结构约束和剪枝则保持了模型的紧凑性和语言可解释性。
引言
区间类型2模糊神经网络（IT2FNN）[1]是在不确定性下逼近非线性系统的强大模型[2]、[3]、[4]。在这些网络中，输入特征被模糊化为IF–THEN规则的前提，以生成触发强度，然后通过模糊推理产生最终输出[5]。通过使用语言术语，IT2FNN保持了传统模糊系统的可解释性，同时提供了神经网络的学习适应性，使其适用于包括控制[6]、[7]、预测[8]、诊断[9]和其他场景[10]在内的广泛应用。
尽管具有这些优势，IT2FNN的性能和可解释性在很大程度上取决于其规则库的质量和结构。最近的调查指出，虽然模糊模型具有语义优势，但它们在高维场景中面临“规则爆炸”和语义漂移等挑战[11]。因此，已经开发了严格的基于区间的框架来处理复杂非线性环境中的不确定性和交互建模[12]、[13]。具体来说，有三个关键方面：(i) 规则质量：语义清晰性和精确的隶属函数对于防止推理错误和收敛问题至关重要[14]。(ii) 规则数量：冗余规则会增加计算负担并降低可解释性，而规则不足则会导致泛化能力差[15]。(iii) 规则表示：必须在语言透明性和数值效率之间找到平衡。因此，优化规则库结构对于提高IT2FNN的性能至关重要。
现有的IT2FNN优化方法主要关注两个维度：通过动态剪枝等简化技术来处理规则数量，以及通过细化隶属函数或开发混合编码来处理规则质量。
旨在优化规则数量的方法通常采用进化或自组织机制。例如，Ashfahani等人[16]引入了eT2QFNN，该算法在线生成规则，并剪除那些统计上不显著的规则。Han等人[17]改进了这一概念，提出了基于规则边际贡献的自适应选择规则的IT2FNN（SO-IT2FNN）。其他方法包括Lin等人[19]的工作，他们结合了功能链接网络进行规则重新参数化，以及Shen等人[20]使用简化的梯形隶属函数来减少参数需求。虽然这些剪枝机制在减少计算负担方面有效，但它们有可能过度剪除规则，从而消除表征稀疏数据区域所必需的规则，进而影响泛化性能[21]、[22]。
针对规则质量的方法旨在增强单个规则的建模能力，以更有效地表示复杂的数据关系。例如，Sun等人[23]引入了一种模块化的IO-MT2FNN，它将输入空间划分为不同的数据子区域，以提高预测准确性。其他值得注意的贡献包括形状自适应隶属函数[24]、混合IT2-RBF网络[25]，以及将IT2模糊集集成到TSK模型中以提高噪声鲁棒性[26]。通过将IT2FIS与ELMs[27]、[28]集成，或利用专家知识进行高质量规则初始化[29]，也实现了进一步的改进。
现有方法的一个根本局限性是它们主要依赖于规则输出的线性聚合。尽管传统的IT2FNN通过高斯隶属函数和触发强度的归一化本质上捕捉了系统的非线性——这些机制有效地提供了一种全局耦合形式——但这种隐式的、加性的交互方式无法明确表征特定规则之间的非线性成对相关性（例如，特定的协同作用或抑制作用）。正如关于模糊规则交互的研究[30]、[31]所强调的，仅依赖于推理引擎中固有的隐式耦合限制了模型识别和利用规则同时触发时产生的特定协同放大或竞争抑制效应的能力。为了解决这个问题，最近的进展将可微优化模块或深度架构集成到模糊系统中，以提取抽象的非线性表示[32]。然而，虽然这些混合方法提高了预测能力，但它们往往引入了“黑盒”转换，掩盖了推理过程的语义清晰性。虽然这种复杂的非线性建模可以提高准确性，但它可能损害医疗保健和金融等高风险领域所需的语言可解释性[33]、[34]、[35]、[36]。因此，一个关键挑战在于开发能够明确建模这些非线性成对规则交互的IT2FNN，同时严格保持规则库的透明度。
为了解决这一局限性，我们提出了一种新的自组织IT2FNN，称为SCI-IT2FNN。我们的方法首先提取高质量、语义可解释的IF–THEN规则，从而建立一个基础的规则库[37]。然后引入一个显式的交互层来高效捕获二阶规则依赖性。为了确保语义一致性，结合了基于2-加法Choquet积分[39]、[40]的并行分支。作为可学习的结构约束，这个分支与网络一起共同优化，动态生成一个交互矩阵，该矩阵通过正交或加权策略约束规则交互项。同时，应用基于可微门控的自组织剪枝机制，在训练过程中自动消除冗余规则。通过明确建模结构约束下的规则交互并进行自适应剪枝，SCI-IT2FNN生成了一个紧凑且可解释的规则库，同时实现了先进的分类准确性。
本文的主要贡献总结如下：
•显式规则交互机制：
我们提出了一种新的框架，用于明确建模IF-THEN规则之间的协同效应和竞争效应。超越了传统推理中的隐式线性叠加，我们的架构使用专门的交互层直接参数化二阶非线性依赖性，从而提高了系统建模的准确性。联合优化的结构正则化：
我们引入了一种基于2-加法Choquet积分的可学习约束机制。该模块作为与网络共同优化的并行分支，通过受限策略动态生成结构约束，引导学习过程朝向有意义和结构上有意义的规则交互。自组织交互感知剪枝：
我们开发了一种利用模糊激活层中的Hard Concrete分布的可微剪枝策略。通过在归一化之前适应性地控制规则触发强度，该机制识别并移除冗余规则，生成结构高效的紧凑模型。
本文的其余部分组织如下。第2节回顾了基础概念，包括IT2FNN、模糊度量、2-加法Choquet积分和分解机。第3节详细介绍了提出的I-IT2FNN、CI-IT2FNN和SCI-IT2FNN模型。第4节展示了实验结果和讨论，包括数值性能分析、消融研究、可解释性分析和敏感性分析。最后，第5节总结了本文的贡献和发现，讨论了其局限性，并概述了未来的研究方向。
章节片段
区间类型2模糊神经网络
区间类型2模糊神经网络（IT2FNN）在结构上类似于传统的模糊神经网络（FNN）[42]，由五层组成：输入层、隶属层、激活层、结果层和输出层。
提出的方法
本节描述了提出的SCI-IT2FNN框架的架构。如图1所示，该方法通过随后小节中描述的三个不同模型的逐步演化来实现。最初是具有规则交互的IT2FNN（I-IT2FNN），在第3.1节中详细介绍，它通过集成基于分解机的层来明确建模规则之间的成对依赖性。
实验研究的结果和讨论
为了评估SCI-IT2FNN的有效性，本节提出了一个关注准确性、可解释性、敏感性和结构简洁性的实验验证。具体来说，分析分为四个部分。首先，我们进行数值性能分析，将所提出模型的分类准确性和规则紧凑性与最先进的基线进行比较，并通过统计显著性测试进行验证。
结论
本研究提出了一种新的自组织IT2FNN框架，解决了传统模糊系统中隐式规则依赖建模的局限性。整合了三种协同机制——规则交互建模、2-加法Choquet积分约束和自适应稀疏正则化。我们的方法在保持高计算效率和可解释性的同时，捕捉了复杂的规则关系。这项工作的主要贡献包括（1）规则交互
CRediT作者贡献声明
张园文：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件、方法论、调查、形式分析、数据管理。张科：撰写——审阅与编辑、可视化、软件、资源管理、项目协调、资金获取、数据管理、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
张园文于2023年在中国南京的河海大学获得信息管理和信息系统学士学位。他目前正在南京河海大学商学院攻读管理科学与工程硕士学位。他目前的研究兴趣包括可解释机器学习、深度学习、模糊神经网络和不平衡风险预测。
