《Neurocomputing》：Deep fuzzy clustering inference network and its application to non-destructively estimating strength of cement microstructure
编辑推荐：
针对高维数据中模糊神经网络（FNN）的规则爆炸问题及泛化能力不足，提出深度模糊聚类推理神经网络（DFCINN）。该方法通过深度结构与模糊聚类策略的融合，结合级联学习优化参数，有效捕捉数据异质性和同质性，显著提升模型性能，并成功应用于水泥微观结构强度评估。
Xu Wu|刘双荣|王文伟|王林|邓新博|刘聪|杨波
中国济南大学绿色与智能建筑材料山东省重点实验室，济南250022
摘要
本文提出了一种基于深度模糊聚类的推理神经网络（DFCINN），用于发展基于模糊聚类的神经网络（FCNNs）的设计方法。传统的FCNNs虽然通过高级信息粒度解决了神经模糊模型中的规则爆炸问题，但在处理复杂结构或高维度数据时的泛化能力往往不足。这一限制源于它们的基于聚类的规则生成策略，这种策略难以在这种条件下生成能够为不同类别之间的决策建立明确边界的规则库。为了解决这些挑战，DFCINN将深度结构框架与模糊聚类策略相结合，有效捕捉了类别间的异质性和类别内的同质性，从而有助于构建所需的规则库。此外，还开发了一种级联学习方法来训练模糊规则的参数，同时考虑了基于聚类和分类的损失。使用具有不同特征的数据集对DFCINN的性能进行了评估，并将其结果与其他多种方法进行了比较。此外，DFCINN还被应用于非破坏性地估计水泥微观结构的强度等级。实验结果表明，DFCINN的性能优于其竞争对手。
引言
神经网络（NNs）在学术和实际应用中都获得了广泛认可。其中，模糊神经网络（FNNs）[1]、[2]具有较高的可解释性，对于处理定义不明确的问题和不确定性具有很大的潜力。这是通过结合模糊集合提供的固有鲁棒性和量化主观性的能力与NNs的学习能力实现的。FNNs在医学诊断[3]、[4]、[5]、脑建模[6]、[7]、材料工程[8]、[9]以及机器人操控[10]、[11]、[12]等多个领域得到了广泛应用。
传统的FNNs大致可以分为两类：基于Mamdani的[13]、[14]方法和基于Takagi-Sugeno-Kang（TSK）的[15]、[16]方法，这取决于所使用的模糊规则类型。与基于Mamdani的模型相比，TSK模型由于其适应性和计算效率而具有显著优势。然而，大多数TSK模型面临的一个主要挑战是规则爆炸问题。这个问题不仅增加了优化的复杂性，还影响了可解释性和性能，有时在特定情况下使模型变得不实用，尤其是在高维度问题中。
为了解决规则爆炸问题，研究人员设计了多种引人注目的架构和设计方法。其中最值得注意的方法包括基于层次的模糊模型、结合特征选择和/或剪枝策略与神经模糊模型的集成框架，以及基于模糊聚类的网络[17]、[18]。集成框架通过仅使用部分特征来制定模糊规则，从而限制了模糊规则库的大小。这两种方法都有一个共同点：它们使用特征子集来最小化在制定模糊规则时语言值之间的潜在组合。然而，在面对高维度挑战时，即使只使用部分特征来构建模糊规则，这些方法也可能遇到与过大的模糊规则库相关的问题。FCNNs通过利用高级信息粒度来分离数据维度与模糊规则数量之间的关联，从而降低了计算复杂性，并有效解决了高维度数据中的规则爆炸问题。尽管FCNNs适用于高维度问题[19]，但它们通常泛化性能较差。这是由于直接制定能够有效反映复杂高维度数据结构中类别间异质性和类别内同质性的预期模糊规则存在固有的难度。
基于深度结构的神经网络的成功引起了广泛关注，尤其是由于它们的知识蒸馏能力。将深度神经网络（DNNs）与模糊理论相结合，在提升神经模糊方法性能方面展现出了良好的前景。然而，DNNs的知识蒸馏能力在神经模糊模型中尚未得到充分探索。尽管存在一些基于DNNs提取的特征来构建模糊规则的深度神经模糊模型，并表现出优异的性能，但在大多数情况下，DNN（例如多层感知器[20]、自动编码器[21]和卷积神经网络[22]）仅被视为一种独立的降维策略，DNN的训练与模糊规则的优化是分离的。当深度特征提取器的训练与模糊规则形成目标解耦时，得到的表示可能具有高度区分性，但在几何上与紧凑的模糊规则归纳不匹配。相反，如果没有深度区分特征的指导来形成规则库，可能无法捕捉到复杂的决策边界，从而影响泛化性能。
动机：规则爆炸问题严重限制了FNNs的可扩展性和泛化性能，因为随着数据维度的增加，模糊规则库的大小呈指数级增长。FCNNs通过将规则数量与输入维度解耦来缓解这一问题。然而，在高维度场景下，尤其是在类别重叠的复杂数据分布中，FCNNs的泛化能力通常有限。在这种情况下，基于聚类的规则构建难以生成能够有效捕捉类别内紧凑性和类别间可分离性的模糊规则。尽管深度神经模糊模型通过利用DNNs进一步提高了性能，但DNN通常被视为一个独立的降维模块，并且在没有规则形成目标的指导下进行训练。当特征提取器的训练与模糊规则形成目标解耦时，得到的潜在表示虽然具有高度区分性，但在几何上可能不适合紧凑的模糊规则归纳，从而导致诸如类别内结构不匹配或特征维度混乱等问题。为了解决这些限制，提出了DFCINN，以通过明确对齐深度表示学习与模糊规则构建来提高FCNNs在高维度问题上的泛化能力。本文的主要贡献总结如下。
•DFCINN开发了一种新的设计方法，旨在提高FCNNs在高维度问题上的泛化性能。该方法将基于深度的结构网络与基于模糊聚类的策略相结合，使得构建预期的模糊规则成为可能。这些规则有望有效区分类别间的异质性和类别内的同质性。
•开发了一种级联学习方法来训练DFCINN中的参数。在该方法中，设计了可微分的基于聚类的损失来指导用于定义模糊规则前件中的隶属函数（MFs）的区分性特征的生成；此外，还采用了分类损失来训练模糊规则后件中的参数。
本文的其余部分安排如下。第2节回顾了与模糊推理系统和深度神经模糊方法相关的工作。第3节详细介绍了DFCINN的构建过程。第4节展示了实验结果并进行了分析。第5节总结了结论。
相关研究
为了解决规则爆炸问题，研究人员开发了许多神经模糊模型，包括基于层次的模糊模型以及由经典模糊模型和特征选择（和/或剪枝策略）组成的集成框架。Wilson等人[23]使用级联层次拓扑结构构建了TSK模糊推理系统以缩小模糊规则库。Raju等人[24]开发了设计自适应层次模糊方法的方法。
方法论
所提出的DFCINN通过将深度表示与模糊规则构建对齐，体现了一种新的设计方法。这是通过相互连接的机制实现的。首先，DFCINN以一种新颖的方式将基于深度的结构网络与基于模糊聚类的策略相结合：设计了一种可微分的基于聚类的损失来指导深度网络的学习过程。
实验结果与分析
在本节中，对提出的DFCINN在各种任务上的性能进行了评估。第4.1节提供了实验设置。第4.2节展示了实验结果并进行了分析。第4.7节在真实世界问题上评估了DFCINN的有效性。
结论
本研究介绍了基于深度模糊聚类的推理神经网络（DFCINN），作为一种提高模糊神经网络泛化能力的创新方法。DFCINN采用了深度结构和基于模糊聚类的策略的协同组合，精心设计以突出反映类别内同质性和类别间异质性的区分性特征。前件中的隶属函数（MFs）以及后件函数
CRediT作者贡献声明
徐武：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。刘双荣：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，监督，数据管理，概念化。王文伟：可视化，验证，数据管理。王林：监督，资源管理，项目管理，资金获取。邓新博：验证，可视化。刘聪：
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究得到了中国国家自然科学基金（项目编号61872419、62072213）、山东省自然科学基金（项目编号ZR2022JQ30、ZR2022ZD01、ZR2023LZH015）、中国山东省泰山学者计划（项目编号tsqn201812077）、济南市“新20条规则”计划（项目编号2021GXRC077）以及山东省重点实验室的关键研究项目（项目编号QCLZD202303）的支持。
徐武分别于2018年和2021年在济南大学获得了材料科学与工程学士学位和计算机技术硕士学位。他目前是中国济南大学绿色与智能建筑材料山东省重点实验室的博士生，研究兴趣包括机器学习、水泥建模和配方优化。
