NINMix-KD：基于统计矩匹配的知识蒸馏技术，用于边缘资源受限的网络入侵检测

《Ad Hoc Networks》：NINMix-KD: Statistical moment matching knowledge distillation for edge resource-constrained network intrusion detection

　　穆林|张大民|赵洁|杨宇涵
贵州大学大数据与信息工程学院，贵阳550025，中国

**摘要**
高效且轻量级的入侵检测模型对于在资源受限的边缘物联网设备上进行实时部署至关重要。本文提出了一种名为NINMix-KD的轻量级知识提取框架，用于标记化网络流量分类。该框架基于一种紧凑的序列编码器，通过高效的令牌混合和通道混合操作取代了自注意力机制，从而实现了对可变长度流量序列的线性时间处理。在此基础上，引入了基于矩匹配的知识提取策略，通过 align 噪声嵌入的一阶和二阶统计信息将教师的潜在表示传递给轻量级的学生模型。这种设计避免了对外部输出分布对齐的依赖，并消除了计算成本高昂的中间层提取的需要。在四个公共基准边缘网络数据集ToNIoT、CICIoV2024、Edge-IIoTset和X-IIoTID上进行了广泛的实验，这些数据集涵盖了物联网（IoT）、车载互联网（IoV）和工业物联网（IIoT）场景。实验结果表明，所提出的方法在多个评估指标上均表现优异。特别是，提取出的学生模型在性能上与教师模型相当，同时模型大小减少了90%以上，突显了基于矩匹配的知识提取方法在高效入侵检测中的有效性。这些结果表明，NINMix-KD为资源受限网络环境中的入侵检测提供了一种实用且可扩展的解决方案。

**引言**
5G技术的快速发展和新兴的6G技术为始终在线连接提供了强大支持，推动了分布式以边缘为中心的架构（如物联网（IoT）、车载互联网（IoV）、工业物联网（IIoT）和移动自组织网络（MANET）的广泛部署[1] [2] [3] [4]。这些边缘网络组件已成为下一代智能系统的基础。然而，这些环境的高度互联性、异构性和对延迟的敏感性引入了前所未有的网络安全挑战。

针对边缘智能平台的最新入侵攻击呈现出一些新特征，与传统网络威胁显著不同。攻击者现在经常发起资源耗尽攻击，旨在耗尽低端边缘节点有限的电池和处理能力[5]；精心设计的对抗性输入用于误导设备上的机器学习模型[6]；以及跨域协调的DDoS攻击，涉及大量被控制的边缘设备，其攻击波形变得越来越复杂[7]。边缘硬件的固有特性进一步加剧了这一挑战。大多数边缘设备在计算能力、能源可用性和内存容量方面都受到严重限制。这些限制使得在资源受限的环境中部署大型、资源密集型的深度学习模型变得不切实际，尽管这些模型在数据中心环境中已被证明能够实现高精度入侵检测[8] [9] [10]。这造成了一个根本性的权衡：虽然提高检测性能通常需要更多的计算资源，但在实际部署到真实世界的边缘节点时，需要轻量级、低能耗的解决方案，以确保安全性而不损害设备的寿命或响应速度。解决这一差距仍然是保护下一代分布式智能系统的主要未解决挑战之一。

为了缓解模型精度和计算效率的问题，研究人员开始将模型轻量化技术应用于入侵检测系统（IDS）[11] [12]。特别是，最近广泛探索了以知识提取（KD）为代表的压缩方法[13] [14] [15]。KD的核心思想是将大型复杂模型（教师模型）中嵌入的丰富知识转移到更小、更高效的模型（学生模型）中。通过这一过程，学生模型可以实现接近甚至超越教师模型的性能，同时显著降低计算复杂性、内存使用量和能耗。在资源受限的场景中，如边缘计算、移动设备和物联网系统中，这种技术尤为宝贵，因为在这些环境中部署大规模深度模型往往不切实际。通过精心设计提取损失（通常将硬标签与软化的教师预测值结合[16]或中间特征对齐），学生模型不仅可以模仿最终预测结果，还可以模仿教师模型的内部表示行为，从而比仅使用传统监督训练的模型具有更好的泛化能力和鲁棒性。本质上，KD架起了过度参数化网络中“黑暗知识”与轻量级架构实际部署要求之间的桥梁，使其成为现代深度学习研究中最有效和广泛采用的模型压缩策略之一。

因此，像物联网和车载互联网系统这样的边缘设备迫切需要在入侵检测中平衡检测精度和计算效率。受此启发，我们开发了一个基于网络内网络（NIN）架构的IDS模型，能够高效完成网络防御功能。同时，我们提出了一种基于矩匹配的新型中间层知识提取策略，可以将教师模型的性能和效率传递给学生模型，同时考虑了检测性能和效率。

**本研究的主要贡献总结如下：**
• 我们引入了一种复合令牌化策略，将异构网络数据与神经架构的输入要求对齐。通过将数据包级别的协议字段和流级别统计信息映射成统一的离散语义令牌序列，使得模型能够捕捉不同数据层之间的深层空间相关性。在此基础上，我们设计了一个轻量级的NIN模型，用高效的令牌混合和通道混合操作取代了传统的自注意力机制。该架构用深度一维卷积替换了令牌混合，并采用紧凑的多层感知器进行通道混合，大大降低了计算复杂性。通过多个NIN模块的堆叠，模型输出适合下游任务的固定长度潜在表示，而无需承担注意力机制的二次成本。这种设计在表示能力和效率之间取得了适当的平衡，因此适用于资源受限的入侵检测场景。
• 我们进一步开发了一种基于矩匹配的知识提取（MMKD）方法，将教师的潜在表示传递给轻量级的学生模型。该方法不依赖于输出概率对齐，而是通过匹配教师和学生嵌入的一阶和二阶统计特性来实现。具体来说，学生模型被引导去近似教师模型的平均特征响应，而通过匹配方差或协方差实现更高阶的对齐，使学生模型能够捕捉全局分布特征和特征间依赖性。结合标准分类监督，MMKD保留了教师模型学习的表示结构，同时大幅降低了模型复杂性，非常适合资源受限环境中的入侵检测。
• 实验表明，MMKD可以有效地传递教师模型的性能，使学生模型获得与教师模型相似的有效表示。与前馈输出分布对齐或逐层特征匹配不同，所提出的方法通过匹配教师和学生潜在表示的一阶和二阶统计特性来传递知识。这种形式保留了教师学习的全局分布特征和特征间关系，同时避免了Kullback–Leibler散度对预测置信度和温度调整的敏感性。此外，由于直接操作在紧凑的潜在嵌入上，所提出的方法消除了计算成本高昂的中间层提取的需要。
• 在涵盖物联网、车载互联网、工业物联网和边缘网络场景的四个公共基准数据集上进行了广泛的实验。所提出的模型在多个评估指标上一致表现出色，证明了其在多样化网络环境中的有效性。特别是，MMKD使学生模型的性能与教师模型相当，同时保持了显著更轻的架构。与最近的最先进研究相比，我们的方法在检测精度方面具有明显优势，突显了其在资源受限部署中的实际价值。

**本文的其余部分组织如下：**
第2部分回顾了使用知识提取的入侵检测的最新研究；第3部分介绍了本文提出的入侵检测模型和知识提取方法；第4部分描述了数据集、评估指标和实验设置；第5部分展示了实验结果的分析；第6部分是讨论和结论。

**相关工作**
作为有效的模型压缩方法，知识提取通过匹配输出分布或中间表示来指导学生模型模仿教师模型的行为。实际上，这通常通过在训练过程中最小化硬标签和软标签提取损失的组合来实现。硬标签损失通常定义为真实标签y和学生预测ps之间的交叉熵，Lhard=CE(y,ps)。

**方法论**
在本部分中，我们将介绍特征令牌化、NIN架构、入侵检测模型、矩匹配知识提取以及整个IDS框架。

**数据集描述**
实验是在四个公开可用的基准数据集上进行的，这些数据集涵盖了多种网络环境和入侵场景。
• ToNIoT [30] 收集了来自异构设备和服务的真实物联网流量，代表了智能环境中的各种攻击行为。
• CICIoV2024 [31] 关注车载网络，反映了车载互联网场景中的新兴安全威胁，并对攻击类型进行了细粒度分类。
• Edge-IIoTset [32] 是专门为...

**混淆矩阵评估**
我们分别展示了在四个数据集上通过MMKD提取的教师模型和学生模型的混淆矩阵。混淆矩阵提供了不同攻击类别的分类性能的详细视图。行表示真实标签，列表示预测标签，数值按行进行了归一化。对角线条目表示正确分类率，非对角线条目表示攻击类型之间的误分类。

**讨论**
所提出的NINMix-KD有效地解决了在资源受限的物联网设备上部署高精度入侵检测模型的挑战。通过在NINMix编码器中用高效的令牌和通道混合操作取代自注意力机制，教师模型实现了具有线性复杂性的强大序列建模。矩匹配知识提取进一步通过 align 噪声嵌入的一阶和二阶统计信息，使高度紧凑的学生模型能够继承结构化的潜在表示。

**作者贡献声明**
穆林：撰写——原始草稿、软件、方法论、形式分析、概念化。
张大民：撰写——审阅与编辑、资源。
赵洁：撰写——审阅与编辑。
杨宇涵：撰写——审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了中国国家自然科学基金（编号52578067）的支持。