基于皮尔逊-深度神经网络（Pearson-Deep Neural Network）与Transformer混合模型的工业物联网入侵检测

《Engineering Applications of Artificial Intelligence》：Industrial Internet of Things intrusion detection based on a hybrid model of Pearson-Deep Neural Network And Transformer

工业物联网入侵检测系统面临高维数据、时序依赖和噪声干扰问题，本文提出P-DNT混合模型，结合Pearson相关系数进行特征筛选，DNN提取高维特征，Transformer捕捉长时序依赖，在Edge-IIoTset和WUSTL-IIoT-2021数据集上分别达到99.98%和99.12%的准确率。

　　

杜颖|宁傲生|程璞|罗山·库马尔|杜晓宇

河南大学计算机与信息工程学院，开封，457004，河南，中国

摘要

随着工业物联网（IIoT）设备的快速增长和网络复杂性的增加，数据的安全性和隐私保护已成为一项关键任务。基于深度学习的入侵检测系统（IDS）在IIoT环境中展现了显著的能力，能够有效识别网络攻击。然而，现有系统往往未能充分考虑IIoT数据的独特特性。为了解决这些问题，本文提出了一种混合模型入侵检测系统，专门针对IIoT数据集的独特特性进行了设计。该模型名为Pearson-Deep Neural Network-Transformer（P-DNT），结合了Pearson相关系数（PCC）、深度神经网络（DNN）和Transformer架构的优点。首先使用PCC有效评估来自不同设备的数据之间的相关性，筛选出与入侵检测最相关的特征。随后，通过将DNN的高维信息提取能力与Transformer的注意力机制相结合来构建P-DNT模型。该模型不仅可以自动从高维数据中提取特征，还能捕捉时间序列数据中的长距离依赖关系，从而增强处理复杂时间信息的能力。实验结果表明，该模型在二分类阶段的准确率为99.98%，在多分类阶段的总体准确率为99.12%，与现有的最先进模型相比具有竞争力。

引言

工业物联网（IIoT）是物联网（IoT）在工业领域的应用，由智能设备、传感器和工业机械组成的高度互联网络构成。其主要目标是通过实时数据收集、共享和高级分析来提高生产效率、优化决策过程，并推动工业过程的智能化和自动化（Abdel-Basset等人，2020年；Alani，2023年）。Mordor Intelligence估计，2024年IIoT市场的价值约为1146.8亿美元，预计到2029年将达到5030.7亿美元，2025年至2029年的复合年增长率（CAGR）为34.41%https://www.mordorintelligence.com/zh-CN/industry-reports/industrial-internet-of-things-iiot-market。IIoT设备的广泛部署和快速增长产生了大量数据，吸引了恶意行为的关注，使其成为网络攻击的主要目标（Tsimenidis等人，2022年）。

因此，在IIoT环境中保护敏感数据、减轻潜在攻击以及实现快速检测/响应网络攻击已成为当务之急。应对这些挑战需要开发和实施先进的网络安全框架（例如IDS），以确保工业系统的可靠性、数据完整性和运营安全。

IDS是信息安全的基本组成部分，旨在检测异常系统活动（Fedorchenko等人，2022年）。根据检测方法的不同，IDS实现通常分为两类：基于签名的检测系统和基于异常的检测系统（Khraisat等人，2019年）。基于签名的检测系统（也称为特征检测）将网络流量与已知攻击签名数据库进行匹配，但无法识别未知或零日攻击。基于异常的检测系统利用机器学习（ML）技术来检测行为偏差，从而对新型威胁更加有效（Vaiyapuri等人，2021年）。

现有研究中提出了多种数据集和方法来识别IIoT网络中的网络攻击（Mudhafar Nuaimi等人，2023年）。然而，检测系统的性能不仅取决于模型或算法，还取决于数据集的质量（Fenza等人，2021年）。目前，大多数研究仍然依赖于过时的数据集，这些数据集要么不是为IoT环境设计的，要么忽略了IIoT流量的独特特性。例如，Aposemat IoT-23（Alghamdi和Bellaiche，2022年）、Ton-IoT（Tareq等人，2022年）和CIC-IoT-2023（Neto等人，2023年）数据集缺乏真实的IIoT数据，而2022年发布的Edge-IIoTset数据集包含约2100万条观测记录，涵盖了14种攻击类型和正常流量，并提供了63个特征（包括标签）。

Edge-IIoTset数据集在IIoT入侵检测研究中得到了广泛应用（TarafAl Nuaimi等人，2023年）。尽管机器学习和深度学习（DL）模型取得了显著成果，但大多数研究并未充分考虑IIoT数据的独特特性。与其他类型的数据相比，IIoT数据的组合特性——高维度、强烈的时间依赖性和高噪声水平——共同带来了一系列核心技术瓶颈。一方面，这使得数据清洗和对齐变得异常困难，影响了数据的可靠性；另一方面，这也给构建可靠的特征表示带来了挑战，最终限制了入侵检测模型在复杂工业场景中的准确性和实用性。由于IIoT数据量庞大，降维已成为降低计算复杂性和提高模型效率的关键步骤。这些独特特性要求更先进的模型设计。然而，许多研究依赖于多阶段或复杂的模型，这些模型未能充分考虑IIoT环境的特定特征，从而限制了其方法的适用性和有效性。

为了解决上述研究中的不足，本文提出了一种结合Pearson相关系数（PCC）、深度神经网络（DNN）和Transformer的混合模型。该模型首先使用PCC评估不同设备类型数据之间的相关性，进行降维并选择与入侵检测最相关的特征。然后利用DNN自动从数据中提取高级特征，提升分类性能。接下来，Transformer的注意力机制捕捉时间序列数据中的短距离和长距离依赖关系，有效处理复杂的时间数据。这种方法在满足IIoT环境的实时性、高维性和时间性要求的同时，确保了高准确率。

为了解决上述问题，本文提出了一种混合模型，其主要创新点如下：

• •
  本文提出的P-DNT是一种新型的基于深度学习的混合模型，旨在解决现有研究中普遍忽视的IIoT数据独特特性问题。具体而言，IIoT数据具有三个关键特征：高维度、设备异构性和严格的实时性要求。高维度可能导致维度灾难。为了解决这一挑战，本文首先采用基于PCC的特征选择方法，以最小的计算成本筛选出与攻击行为最相关的特征子集，从而实现降维。仅分析单个数据点的静态模型无法识别依赖于序列模式的复杂攻击。为此，我们设计了以Transformer为中心的时间建模模块，利用Transformer强大的全局依赖性建模能力来捕捉长距离时间相关性。此外，高噪声水平可能导致高误报率和信号淹没。为了解决这些问题，我们设计了P-DNT模型，其中DNN前端学习对噪声相对鲁棒的高阶特征表示；层次化注意力机制通过学习为关键时间点和特征分配更高的权重来抑制无关噪声干扰，从而提高模型在噪声环境中的决策准确性和可靠性。
• •
  在模型架构设计中，本文用层次化注意力机制替换了Transformer中的传统自注意力机制。自注意力机制需要对整个输入序列进行全局建模，这会导致较高的计算成本，并难以捕捉局部特征。为此，我们采用了层次化注意力机制，将数据划分为多个子序列，并在局部和全局层面提取特征。在最后阶段，融合多层次信息，不仅降低了计算复杂性，还实现了对层次数据的更有效建模，最终提高了模型性能。
• •
  与在Edge-IIoTset数据集上训练的现有研究进行了详细比较，并使用关键指标（准确率、精确度、召回率和F1分数）分析了P-DNT模型的性能。为了验证模型的泛化能力，我们还在WUSTL-IIoT-2021数据集上进行了进一步评估，将其性能与现有先进模型进行了比较。
• •
  本研究通过一系列精心设计的消融训练系统地评估了模型中每个关键组件的贡献和有效性。在此基础上，通过集成可解释的五折交叉验证方法，从统计角度严格验证了模型预测结果的可靠性。本文的后续部分安排如下：第2节回顾相关研究，概述现有研究及其局限性；第3节详细介绍所提出的P-DNT模型，包括设计概念和实现细节；第4节讨论实验设计和分析结果，展示模型在各种指标上的性能和优势；最后，第5节总结本研究的主要贡献，仔细探讨其局限性和未来研究的方向和前景。

相关研究

相关工作

近年来，IIoT网络安全领域发展迅速，吸引了众多研究人员的关注。这些研究致力于解决复杂的网络攻击问题，并提出了多种高效的降维技术和建模方法。本节主要回顾了应用于Edge-IIoTset数据集的分类问题的降维技术和DL方法的相关研究。

数据集描述

Edge-IIoT数据集于2022年发布，是一个来自十多种不同类型IoT设备的真实世界工业数据集。测试平台包括七个互连层：云计算、网络功能虚拟化、区块链网络、雾计算、软件定义网络、边缘计算以及IoT和IIoT感知层。为了评估模型，本研究使用了名为DNN的CSV文件。该文件包含大量样本，使得

实验评估

本研究的所有实验均在Windows 11 64位操作系统平台上进行。本地硬件配置包括Intel? Core? i7-11800H处理器（基础频率2.30 GHz）和16.0 GB内存。为了满足深度学习模型的高计算需求，训练和评估任务主要在Google Colab云平台上完成。该环境提供了NVIDIA T4或V100 GPU计算资源，拥有约12.68 GB的专用

结论

本文探讨了基于深度学习的入侵检测系统在保护IIoT系统方面的有效性，并提出了一种创新的入侵检测系统P-DNT。该系统专为IIoT网络的独特环境设计，这些网络具有高维度、强烈的时间依赖性和高噪声水平。该系统整合了PCC、DNN和Transformer技术：

• 首先，使用PCC有效评估不同设备生成数据之间的相关性

CRediT作者贡献声明

杜颖：资金获取、正式分析、数据整理、概念构思。宁傲生：撰写——审阅与编辑、撰写——初稿、可视化、验证、监督、软件。程璞：监督、软件、资源、项目管理。罗山·库马尔：资源、项目管理、方法论、调查。杜晓宇：验证、资金获取、正式分析。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本项工作得到了中国河南省科学技术厅的关键研发与科技促进专项（252102210175, 252102210115, 232102210071, 242102210202, 242102210196）以及开封市科技发展计划（2201010）的支持。