基于变压器的物联网网络流量分类方法：结合流量到窗口聚合技术

《Internet of Things》：Transformer-Based Classification of IoT Network Traffic with Flow-to-Window Aggregation

物联网入侵检测中的Transformer模型与窗口聚合方法，通过固定时长窗口聚合网络流并利用自注意力机制捕捉并发流量关系，在CICIoT2023数据集上实现97.9%加权F1分数和99.6%宏ROC-AUC，验证了该方法在资源受限环境下的高效性和有效性。

　　

Sergio Martin-Reizabal|Adrian Caballero-Quiroga|Beatriz Gil-Arroyo|Nu?o Basurto|Ruben Ruiz-Gonzalez

应用计算智能小组（GICAP），布尔戈斯大学，Cantabria大道，布尔戈斯，09006，西班牙

摘要

物联网（IoT）的爆炸性增长导致了日益复杂和异构的网络流量，这对入侵检测提出了重大挑战。大多数现有的机器学习和深度学习方法都是在单个数据流的层面对网络流量进行建模的，这限制了它们捕捉并发通信之间上下文关系的能力。本文介绍了一个基于Transformer的IoT入侵检测框架，该框架将网络流量聚合成固定长度的窗口，并将每个数据流视为输入序列中的一个标记。自注意力机制能够捕捉并发数据流之间的上下文关系，从而在不依赖循环的情况下有效建模时间依赖性。在CICIoT2023数据集上进行的实验表明，所提出的模型在时间阻塞的交叉验证下实现了97.9%的加权F1分数和99.6%的宏观ROC-AUC，同时保持了高计算效率。这些结果表明，数据流到窗口的聚合结合自注意力机制为IoT网络安全提供了强大且可扩展的基础，适用于边缘计算和智能家居环境。

引言

近年来，物联网（IoT）设备的多样性导致了网络流量的爆炸性增长。由于设备、协议和通信模式的多样性，这种流量具有独特的特征，这使得应用传统的威胁检测和分类方法变得困难[1]。预计到2034年，全球IoT设备的数量将达到406亿台，是2025年预期数量的两倍多[2]，其中许多设备运行着基本固件，计算资源有限，安全性较弱[1]。这种情况对入侵检测系统（IDS）提出了挑战：传统的签名或基于规则的监控方法缺乏检测新行为的灵活性，而且通常需要比IoT环境所能提供的更多的处理能力。因此，IDS通常部署在网关、路由器、边缘节点或云中，在这些地方可以监控流量而不会耗尽终端设备的有限资源[3]。

在IoT环境的入侵检测特定背景下，实时流量分类是第一道防线。传统上，这个问题从两个互补的角度来处理。首先，文献中包括了统计和“轻量级”的机器学习方法（例如支持向量机（SVM）、随机森林、k-最近邻（k-NN）等），尽管这些方法对资源的需求较低，但它们是孤立地处理数据流的，并且难以捕捉时间依赖性[4]。其次，深度学习（DL）解决方案（例如卷积神经网络（CNN）、长短期记忆（LSTM）、门控循环单元（GRU）可以提高准确性，并能处理时间依赖性，但其训练和推理成本对于在家庭网关或边缘计算路由器上的现场执行来说并不实用[5]。

Transformer最近作为一种替代方案出现，它结合了准确性和时间依赖性以及并行计算[6]。与循环模型不同，Transformer使用注意力机制，使模型在每次预测时能够更专注于输入中最相关的部分。没有这种机制的模型，如循环神经网络（RNN），往往难以跟踪长输入中的所有信息，这可能会降低它们随时间理解复杂模式的能力。然而，其在IoT网络安全中的应用仍然研究不足。现有的工作大多关注单个数据流，并且通常将数据流中的每个特征视为一个独立的标记，从而留下了关于分析的最佳细节级别以及如何将IoT流量表示为适合自注意力（Self-Attention）的结构化输入的问题[7]、[8]。

为了弥合这一差距，本文介绍了一个新颖的数据流到窗口聚合框架，旨在使IoT网络流量适合基于Transformer的分析。在这种方法中，每个网络数据流被视为一个单独的标记，同一时间窗口内的所有数据流被组合在一起形成模型的输入序列。本研究的主要贡献总结如下：1.

它提出了一个基于Transformer的IoT入侵检测框架，采用数据流到窗口的公式，其中流量被组织成固定长度的时间窗口，每个完整的网络数据流都被保留为一个标记。这种设计使模型能够捕捉并发数据流之间的上下文关系，而不是孤立地分析数据流或依赖于聚合的窗口级表示。

2.

它探索了不同的上下文窗口大小，以确定每个时间窗口内保留的数据流的最佳数量，以实现准确的预测。

3.

它将所提出的框架应用于一个最近的IoT数据集[9]，并在一个时间上忠实的评估协议下证明了其有效性。

本文的其余部分组织如下。第2节介绍了与我们所提出方法相关的其他现有文献。第3节详细介绍了我们提出的数据流到窗口聚合方法和Transformer模型架构。第4节解释了如何评估所提出方法的性能以及实验设置。第5节展示了结果及其讨论。第6节讨论了结果，并与现有最先进的工作进行了比较。最后，第7节总结了本文并概述了未来的研究方向。

相关工作

相关工作

物联网（IoT）设备的指数级增长给网络安全带来了新的挑战，因为IoT环境的异构性、可扩展性和资源限制增加了它们受到网络攻击的脆弱性。本节概述了三个关键领域的先前工作：IoT网络中的网络安全、用于IoT入侵检测的深度学习，以及Transformer在网络安全和IoT中的应用。

提出的方法

本节介绍了使用Transformer编码器在短时间窗口内对IoT网络活动进行分类的端到端流程。整个工作流程如图1所示，分为四个主要阶段。首先，使用CICFlowMeter处理原始数据包捕获（PCAP）文件以提取每个数据流的统计信息（第3.1节）。接下来，将这些数据流聚合成固定长度的时间窗口，以捕捉并发通信之间的上下文关系（第3.2节）。

材料与方法

本节描述了研究中使用的材料和方法论框架。首先介绍了用于实验的数据集，包括其组成和预处理步骤。然后详细介绍了时间阻塞交叉验证协议，以确保在时间依赖条件下进行现实的评估。随后的小节概述了初步的超参数选择过程，特别关注上下文窗口大小的变化，以便识别

结果

本节展示了从所提出的方法论中获得的实验结果。分析首先考察了上下文长度参数对模型性能的影响，确定了预测准确性和计算效率之间的最佳权衡。随后，报告了10折时间阻塞交叉验证程序的结果，以评估模型在现实的时间依赖条件下的鲁棒性和泛化能力。详细

讨论

实验结果证实，所提出的数据流到窗口Transformer在IoT环境中实现了具有竞争力的入侵检测性能，同时通过时间阻塞的交叉验证保持了时间一致性。在十个时间有序的折叠中平均来看，模型保持了0.9788的加权F1分数和0.9959的宏观ROC-AUC，标准差分别为0.0228和0.0045，显示出预测能力和随时间的稳定性。

结论

本研究提出了一个基于Transformer的IoT网络入侵检测框架，该框架将网络数据流聚合成固定长度的窗口，并将每个数据流视为输入序列中的一个标记。这种数据流到窗口的公式使模型能够通过自注意力学习并发数据流之间的上下文关系，弥合了每个数据流方法和完全顺序方法之间的差距，并使学习过程与实际入侵检测的操作粒度保持一致

写作过程中生成式AI和AI辅助技术的声明

在准备本工作时，作者使用了基于生成式AI的工具来协助语言润色和格式建议。使用这些工具后，作者根据需要审查和编辑了所有内容，并对最终版本的手稿负全责。

CRediT作者贡献声明

Sergio Martin-Reizabal：撰写——原始草稿、可视化、软件、方法论、调查、形式分析、数据管理、概念化。Adrian Caballero-Quiroga：撰写——审阅与编辑、调查。Beatriz Gil-Arroyo：撰写——审阅与编辑、调查。Nu?o Basurto：撰写——原始草稿、验证、监督、资源管理、项目管理、方法论、调查、概念化。Ruben Ruiz-Gonzalez：撰写——原始草稿、验证，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。