ZAD-ML：一种用于多变量时间序列中零日攻击检测的双层学习方法

《Future Generation Computer Systems》：ZAD-ML: Dual-Layer Learning for Zero-Day Attack Detection in Multivariate Time Series

零日攻击检测在多变量时间序列中至关重要，传统方法依赖预设模式无法应对未知威胁。本文提出ZAD-ML框架，采用双层神经网络架构：第一层深度自编码器压缩正常行为模式，第二层RNN结合注意力机制分析时序异常。该框架通过持续学习更新正常行为基线，有效检测零日攻击，并在公开数据集上验证其高准确率和低误报率。

　　

Edward Kwadwo Boahen|Ahmad Salehi Shahraki

加纳通信技术大学计算机科学系，阿克拉，加纳

摘要

在多变量时间序列中检测零日攻击是一个日益重要的领域，这得益于其在安全敏感环境（如网络监控）中的重要性。传统的异常检测方法通常依赖于预定义的模式，而这些模式对于利用先前未识别漏洞的零日攻击无效。为了解决这一限制，我们提出了ZAD-ML，这是一个无监督学习框架，专门用于在不了解攻击特征的情况下通过行为分析来检测零日攻击。ZAD-ML包含一个双层神经网络系统：第一层学习将正常的时间行为模式压缩并编码为密集表示，从而实现高效的异常检测，并能够持续适应和更新对正常行为的理解；第二层通过注意力机制分析时间序列中的行为偏差，使系统能够根据新兴的数据趋势动态更新其正常行为基线。我们结合了深度学习技术来增强模型学习数据行为中复杂模式和异常的能力。我们在四个公共网络数据集上评估了我们的框架，证明了其在检测零日攻击方面的高准确性，并显著降低了误报率。ZAD-ML为实时异常检测提供了一个强大且可适应的解决方案。我们提出的方法的实现现已在https://github.com/don2c/ZAD-ML公开提供。

引言

多变量时间序列数据以其复杂的交互和高维度为特征，在现代数字环境中无处不在[1]、[2]、[3]。它在网络安全等领域中至关重要，因为监控网络流量以检测恶意活动对于维护系统完整性至关重要[4]。挑战在于检测利用此类数据中先前未识别漏洞的未知威胁的零日攻击[5]。这些零日攻击构成了重大的安全风险，因为它们可以绕过传统的异常检测方法[6]、[7]，而这些方法受限于对预定义模式和历史特征的依赖[8]、[9]。这些限制使得关键系统容易受到旨在逃避检测的新颖和适应性威胁的攻击。

虽然联邦自动编码器-区块链模型[10]在心电图数据异常检测方面显示出潜力，但它们的领域特异性和资源开销凸显了需要像ZAD-ML这样的轻量级、适应性方法，以便在实时网络环境中通用。

本文介绍了ZAD-ML，这是一种专为检测多变量时间序列数据中的零日攻击而设计的新型机器学习框架。尽管最近取得了进展，现有模型在动态适应复杂和未知模式方面仍存在困难，尤其是在不断变化的环境中。ZAD-ML通过结合自适应学习和行为分析来实时应对零日攻击，减少了对攻击特征事先知识的依赖[11]。最近的研究（如Xu等人[12]）强调了训练数据集中异常污染的持续问题，其中潜在的异常可能会严重偏置无监督设置中正常性模型的学习[13]。

他们提出的方法COUTA[12]通过创新的校准技术有效缓解了这一挑战，这些技术调整了学习过程以适应受污染的训练数据。受这些发现的启发，ZAD-ML整合了校准策略，以增强对受污染数据的鲁棒性，确保在不断变化的网络环境中更准确地检测异常。这种方法通过解决基于特征的系统的局限性并适应现代高维网络数据的复杂性，提供了关键优势。

ZAD-ML的核心创新在于其独特的两层神经网络架构，该架构无缝集成了深度自动编码器[14]和循环神经网络（RNN）[15]，并增强了注意力机制。这种架构专门设计用于将正常行为模式学习并压缩为密集表示，从而显著促进了微妙和先前未见异常的高效检测。通过不断更新其对正常行为的基线，系统可以适应新出现的威胁，确保安全措施始终是最新的和可靠的。

本工作的重大贡献总结如下：

1. 我们提出了ZAD-ML，这是一个专门用于检测多变量时间序列数据中零日攻击的机器学习框架。通过利用先进的行为分析，ZAD-ML有效地从传统的基于特征的方法转向实时检测新颖和不断演变的威胁。

2. ZAD-ML结合了通过深度自动编码器进行正常行为编码和带有注意力机制的循环神经网络的双层神经网络。这种独特的架构使ZAD-ML能够捕捉复杂的行为模式并检测指示零日攻击的微妙异常，提供动态和适应性的异常检测。

3. 通过增量学习和概念漂移检测，ZAD-ML动态更新其对“正常”行为的理解。这种适应性使ZAD-ML能够根据实时数据流不断优化模型参数，从而在没有预先知道威胁特征的情况下实现可靠的检测。

4. ZAD-ML的有效性在多个公共数据集上进行了严格测试，证明了其在零日攻击检测方面的高准确性，并显著降低了误报率，相比传统方法有显著改善。

为了解决这些贡献，我们提出了以下研究问题（RQ）来指导我们的研究：

RQ1：与传统方法相比，ZAD-ML框架在检测零日攻击方面的有效性如何？这是通过一系列对照实验来评估的，比较了ZAD-ML的检测率和误报率与各种数据集上传统异常检测系统所达到的检测率和误报率。

RQ2：ZAD-ML的适应性如何影响其在操作环境中的有效性？这个问题将通过模拟数据流随时间演变的真实世界场景来探讨，测试ZAD-ML适应新类型零日攻击的检测机制的能力。

RQ3：ZAD-ML的独特双层架构在其检测能力中扮演了什么角色？这是通过分析每一层对整个系统性能的单独贡献来实现的，使用消融研究来突出深度自动编码器和带有注意力机制的循环神经网络的影响。

ZAD-ML的有效性在多个公共数据集上进行了严格测试，证明了其在检测零日攻击方面的高准确性，同时保持了较低的误报率。这种强大且可适应的异常检测解决方案的引入为增强各种领域的实时安全措施带来了重大希望，相比现有方法有显著改进。

本文的结构如下：第2节回顾了时间序列异常检测的相关工作，第3节定义了问题并概述了提出的ZAD-ML框架，第4节详细介绍了实验设置，第5节讨论了结果，第6节总结了我们的发现和未来研究的潜在方向。

相关工作

相关工作

异常检测系统传统上依赖于基于特征的方法，通过将观察到的活动与已知模式进行匹配来识别威胁[16]、[17]。例如，TranAD[18]和其他IDS系统使用签名数据库来检测已知的威胁。虽然这些静态系统对于已知攻击有效，但它们在应对利用未知漏洞的零日攻击时存在困难，导致高误报率，并使系统暴露于不断演变的威胁[19]。

提出的RT-APT

方法论

本节概述了开发和评估ZAD-ML框架所采用的方法论，该框架旨在增强多变量时间序列数据中零日攻击的检测能力。我们首先概述了ZAD-ML的架构，如图1所示，它结合了包括深度自动编码器和带有注意力机制的循环神经网络在内的先进机器学习技术。

研究验证和讨论

本节评估了ZAD-ML框架如何通过针对公共数据集的广泛验证以及其适应变化操作条件的能力来解决提出的研究问题。

时间复杂性分析

ZAD-ML的端到端复杂性包括预处理、特征编码和序列建模。

预处理涉及每个时间步和特征的适应性规范化、智能分割和增强，产生$O(n·m)$，其中n是时间步的数量，m是特征维度。

对于特征编码（深度自动编码器），设d为编码器的输入维度，h为表示隐藏宽度。经过n步的前向传递会产生$O(n·d·h)$，假设

有效性的威胁

内部有效性：尽管使用了5折交叉验证进行超参数调整，但数据集特定的最优参数仍可能产生偏差。未来的工作可以结合自动化超参数搜索（例如贝叶斯优化）来进一步减少调整偏差。另一个内部限制是在受污染的训练数据下校准异常分数的问题仅在高层次上进行了讨论。在这个版本中，我们没有报告不同情况下的完整敏感性分析。

与现有系统的集成

将ZAD-ML集成到现有安全基础设施中需要一种策略性方法，以确保兼容性并增强现有功能而不造成中断。

•

基于API的集成： ZAD-ML可以通过明确定义的API集成，使其能够与现有安全工具和基础设施无缝通信。这种方法支持灵活的集成策略，无需对现有系统进行大量修改。

•

数据流管理： 数据的仔细规划

结论

本研究介绍并验证了一个新型机器学习框架ZAD-ML，该框架利用双层架构结合深度自动编码器和带有注意力机制的循环神经网络在多变量时间序列数据中进行异常检测。这种结构使其能够适应性地学习和识别复杂的数据模式，显著优于传统的静态模型。关键发现包括ZAD-ML更好的适应性和学习能力，使其能够

CRediT作者贡献声明

Edward Kwadwo Boahen：写作 – 审稿与编辑，撰写原始草稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据整理，概念化。Ahmad Salehi Shahraki：写作 – 审稿与编辑，撰写原始草稿，验证，监督，资源，项目管理，方法论，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

Edward Kwadwo Boahen于2009年从Koforidua技术大学计算机科学系获得高等国家文凭，2012年从加纳卫理公会大学获得学士学位。2018年，他从加纳Kwame Nkrumah科学技术大学计算机科学系获得硕士学位。他目前是La Trobe大学的博士候选人。他的主要研究兴趣包括网络通信、网络安全等。