一种针对存在连续缺失值场景的新型端到端无监督异常检测方法

《Expert Systems with Applications》：A novel end-to-end unsupervised anomaly detection method for scenarios with continuous missing values

　　

史增|德昌皮

摘要

在现实世界场景中，异常数据的动态非线性特征及其稀缺性给异常检测带来了双重挑战：一方面是误差传播问题，另一方面是模式混淆问题。此外，连续缺失值对数据固有结构的破坏进一步严重降低了传统检测方法的有效性。目前大多数解决方案采用传统的两阶段处理流程，在插补过程中误差的传播会阻碍对缺失数据与异常数据之间复杂关联的有效捕捉。为此，我们首先构建了基于梯度惩罚的Wasserstein生成对抗网络（GW-GAIN）来应对连续缺失值的问题。该网络利用梯度惩罚机制和Wasserstein距离策略，在保持生成数据与原始数据特征一致性的同时，有效防止了模式坍塌，从而以最佳的多样性和保真度重建缺失数据。随后，我们基于该插补网络提出了一种端到端的无监督异常检测方法（CIAD），该方法将数据插补与异常检测整合到一个统一的优化框架中，使得在训练过程中无需外部数据即可自动学习伪异常样本，从而减少插补偏差。通过使用九个公开可用的数据集和五种常用的评估指标，我们在不同的缺失阈值和缺失窗口条件下评估了该方法的异常检测性能。与十一种最先进方法的对比结果显示，该方法在每个数据集的多场景异常检测任务中均优于所有基线方法。特别是，其召回率和AUPR指标分别提高了8.038%和7.873%。此外，针对包含低、中、高异常比例的典型数据集进行的消融分析表明，各个组成部分都在不同程度上提升了整体性能。同时，不同异常比例场景下各组成部分的贡献权重也有所不同。实验结果表明，该方法在连续缺失值的场景中能够有效进行时间序列异常检测，为具有连续缺失值的数据集提供了有效的无监督异常检测解决方案。