基于记忆增强自编码器和一类支持向量机的多特征无监督时间序列异常检测

《Engineering Applications of Artificial Intelligence》：Multi-feature unsupervised time series anomaly detection based on memory-augmented autoencoder - One-Class support vector machine

针对高维不平衡时间序列数据异常检测中存在的过拟合和低效核函数问题，提出MemAE-OCSVM模型，通过记忆增强自编码器学习可区分特征表示，构建自适应深核函数，结合OCSVM优化异常检测边界，实现端到端联合训练，有效抑制过拟合并提升检测精度。实验在三个公开数据集上验证，F1-score和召回率分别提高3.8%和3.2%，显著优于基线模型。

　　

郭国成|阮汉星|李旭欣|刘琪|刘聪|王泽康|李向波|于建涛|郭娟

中国地质大学机械工程与电子信息学院，武汉，430074，中国

摘要

在应用于高维和不平衡数据时，无监督时间序列异常检测面临关键挑战。深度自编码器倾向于过度泛化，导致异常样本的重构误差较低，从而漏检。另一方面，一类支持向量机（OCSVM）依赖于手动选择的核函数，这些核函数通常计算效率较低。为了解决这些问题，本文提出了记忆增强自编码器-一类支持向量机（MemAE-OCSVM）模型。该模型将记忆增强自编码器（MemAE）与OCSVM集成在一起。MemAE学习具有区分性的特征表示，取代了传统的核函数。这种方法构建了一个自适应的深度核函数。同时，OCSVM在特征空间中建立了一个最优决策边界，增强了异常识别能力。该模型采用端到端的联合训练框架，实现了特征学习和异常检测的协同优化。本研究的主要创新包括：引入多特征融合和记忆增强机制以改善复杂正常模式的表示；基于MemAE设计自适应深度核函数，避免了手动选择核函数的局限性；构建端到端的无监督联合训练框架，以缓解多阶段训练中常见的目标不一致性问题。在三个公共数据集上的实验表明，MemAE-OCSVM的平均F1分数和召回率分别为0.934和0.958。这些结果比最佳基线模型分别提高了3.8%的F1分数和3.2%的召回率。消融研究证实了每个模块的有效性。在不同异常率下的测试显示了该模型的强大鲁棒性。这项研究为复杂场景下的实时异常检测提供了有效的解决方案，具有理论意义和实际应用价值。

引言

工业物联网和医疗数字化的快速发展显著增加了多变量时间序列数据的量和复杂性（Wang等人，2020年），这些数据包含了关于系统运行状态的关键信息（Chen和Sun，2022年；Xu等人，2022年）。异常检测在从预测性维护（可提高十倍的投资回报）到使用心电图信号的早期诊断等各种应用中发挥着重要作用（Villarreal-Vasquez等人，2023年；Wang等人，2022年）。在监控控制和数据采集系统以及物联网监控平台等工业环境中，实时异常检测对于防止设备故障、优化运行效率和确保安全合规性至关重要。然而，在这些实际环境中部署异常检测模型需要仔细考虑操作约束，包括推理延迟、吞吐量要求和误报管理。

在现实世界应用中，异常样本的极度稀缺往往导致监督学习方法的性能较差（Zhou等人，2023年；Weng和Liu，2019年；Munir等人，2019年），这使得无监督异常检测技术成为越来越重要的研究焦点（Pu等人，2021年；Min等人，2021年）。现有的无监督方法在处理具有复杂时间模式的高维非线性数据时表现出显著的限制。基于统计特征或浅层机器学习的方法，包括季节性混合极值学生化偏差检验和自回归积分移动平均模型，严重依赖于手动特征工程和阈值配置（Liu等人，2022年），在自动从高维数据中提取区分性特征方面能力有限。尽管深度学习技术如长短期记忆-变分自编码器和图自编码器具有强大的特征学习能力，但它们经常出现过泛化问题（Meng等人，2020年），即使对于异常输入，解码器也可能产生较低的重建误差，导致误报率升高。同样，一类分类方法如一类支持向量机试图通过在特征空间中建立紧密的决策边界来识别异常（Lu等人，2020年），但其有效性在很大程度上依赖于手动核选择，并且在大规模、高维数据下面临计算效率挑战。此外，这些方法常常忽略了工业部署中的关键考虑因素，如实时推理约束和操作环境中的误报管理。

为了解决这些限制，本文提出了MemAE-OCSVM，这是一个端到端的无监督异常检测框架，它将记忆增强自编码器的特征表示能力与一类支持向量机的分类能力相结合。我们的框架专门为满足工业应用需求而设计，为对延迟敏感的环境提供了实用的解决方案，同时保持了高检测精度。这项工作引入了三项根本性创新，使其区别于现有的结合表示学习与一类分类的方法。与之前使用传统自编码器进行特征提取的方法不同，我们开发了一种记忆增强原型学习机制，通过动态原型存储和检索明确存储和检索正常模式。这种方法不仅增强了复杂正常模式的表示，还通过基于内容的注意力和硬收缩操作主动抑制了异常重构，直接解决了传统自编码器的过度泛化问题。我们进一步建立了一种新颖的深度核架构，其中记忆增强自编码器作为一个自适应的、可学习的核函数，通过数据驱动的优化和受记忆约束的特征学习，为一类分离创建了一个更具区分性的空间。最重要的是，我们实现了一个端到端的联合训练框架，同时优化了特征学习和异常检测，直接解决了传统两阶段方法中固有的目标不一致性问题，即自编码器优化重建而不考虑后续的分类目标。这种统一优化确保了特征表示是为一类分离量身定制的，实现了记忆增强自编码器和一类支持向量机之间的协同优化。

为了验证这些贡献，我们进行了全面的消融研究，将我们的联合训练策略与具有相同能力的等效两阶段方法进行了比较，纳入了额外的基于记忆的基线，并将我们的评估扩展到了最先进的多变量异常检测方法。我们还通过一个关于监控控制和数据采集（SCADA）系统监控的工业案例研究，展示了我们方法的实际适用性，评估了包括推理延迟、吞吐量和误报管理在内的关键部署指标，在实际操作场景中进行了评估。

研究方法

异常检测的目标是评估一个输入的多特征样本集$X=\{x_1,x_2,?,x_N$。正常样本被赋予一个输出$y_i=0$，而异常样本产生一个输出$y_i=1$。大多数模型输出一个实数值结果y。这个值表示距离决策阈值的距离或成为异常的概率。本质上，模型形成了一个异常评分函数$\xi (·)$。这个函数确保正常样本获得的分数低于异常样本。

如图1所示，

模型架构

所提出的基于MemAE-OCSVM的多变量时间序列异常检测模型的架构如图6所示。MemAE由一个LSTM网络和一个记忆模块组成。

来自记忆寻址过程的输出被传递给OCSVM进行异常检测。MemAE和OCSVM以端到端的方式共同训练。这种方法避免了分别训练组件时难以实现全局优化的难题。它还克服了传统OCSVM的局限性

评估指标

所提出的模型旨在识别正常时间序列序列中的异常。由于异常样本极为罕见，这项任务不属于传统的二分类问题。此外，正样本和负样本之间的显著不平衡使得传统的评估指标（如准确性）不适用。我们引入了适用于类别不平衡场景的评估指标：精确度、召回率和F1分数。

结论

本文提出了MemAE-OCSVM，这是一种新颖的多变量时间序列无监督异常检测框架，通过三项根本性创新解决了现有方法的关键限制。与结合表示学习与一类分类的传统方法不同，我们的方法引入了架构上的改进，为异常检测建立了新的范式。

我们开发了一种记忆增强原型学习机制，显著

CRediT作者贡献声明

郭国成：写作——审稿与编辑、监督、资源获取。阮汉星：写作——原始草稿、可视化、验证、方法论、调查、正式分析、数据整理。李旭欣：验证、软件、概念化。刘琪：调查、正式分析。刘聪：方法论、数据整理。王泽康：可视化、验证。李向波：监督、概念化。于建涛：监督、数据整理。郭娟：写作——审稿

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（62371429）、湖北省自然科学基金（2022CFB089）、教育部地质调查与评估重点实验室开放基金（GLAB2023ZR07）和中央高校基本科研业务费的支持。

郭国成1975年出生于中国黑龙江省。他于2014年在中国地质大学武汉分校获得地球探测与信息技术博士学位。2013年，他作为访问学者在俄罗斯托木斯克西伯利亚联邦大学/俄罗斯科学院工作；2013年至2014年在中国合肥的中国科学技术大学担任访问学者；2016年至2017年在美国杜克大学担任访问学者。