基于记忆引导的掩模重建技术结合中心对比学习方法，用于实现鲁棒的多变量时间序列异常检测

《Neural Networks》：Memory-Guided Mask Reconstruction with Central Contrastive Learning for Robust Multivariate Time Series Anomaly Detection

提出基于全局关联记忆模块和中心对比学习策略的MMR-CCL方法，通过记忆模块存储多时间窗口的关联信息指导mask重建，缓解语义偏差和过拟合问题，有效区分正常与异常样本。

　　

何乐|高欣平|刁新平|李源|田成明|林玉坤|薛冰|王太志

北京邮电大学智能工程与自动化学院，北京，100876，中国

摘要

基于掩码重建的无监督多变量时间序列异常检测（MTSAD）方法使用掩码操作来模拟时间序列中的细粒度局部细节。然而，现有方法在掩码过程中引入了语义偏见，这影响了时间依赖性的准确提取。此外，这些方法容易过拟合具有强局部相关性的受污染数据。同时，现有的基于对比学习的MTSAD方法难以在正样本和负样本之间建立清晰的特征分布，限制了模型从正常数据中捕获高级语义信息的能力。本文提出了一种结合记忆引导的掩码重建方法和中心对比学习（MMR-CCL）。MMR-CCL构建了一个全局相关性感知的记忆模块，以捕获跨时间窗口的全局共性信息，从而指导重建过程。这种机制减轻了掩码操作引起的语义失真，提高了模型对时间上下文的理解能力。此外，设计了一个记忆调节因子来量化数据中的全局-局部相关性差异，抑制了对受污染数据的过拟合。此外，MMR-CCL提出了一种记忆锚定的中心对比学习策略，以精确提取高级语义信息。该策略使用未掩码的数据作为中心锚定样本，用噪声填充掩码部分来生成负样本。通过最大化正样本和负样本相对于中心锚定样本的向量之间的角度距离，MMR-CCL确保掩码重建结果与正常模式空间一致，从而建立了更合理的判别边界。在六个公共数据集上的广泛实验表明，MMR-CCL的性能优于22种典型的MTSAD方法。

引言

多变量时间序列异常检测（MTSAD）最近已成为一个重要的研究方向（Zamanzadeh Darban等人，2024年），在网络安全（Chen, Zhang, Qin, Fan, Jiang, Liang, Wen, Deng, 2024a; Ma, Nie, Guan, He, Gao, 2024年）、医疗保健（Niu等人，2025年）和交通（Lee, Lee, 2024年；Ren, Li, Peng, Chen, Tan, Wu, Shi, 2024年）等领域有广泛的应用。通过整合来自采集设备的多源监控信号生成多变量时间序列（MTS）数据，可以监测网络物理设备中的潜在故障和威胁，从而确保系统的稳定运行。然而，在大量正常样本中，异常样本通常很少，准确标记所有异常样本的成本往往非常高。因此，MTSAD主要依赖于无监督方法。

无监督方法主要分为基于机器学习（ML）和深度学习（DL）的方法。经典的机器学习方法，如局部异常因子（LOF）（Breunig等人，2000年）、一类支持向量机（OCSVM）（Sch?lkopf等人，1999年）和隔离森林（IF）（Liu等人，2012年），具有基本的异常检测能力。然而，这些方法基于正常数据是独立同分布的假设，这使得有效利用数据中的相关性信息变得困难。相比之下，基于DL的方法可以更好地利用MTS的时间和空间相关性特征。因此，基于DL的方法（Chen, Gao, Liu, Zhang, Diao, Wang, Lu, Meng, 2025年；Chen, Zhang, Ma, Liu, Ding, Li, He, Rajmohan, Lin, Zhang, 2023年；Dong, Wu, Zhang, Zhang, Wang, Long, 2023年；Xu, Wu, Wang, Long, 2022年）已成为主流的MTSAD方法。

基于DL的方法主要分为基于预测的方法（Deng, Hooi, 2021年；Wu, Hu, Liu, Zhou, Wang, Long, 2023年）和基于重建的方法（Audibert, Michiardi, Guyard, Marti, Zuluaga, 2020年；Chen, Zhang, Ma, Liu, Ding, Li, He, Rajmohan, Lin, Zhang, 2023年；Dong, Wu, Zhang, Zhang, Wang, Long, 2023年；Xu, Wu, Wang, Long, 2022年）。基于预测的方法使用历史数据来预测和识别偏离预测结果的时间点作为异常。然而，由于时间序列数据的不可预测性，针对长序列的预测模型受到时间模式漂移的显著影响，导致模型性能显著下降。相比之下，基于重建的方法表现出更好的性能。这些方法在潜在空间中学习正常数据的低维表示模式，通过潜在空间嵌入实现数据压缩和重建。通过有效利用序列中的上下文信息，基于重建的方法减轻了不可预测性的影响，从而在处理更复杂的时间模式时获得了更好的检测结果。

最近的研究（Cheng, Sheng, Wang, Sun, Xiao, Yang, Teng, Luan, Gao, 2025年；Qiu, Xie, Niu, Xiong, Gao, 2025年；Xu, Miao, Wang, Yu, Wang, 2024年）表明，通过掩码时间戳可以显著提高模型学习细粒度局部语义信息的能力。然而，数据中的固有污染和掩码操作引入的语义偏差（Dong等人，2023年）可能会干扰基于掩码重建的模型对正常模式信息的学习。

图1展示了PSM数据集的可视化。具体来说，图1(a)展示了三种常用的掩码操作，而图1(b)突出了训练数据中偏离正常模式的污染。使用特定值（如0）进行掩码可能会引入与时间序列数据分布无关的数值先验。尽管丢弃掩码数据可以避免无关数值先验的干扰，但它会导致原本不相邻的时间点看起来相邻，从而构建不准确的时间上下文。此外，受污染的实例（如噪声或异常）通常表现出与潜在全局分布强烈的局部相关性。因此，依赖于局部重建的掩码重建模型更容易受到这些异常模式的影响。因此，开发一种利用正常全局语义和异常局部结构的判别能力来抵消污染效应的异常检测方法至关重要。尽管对比学习方法可以提高学习高级语义信息的能力（Yu等人，2024年），但它们往往无法在正样本和负样本之间建立清晰的边界。这一缺点使得它们无法准确提取代表正常模式数据的典型特征信息。因此，有必要引入一种更有效的方法来构建正样本和负样本，以及损失函数的约束机制。

为了解决上述问题，MMR-CCL使用记忆模块存储全局相关性感知信息，从而指导掩码重建过程。这种方法确保了细粒度局部信息的提取，同时减轻了训练数据的语义特征与正常模式的偏差，这是掩码操作和受污染数据可能导致的。在掩码重建过程中，设计了一个记忆调节因子来量化数据中的全局和局部相关性差异。该因子使记忆模块优先存储具有更强全局相关性的正常模式信息。此外，MMR-CCL采用中心对比学习策略，使用完整窗口的重建结果作为中心锚定样本，在特征空间中形成正样本和负样本的精确差异分布。总之，本文的主要贡献可以总结如下：

•

提出了一种用于MTSAD的记忆引导的掩码重建方法。具体来说，MMR-CCL引入了一个全局相关性感知的记忆模块。通过利用历史学习的全局相关性，该模块指导掩码重建过程，确保与正常模式的语义一致性，从而提高模型对正常行为的理解能力。此外，引入了一个记忆调节因子，根据正常数据和受污染数据的局部和全局相关性差异自适应调整损失权重，显著提高了模型在复杂环境中的鲁棒性。

•

提出了一种记忆锚定的中心对比学习策略。全局视图的重建结果作为中心锚定样本。正样本通过掩码重建生成，负样本通过填充噪声创建。通过最大化正样本和负样本形成的向量与中心锚定样本之间的角度距离，增强了模型从正常数据中提取高级语义信息的能力。

•

进行了全面而精心设计的实验研究。使用AUC-ROC、Fc₁、F1_PA%K和VUS-PR等指标评估了所提出方法和22种典型相关比较方法的性能。结果表明，MMR-CCL在所有数据集中都表现出优异的性能，并保持了稳定性。此外，消融研究和参数敏感性实验验证了MMR-CCL中每个模块设计的有效性。

本文的后续部分结构如下：第2节提供了几种相关MTSAD方法的概述。第3节详细描述了所提出的MMR-CCL方法。第4节详细介绍了性能评估。最后，第5节总结了关键发现。

相关工作

本文提出的方法是基于重建的，结合了掩码重建和对比学习。因此，有必要回顾典型的基于重建的MTSAD方法，特别是基于掩码重建的方法以及与对比学习相关的方法。

问题描述

时间序列数据通常以连续且均匀间隔的方式记录。输入时间序列表示为

$T=\{t_1^{\text{Dim}},t_2^{\text{Dim}},,t_L^{\text{Dim}}\}$，其中L是时间序列的长度，每个$t_i^{\text{Dim}}$（i∈[1, L）表示第个时间点的观测值。$t_i^{\text{Dim}}$表示维度，当Dim>>1时，数据被认为是多变量的。

异常检测模型为每个时间戳评估一个异常分数，分类由

实验

本节展示了MMR-CCL与22种典型异常检测方法性能的实验比较，以证明其有效性。第4.1节介绍了本文使用的数据集。第4.2节描述了评估指标。第4.3节详细介绍了实现细节。第4.4节分析了实验结果，包括比较方法和MMR-CCL本身的性能，以及不同模型效果的研究

结论

本文提出了一种名为MMR-CCL的无监督MTSAD方法。MMR-CCL采用基于随机掩码率的 drop mask 策略从输入时间窗口生成两个互补的掩码视图。为了减轻污染的影响，MMR-CCL使用记忆模块重建未掩码的全局视图，并结合全局-局部相关性感知的记忆调节因子来减少污染信息的引入。

作者声明

我们声明这篇题为“具有中心对比学习的记忆引导掩码重建用于鲁棒的多变量时间序列异常检测”的手稿是原创的，之前未发表过，也没有正在其他地方考虑发表。

我们确认所有列出的作者都已阅读并批准了该手稿，并且没有其他符合作者资格但未列出的人。我们进一步确认作者的顺序

CRediT作者贡献声明

何乐：写作 – 审稿与编辑，撰写 – 原始草稿，软件，方法论，形式分析。高欣平：写作 – 审稿与编辑，撰写 – 原始草稿，监督，资源获取，方法论，资金获取，形式分析，概念化。刁新平：资源获取，资金获取，概念化。李源：资源获取，资金获取，概念化。田成明：验证，软件。林玉坤：验证，软件。薛冰：验证，软件。王太志：

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢机器学习小组的同事们对本文的讨论。这项工作得到了中国国家电网有限公司（5216A025000M-057-ZN）和北京邮电大学高性能计算平台的支持。