《Neurocomputing》：Assessment of spatio-temporal predictors in the presence of missing and heterogeneous data
编辑推荐：
本文针对时空数据中缺失和异构性带来的模型评估难题，提出了一种基于残差相关性分析的AZ-analysis框架。该研究通过构建时空图来编码稀疏依赖关系，并利用渐进分布自由的摘要统计量，精准定位模型预测 residuals 中的相关模式。实验表明，该方法能在不依赖数据分布假设的情况下，有效识别模型在特定时空区域的不足，为深度学习模型的质量评估提供了新思路。
随着深度学习技术在处理复杂大规模数据方面展现出卓越的预测性能，如何评估这些衍生模型的质量已成为日益严峻的挑战。传统的统计假设在许多情况下不再适用，尤其是在处理时空数据时。这类数据同时具有空间和时间的依赖性，常常表现出非线性动态、时间变异以及缺失观测等特征，因此迫切需要新的精度评估方法。由Daniele Zambon和Cesare Alippi共同完成的研究，正是在这一背景下展开的。他们的论文《Assessment of spatio-temporal predictors in the presence of missing and heterogeneous data》发表在《Neurocomputing》上，旨在解决现有评估方法在复杂数据场景下的局限性。
时空预测神经网络模型通常利用观测数据的时间和空间维度中可能潜在的归纳偏置进行拟合。空间域常以图结构表示，如像素网格、三维网格、道路地图或脑网络等。然而，“空间”一词应被更广泛地理解，包括传感器之间超越物理位置关联的功能依赖性。现代时空数据，如传感器网络生成的多变量时间序列，带来了显著挑战：包括不规则采样、大量缺失观测，以及异构传感器可能随时间增加或移除的时变特性。在这些背景下，预测性深度神经网络模型可能在时空域的不同区域表现不一致，使得模型质量评估和意外行为检测变得复杂。特别是在利用先进处理的神经架构时，评估这些预测器的最优性仍然是一项复杂任务，目前尚无稳健有效的方法。
通常，深度预测模型的质量通过任务特定的精度指标来评估，其中平方误差是常见选择，它评估预测残差（观测值与模型预测值之差）的2-范数。其他指标包括绝对误差（MAE）和相对误差（MAPE）。这些方法实用且直接，可能是其被广泛采用的原因。然而，它们本质上是比较性的，基于统计上优于其他模型的表现来选择最佳模型。因此，它们无法直接洞察模型的最优性，也无法提供需要改进的具体领域的指导。
评估模型质量的另一种替代方法侧重于分析预测残差之间的相关性，而非其幅度。其基本原理是，相关的残差表明模型未能捕获的结构信息，从而暗示了改进的空间。多年来，已经开发了各种假设检验来检测残差依赖性。这些通常被称为随机性或白噪声检验，用于评估残差是否表现出白噪声行为，即缺乏相关性。然而，这些检验依赖于严格的假设，包括完全可用的多变量时间序列、同步采样和同分布数据。但在实践中，不完整和异构数据是常态，这给现有方法带来了重大挑战，并凸显了对更稳健检验的需求。
为了应对这些挑战，Zambon和Alippi提出了AZ-analysis残差分析框架。该框架的核心贡献在于不仅能够检测残差相关性，还能精确定位模型未能捕获底层数据生成过程的具体区域，提供了比传统方法更细致的理解。该框架旨在回答关于模型最优性的三个关键问题：（Q1）非线性神经模型在预测残差缺乏自相关和交叉依赖方面是否最优？（Q2）是否存在可以改进预测的特定空间区域（例如，时间序列组）？（Q3）是否存在模型失败的特定时间间隔？
AZ-analysis通过基于AZ-whiteness检验统计量构建，使该方法能够继承原始检验在处理复杂时空数据方面的灵活性，无需数据分布的先验知识或时间序列间的同分布要求。同时，AZ-analysis在概念上不同于AZ-whiteness检验，它重新利用底层检验统计量来构建可解释的、区域化的相关性度量。具体而言，AZ-analysis引入了定制的子图，将残差划分为空间和时间区域，并计算摘要统计量（或称为分数）来量化局部相关性，从而实现跨数据不同区域的比较。
该分析基于一个关键的统计学原理：残差相关性表明模型中存在未捕获的信息。通过利用图结构来编码稀疏的空间和时间依赖性，并采用渐近分布自由的摘要统计量，该方法能够在最少的假设下运行，允许对应用于多变量时间序列的深度学习模型进行稳健评估。其唯一的前提是残差以零为中心——这是一个在大多数实际设置中通常满足的假设。这是相对于相关文献的主要进展之一。该分析的另一关键优势在于其基于图的处理方式，它侧重于更可能表现出相关性的残差对。这种有针对性的方法增强了方法的统计效力，使其在检测模型缺陷方面更加有效。
虽然所提出的残差分析不能量化潜在模型改进的幅度，但它是对传统基于精度评估的补充。正如实验所示，它提供了对模型质量的独立于指标的、与度量无关的评估。特别是，实验结果揭示了从残差相关性分析中获得的宝贵见解，这些是标准预测误差评估无法捕捉到的。
在技术方法上，研究人员首先构建了一个时空图（spatio-temporal graph）来编码观测数据中的功能依赖关系。这个图是一个多路复用图（multiplex graph），通过堆叠所有时间步的图来构建，其中节点与残差向量相关联，边集则是空间边（来自每个时间步的图）和时间边（连接连续时间步的对应节点）的并集。在此基础上，定义了相关性分数（correlation scores），该分数源自AZ-whiteness检验统计量，但经过缩放使其值落在[-1, 1]区间内，便于跨不同大小的子图进行比较。分析主要围绕三种类型的分数展开：节点分数（node scores）用于评估与特定节点/传感器子集相关的残差相关性；时间分数（time scores）用于评估特定时间间隔内的残差相关性；局部时空分数（local spatio-temporal scores）用于在更精细的层面上识别时空域中局部区域的相关模式。
主要研究结果
- 1.
AZ-whiteness检验的有效性：研究通过合成数据验证了AZ-whiteness检验统计量在残差独立时渐近服从标准高斯分布，且其值随着残差相关性的增加而单调增加。相关性分数进一步允许在不同大小的子图之间进行有意义的比较，即使对于包含缺失数据和来自异构分布的数据也是如此。
- 2.
合成数据上的验证：在精心设计的合成数据实验中，AZ-analysis成功识别了预先设定的具有空间相关性、时间相关性以及两者兼有的区域。节点分数、时间分数和局部分数均能准确反映数据中嵌入的相关模式，并与传统的自相关和莫兰I指数（Moran's I）等空间统计量显示出的一致性。
- 3.
交通预测案例研究：在MetrLA交通数据集上的实验表明，AZ-analysis能够一致地识别出与数据插补（imputation）区域相对应的时间间隔，这些区域显示出较高的残差相关性，而预测误差（MAE）并未显著增加。这揭示了仅凭误差指标无法发现的模型行为。此外，分析还定位了特定传感器节点，其时间序列也存在插补，进一步证实了该方法的精细定位能力。研究还发现，多步预测中的相关性模式比一步预测更为明显，提示长期预测有更大的改进空间。
- 4.
能源生产案例研究：在EngRAD光伏能源预测数据集上的应用显示，时间分数和预测误差都呈现出与太阳日照周期相关的日趋势。在黎明和黄昏时分观察到较高的相关性，表明模型在这些过渡时期有改进空间，尽管绝对误差可能较低。分析还发现，在模型表现出低预测误差的某些时期，仍然存在高相关性，提示模型预测仍有优化余地，这可能是因为模型训练更侧重于误差较高的区域。
结论与意义
本研究提出的AZ-analysis残差分析框架，为评估时空预测模型的质量提供了一种强大而广泛适用的工具。其重要意义在于：
- •
弥补评估鸿沟：它弥补了传统基于预测误差的评估方法的不足，通过分析残差相关性，揭示了模型未捕获的数据结构信息，为模型优化提供了更深入的洞察。
- •
强健性与适用性：该方法在最小假设下运行，尤其能够处理现实世界中常见的缺失数据和异构传感器数据，大大扩展了其应用范围。
- •
精准定位能力：通过节点分数、时间分数和局部分数，该框架能够从全局到局部多个层面精确定位模型表现不佳的时空区域，为指导模型改进提供了明确方向。
- •
促进模型发展：对残差相关性的深入理解有助于研究人员和从业者针对性地改进模型架构、训练策略或数据处理流程，从而推动时空预测深度学习模型的进一步发展。
总之，Zambon和Alippi的这项工作为复杂数据环境下的模型评估设立了新的标准。AZ-analysis不仅是一个诊断工具，更是一个能够推动模型性能向更高水平迈进的催化剂。其方法学的通用性预示着它在交通、能源、环境监测乃至生物医学等众多依赖时空数据预测的领域具有广阔的应用前景。
