基于动态时空特征提取与语义关联建模的交通流量预测模型

《Computers and Electrical Engineering》：Traffic flow prediction model based on dynamic spatio-temporal feature extraction and semantic association modeling

针对现有交通流预测方法在语义信息和计算深度上的不足，提出动态时空自适应Transformer（STAformer），利用FastDTW构建语义邻接矩阵，结合递归控制模块和门控融合机制，在PeMS数据集上验证其优于RNN、GCN和传统Transformer模型，速度提升39%。

　　

郭翔通|唐英鹏|赵文涛|葛兆远|李全全|彭敦鲁

上海科技大学计算机科学系，上海，200000，中国

摘要

交通流预测对智能交通系统至关重要。目前大多数方法关注节点之间的空间信息，但忽略了不同区域节点之间的语义信息。此外，交通流数据在时间和空间上的非均匀分布导致预测任务的复杂性不平衡。为了解决这些问题，我们提出了一种动态时空自适应变换器（STAformer）用于交通流预测。采用快速动态时间规整（FastDTW）构建语义邻接矩阵，以捕捉节点之间的语义信息，增强网络的空间表示能力。引入递归控制模块为不同的预测任务分配适当的递归步骤，使变换器能够动态提取时空交通特征。此外，设计了一个门控融合模块来捕捉时间和空间特征之间的相关性。在编码器和解码器之间加入上下文注意力模块，以减少长期预测中的误差传播。在Caltrans性能测量系统（PeMS）的三个真实世界数据集（PeMSD4、PeMSD7和PeMSD8）上进行的广泛实验表明，我们的方法优于基于循环神经网络（RNN）、图卷积网络（GCN）和Transformer架构的现有基准模型。STAformer在推理速度上相比最佳基准模型提高了39%。

引言

在交通领域，准确的长期交通流预测对区域发展具有重要意义。作为智能交通系统（ITS）[1]的重要组成部分，交通预测主要负责分析历史交通状态以预测未来交通流量[2]。然而，从大规模数据中有效捕捉动态和复杂的时空信息对交通预测来说是一个挑战。

早期的交通流预测方法，如自回归积分移动平均模型（ARIMA）[3]和向量自回归模型（VAR）[4]，无法捕捉交通流的非线性特征。在后来的研究中，使用了支持向量机（SVM）[5]、K最近邻（KNN）[6]和支持向量回归（SVR）[7]等方法来拟合复杂的非线性时间序列。然而，这些传统方法大多关注交通流的时间特征建模和分析，忽略了交通网络的空间特征的影响。

随着深度学习技术和硬件计算能力的发展，许多深度学习方法被用于交通预测[8]。基于循环神经网络（RNN）的方法被广泛用于时间序列预测[9]，[10]，因为它们具有更好的序列数据建模能力。当两个位置之间的时间距离较大时，它们之间的信息交换必须经过较长的路径，使得有效建模它们的依赖关系变得具有挑战性[11]。图神经网络（GNN）方法保留了节点和边之间的连通性。它已被用于处理复杂的图结构数据[12]，[13]，因为它能更好地适应交通网络的复杂性。尽管适用于非欧几里得结构，但获取节点之间的长距离依赖关系仍然具有挑战性。Transformer的出现为上述问题提供了有希望的解决方案[14]，[15]。因此，本研究采用基于Transformer的方法进行交通流预测。

上述观察揭示了现有交通预测研究中的两个关键挑战。首先，大多数基于图和Transformer的方法（例如STSGCN [16]、Lee等人[17]和MSTDFGRN [18]）仅从空间距离或相关系数构建邻接矩阵。这样的设计有效地捕捉了局部邻近性，但未能表示在地理上相距较远但具有相关时间动态的节点之间的功能相似性（如图1所示）。其次，当前的Transformer架构（例如STTN [19]、RPConvformer [20]和Cai等人[21]）通常对所有预测任务采用固定的计算深度，忽略了不同区域和时间段之间的时空复杂性差异。这种统一的计算导致简单交通模式的处理冗余，而对复杂交通模式的建模不足，从而限制了准确性和效率。

为了解决这些限制，我们提出了一种动态时空自适应变换器（STAformer），在Transformer框架内同时增强语义表示和计算适应性。具体来说，STAformer采用基于FastDTW [17]的语义图来捕捉功能相关但地理位置较远的节点之间的时间相似性，用语义上下文丰富空间表示，并改进长距离依赖关系建模。此外，递归控制模块（RCM）根据任务复杂性动态调整计算深度，使模型能够自适应地平衡预测准确性和效率。

本文的主要贡献总结如下：

• •
  为了捕捉不同节点之间的语义相似性，使用FastDTW算法生成语义邻接矩阵，同时构建交通流的时空特征。构建时间语义图有助于模型学习交通图中不同功能节点的交通流特征，提高预测准确性。
• •
  针对交通流的时空特征不平衡问题，我们提出了动态时空自适应变换器（STAformer）。STAformer采用编码器-解码器架构，每个部分包含一个空间自适应变换器和一个时间自适应变换器。它使用门控融合模块提取时空相关性。通过引入递归控制模块在Transformer中实现任务计算的动态分配。
• •
  使用三个数据集进行了广泛实验。结果表明，所提出的模型优于现有的主流方法，并且可以根据任务的复杂性自适应地分配计算资源，同时结合了预测的准确性和速度。

本文的其余部分组织如下：第2节描述了交通预测的相关工作。第3节详细介绍了STAformer的具体内容。第4节展示了STAformer在三个数据集上的性能。最后，第5节总结了本文的贡献并展望了未来的研究方向。

相关工作

相关工作

本节首先回顾了基于RNN和GNN的交通预测深度学习方法，然后介绍了基于Transformer的框架及其最新扩展。

问题表述

为了便于理解所提出的方法，本节提供了交通流预测的具体定义。形式上，交通网络被定义为一个有向图$G=(v,?,A)$。其中$v$表示交通传感器节点集；$\left|v\right|=N$表示传感器数量；$?$表示边集，代表传感器之间的连通性；$A\in R^N$表示图的邻接矩阵，使用欧几里得距离和语义相似性来衡量节点之间的相关性

数据集

为了验证所提出方法的可行性，本节选择了三个真实的公共交通数据集进行实验验证，分别是PeMSD4、PeMSD7和PeMSD8。这些数据集由加利福尼亚州交通性能测量系统[70]提供，是包含更全面数据的标准数据集。表2显示了这三个数据集的统计信息。按照Bi-STAT [66]的实验协议，我们按时间顺序进行实验

结论

本文提出了STAformer，一种用于交通流预测的动态时空自适应变换器，它集成了语义图构建和自适应计算机制。通过使用基于FastDTW的语义邻接矩阵，STAformer捕捉了远距离节点之间的长距离时间相似性，而不仅仅是空间邻近性。同时，采用的递归控制模块使模型能够根据序列复杂性自适应地调整其计算深度，

CRediT作者贡献声明

郭翔通：概念化、方法论、形式分析、调查、编辑和审阅。唐英鹏：概念化、方法论、软件、形式分析、调查、可视化、撰写——初稿、撰写——审阅和编辑。赵文涛：概念化、方法论、软件、形式分析、调查、可视化、撰写——初稿、撰写——审阅和编辑。葛兆远：概念化、方法论、软件、形式分析、调查、

利益冲突声明

作者声明没有利益冲突。

致谢

本项工作得到了中国国家重点研发计划（项目编号：2018YFB1700902）的支持。