M-Net：一种基于多尺度层次融合和双重自然补丁注意力机制的空间-时间序列预测方法

《Neural Networks》：M-Net: Multiscale Hierarchical Fusion with Dual Natural Patch Attention for Spatial-Temporal Time Series Forecasting

时空序列预测模型M-Net通过多尺度感知金字塔和多层次预测融合解决细节丢失与语义错位问题，双自然补丁注意力与双轴注意力机制有效抑制通道冗余和空间噪声，实验在十大数据集上80%指标达到SOTA。

　　

杨斌|马廷怀|孙家龙|黄学健|田远|贾佳|余欣|严巧巧|崔家豪

南京信息科学技术大学软件学院，中国江苏省南京市210044

摘要

时空时间序列预测在基于网格的天气预报和视频预测等场景中具有重要的应用价值。然而，现有方法由于深度语义编码，常常导致低级纹理和边缘细节的过度丢失，从而在高对比度区域无法充分表示结构。此外，基于单尺度特征图的预测机制限制了模型捕捉和整合多尺度空间模式的能力。为了解决这些问题，我们提出了M-Net，这是一种新型的时空预测模型，它结合了多尺度感知和多层次预测融合。在预处理过程中，多尺度感受器金字塔（MRP）采用双路径下采样策略为不同网络层次提供多尺度输入表示。为了缓解层次间的语义不匹配，双自然块注意力（DPA）将多尺度特征图视为具有明确语义的自然块，依次建模通道和空间依赖性，有效弥合不同尺度特征之间的语义差距。此外，双轴注意力（DAA）抑制了深度编码特征中的通道冗余和空间噪声，增强了关键通道的表达能力，并提高了对关键空间区域的感知敏感性。最后，多尺度层次融合（MHF）利用了浅层预测在瞬态动态和细节重建方面的优势，以及深层预测在长期演化和背景场建模方面的优势，实现了多层次预测融合。在十个基准数据集上的实验结果表明，M-Net在80%的评估指标上达到了最先进的性能。我们的代码可在以下链接获取：https://github.com/Dr-BinYang/M-Net。

引言

时空时间序列预测在各种领域的动态系统建模中发挥着重要作用（Gunasekaran等人，2025年），包括天气预报（Shi等人，2017年）、交通流量分析（Lv等人，2025年）、视频生成（Gao等人，2022年）和自然灾害预警（Zhang等人，2025a年）。通过捕捉固有的时空依赖性，这种方法为理解和预测复杂系统的演变提供了基础支持（Peng等人，2024年）。与具有纯空间结构的静态数据不同，时空序列构成了内在耦合的复杂系统：它们不仅包含非线性空间模式（例如地理拓扑、区域相关性），还包括动态演变的时间规律性（例如趋势变化、周期性模式）。这种双重时空特性使得预测任务特别具有挑战性，因为核心问题是从有限的历史观测中准确推断未来帧的动态，因此需要模型同时捕捉异构的空间相关性和长期的时间依赖性。

尽管传统的统计方法（例如STARIMA）和早期的深度学习模型（例如LSTM）在某种程度上改进了时空预测（Siami-Namini等人，2018年），但它们存在显著的限制：经典方法难以处理非线性交互，而早期的深度模型通常受到有限感受野或静态图假设的约束（Su等人，2025年），无法有效捕捉多尺度时空动态（Yan等人，2021年）。最近，U-Net架构（Ronneberger等人，2015年）通过其跳跃连接实现了编码器和解码器之间的有效多尺度特征融合，为降水预报和视频预测等时空任务提供了强大的基础。为了进一步增强U-Net，引入了各种改进：残差连接减轻了梯度消失问题（He等人，2016年）；深度可分离卷积提高了计算效率（Chollet，2017年）；Transformer显著增强了长期时间依赖性建模（Vaswani等人，2017年）。在交通预测领域，LEISN（Lai和Chen，2024年）采用历史隐藏状态组与图卷积相结合，捕捉长期依赖性和隐式空间关系。同样，MixGT（Lai和Chen，2025年）通过引入基于图Transformer的自监督预训练框架，有效建模了动态节点关系，并丰富了超出静态邻接的空间表示。同时，对于一般时间序列预测，FWBNet（Lai和You，2025年）结合自适应小波变换和频域处理来处理多尺度时间模式，在长时段预测中表现出色。在结构设计方面，UNet++和UNet3+通过嵌套的密集跳跃连接减轻了由语义差距引起的融合效率低下问题（Huang、Lin、Tong、Hu、Zhang、Iwamoto、Han、Chen、Wu，2020年，Zhou、Rahman Siddiquee、Tajbakhsh、Liang，2018年）。

然而，现有模型的预测结果常常存在边缘模糊和运动模糊（Wu等人，2021年），严重影响了输出质量。边缘模糊表现为高对比度区域（例如物体边界和纹理过渡）的细节丢失，主要是由于在深度语义编码过程中过度过滤了低级纹理细节，从而阻碍了从高级特征中有效重建视觉细节。运动模糊源于不准确的运动轨迹估计，导致移动物体出现重影伪影和结构扭曲。总体而言，当前的时空预测模型面临三个关键挑战：（1）空间建模通常依赖于单尺度输入特征，忽略了多尺度局部结构在捕捉时空依赖性方面的互补优势。（2）U-Net变体中的简单跳跃连接常常导致跨层次语义模糊和解码器特征之间的空间错位，而深层特征同时遭受空间细节退化和通道冗余。（3）仅依赖最终解码器特征的预测单元会累积误差，导致后续帧的质量逐渐恶化；因此，高分辨率特征（在细节重建方面表现优异）和低分辨率深度特征（捕捉宏观趋势）的协同整合对于准确预测至关重要。

在本文中，我们提出了M-Net，这是一种基于多尺度感知和多层次预测融合的新型模型。在输入处理过程中，多尺度感受器金字塔通过分层捕获空间细节和语义信息，缓解了浅层细节保留与深度语义抽象之间的冲突。为了解决U-Net中跳跃连接引起的语义不匹配问题，双自然块注意力将多尺度编码特征视为具有明确空间对应关系的自然语义块。它通过级联的块通道自注意力和块空间自注意力动态校准跨层次特征，消除语义模糊。此外，为了减轻最深层特征中的通道冗余和空间细节丢失，双轴注意力协同结合了通道注意力模块和空间注意力模块，以适应性地抑制噪声并增强关键区域的表示。最后，多尺度层次融合将多尺度空间重建与像素级时间预测相结合，实现了从空间结构到时间演变的协同建模。我们的主要贡献总结如下：•

我们提出了M-Net，一种具有M形架构的新型时空预测模型。通过增强多尺度特征交互并建立多层次预测融合机制，它有效缓解了预测帧中的运动模糊。如图1所示，我们的模型在80%的评估指标上达到了最先进的性能。

•

为了解决多尺度特征错位和跨层次语义模糊问题，双自然块注意力（DPA）机制通过建模多尺度特征之间的通道和空间依赖性，弥合了不同尺度和层次之间的语义差距。

•

为了减少深度编码特征中的冗余和噪声，双轴注意力（DAA）机制在最深层特征上沿通道和空间维度进行双重校准，有效增强了关键区域的感知能力并提高了深度表示的鲁棒性。

•

为了解决单尺度预测中细粒度局部细节的丢失，多尺度层次融合（MHF）架构通过多层次预测融合机制，将低级局部细节与高级宏观趋势协同整合，显著提高了预测精度。

相关工作

相关工作

本节回顾了基于深度学习的时空时间序列预测模型，这些模型大致分为两类：基于循环的模型和不基于循环的模型。

方法论

M-Net的架构如图2所示。本节依次介绍：（1）基于下采样机制的多尺度感受器金字塔，该机制解决了单尺度感受野的局限性；（2）M-Form编码器-解码器架构通过双自然块注意力建立不同编码特征之间的通道相关性和空间校准，同时使用双轴注意力抑制冗余通道和噪声干扰

数据集

如表1所示，本研究使用的数据集分为两类：非自然现象数据集和自然现象数据集。非自然现象数据集包括Moving MNIST（Srivastava等人，2015年）、TrafficBJ（Zhang等人，2017年）、Human3.6m（Ionescu等人，2014年）、BAIR Robot Pushing（Ebert等人，2017年）和KTH（Schuldt等人，2004年），涵盖合成手写数字运动视频、北京交通流量数据、3D人体姿态估计等任务

结论

在本文中，我们提出了M-Net，这是一种新型的时空预测模型，它通过模拟人类视觉系统的认知过程（从局部细节到全局语义），有效平衡了瞬态细节重建和长期演化趋势。具体来说，多尺度感受器金字塔构建了多尺度特征表示，为模型提供了丰富的特征基础。双自然块注意力建立了跨尺度语义相关性，解决了

CRediT作者贡献声明

杨斌：撰写 – 审稿与编辑，撰写 – 原始草案，方法论。马廷怀：方法论。孙家龙：数据管理。黄学健：数据管理。田远：调查。贾佳：验证。余欣：形式分析。严巧巧：数据管理。崔家豪：数据管理。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金（编号62372243）的支持。本工作还得到了中国国家自然科学基金（编号62102187、编号42175194）和江西省自然科学基金（编号20242BAB20074）的支持。